质量数据分析与建模

1. 数据分析的时代背景与五层模型概述

• 数字化质量对企业数据分析能力的要求
• 数据分析五层级模型：L1~L5 的定义、目标与关键产出
• 各层级之间的衔接关系与常见瓶颈

2. L1 数据采集

• 数据源类型：结构化 / 半结构化 / 非结构化
• 采集方式：传感器、ERP/MES、日志、API、爬虫等
• 数据质量要素：完整性、准确性、一致性、及时性
• 案例：制造业多工序设备数据采集架构

3. L2 数据可视化

• 可视化的目的：发现模式、监测指标、传递信息
• 图表选择原则：比较、分布、关系、构成、趋势
• 常用工具与技巧：Power BI / Tableau / Python (Matplotlib/Seaborn)
• 案例：销售业绩仪表盘与异常波动监测

4. L3 数据溯因（重点）

• 从“看到现象”到“解释原因”的分析路径
• 相关性分析 vs 因果推断：误区与正确思路
• 常用溯因方法：
• 案例1：销售额下降的原因追溯（多维钻取与切片分析）
• 案例2：某产线不良率突增的根因分析（超过100个变量的多因素逐步回归分析与预测）
• 案例3：通过2K试验设计方法和响应曲面试验设计方法寻找最佳工艺参数。
• 实践练习：给定业务问题，设计溯因分析案例

5. L4 数据建模（重点）

• 建模的目标：预测、分类、优化、推荐
• 建模流程：a. 明确业务问题 →b. 数据准备与特征工程 → c. 模型选择与训练 → d. 模型评估 → 5. 部署与迭代
• 监督学习：回归（线性/多项式/决策树回归）、分类（决策树、随机森林、逻辑回归、SVM）
• 无监督学习：聚类（K-Means、层次聚类）
• 模型评估指标：RMSE、MAE、准确率、召回率、F1、ROC-AUC
• 试验设计方法(Design Of Experiment）
• 案例1：基于随机森林的工艺参数优化（黄金参数搜索）
• 案例2：客户流失预测的逻辑回归模型与业务干预策略
• 案例3：通过2K试验设计和响应曲面试验方法寻找最佳工艺参数。
• 实践练习：使用公开数据集完成从特征筛选到模型训练的完整流程

6. L5 数据生态

• 数据生态的案例
• 数据生态的内涵

7. 跨行业数据分析流程（CRISP-DM）与五层映射

• CRISP-DM 六步法：业务理解 → 数据理解 → 数据准备 → 建模 → 评估 → 部署
• 将 CRISP-DM 映射到 L1–L5 各层级的方法与节奏
• 案例串联：从质量数据采集（L1）到数据分析(L3)再到数据建模（L4）再到数据生态（L5）