数据预处理与清洗 — 自动识别异常值填补缺失
为什么脏数据是分析的最大敌人
数据分析有句老话：Garbage In, Garbage Out（垃圾进，垃圾出）。真实工作里拿到的数据几乎都是脏的：
- 有的行空着，有的行重复
- 日期格式不一："2026-10-01" vs "2026/10/1" vs "2026.10.1"
- 同一列混了字符串和数字
- 金额列有负数（可能是退款），需要标注
- 列名叫"备注"但实际存的是"客户ID"
手动清洗一个 10000 行的 Excel，至少要一两个小时。DuMate 能在几十秒内完成。
DuMate 自动清洗做什么
| 清洗维度 | 具体操作 |
|---|---|
| 空值处理 | 检测空单元格 / 空行 / 空列，按策略填补（均值 / 中位数 / 上一个有效值）或标记跳过 |
| 重复检测 | 按关键字段组合去重（如订单号 + 客户名），保留最新记录 |
| 异常值 | 识别超出合理范围的数值（如订单金额 999999），标记异常清单 |
| 格式统一 | 日期、金额、百分比统一格式，字段名标准化 |
| 类型转换 | 自动识别并修正类型错误（如金额列全是字符串"￥1,234"转成数字） |
| 编码问题 | 中文乱码修复（v1.0.15 优化） |
实战指令示例
常规清洗
清洗这份销售数据 Excel：
1. 删除完全重复的行
2. 用均值填补金额列的空值
3. 统一日期格式为「YYYY-MM-DD」
4. 标记金额列中大于 3 倍标准差的异常值
5. 生成一份清洗前后对比报告多表合并清洗
把这 3 份分公司销售表合并成一份，清洗：
1. 统一列名（三张表的列名不完全一致）
2. 按订单号去重，保留最新的记录
3. 新增一列「分公司」标记来源
4. 输出一份合并后的 Excel + 清洗日志脏得离谱的数据
这份 CSV 里有很多问题：
- 第一列有些行是字符串，有些是数字，还有日期混在里面
- 日期列格式有 5 种以上
- 金额列有 "N/A" 和 "--"
帮我彻底清洗一遍，给我一份干净的版本和清洗说明清洗日志很重要
DuMate 在清洗完成后会自动生成一份清洗日志，告诉你：
- 删除了多少重复行
- 填补了多少空值
- 标记了多少异常值
- 哪些字段做了格式转换
- 原始文件在哪，清洗后文件在哪
这份日志是追溯和复核的依据，别丢了。
进阶：异常检测升级
DuMate 还能做智能异常检测——不只是数值范围，还要看数据分布：
分析这份月度报销数据，检测：
1. 单笔异常（超过部门均值 3 倍的）
2. 频率异常（某人报销次数远超同部门其他人）
3. 时间异常（非工作日报销、深夜报销）
生成一份异常清单供审核清洗后的干净数据直接交给 DuMate 做 多表关联与多维分析。