Appearance
数据处理
数据处理是量化开发的基础层。策略研究、回测、实时交易和风控都依赖同一件事:在正确的时间拿到正确含义的数据,并且知道这些数据有哪些限制。
量化数据不只是价格表。常见数据包括行情、成交、订单簿、公司行动、财务报表、指数成分、基准利率、宏观指标和另类数据。不同数据的时间粒度、更新延迟、授权范围和错误类型都不一样,工程实现必须把这些差异显式表达出来。
学习目标
- 理解 K 线、逐笔成交、盘口快照、订单簿增量等行情数据的含义。
- 能解释前复权、后复权、不复权价格分别适合哪些场景。
- 能设计一条从拉取、落盘、清洗、校验到特征生成的数据 pipeline。
- 能识别缺失值、重复数据、时区错误、未来函数、成分股幸存者偏差等问题。
- 能为回测和实盘区分离线数据、近实时数据和实时数据。
推荐顺序
- 先读 行情数据,建立对数据类型和字段含义的基本认识。
- 再读 数据源,理解不同来源的数据质量、成本和限制。
- 接着读 时间语义 与 K 线生成,理解为什么“同一条价格数据”在研究和实盘中可能含义完全不同。
- 再读 清洗与复权、公司行动 与 幸存者偏差,学会控制历史回测里最常见的数据污染。
- 最后读 存储、数据契约、质量检查 和 Pipeline,把数据处理变成可重复、可监控的工程流程。
一个合格数据模块应该做到什么
- 输入可追溯:知道每个字段来自哪里、何时更新、如何生成。
- 输出可复现:同一版本代码和同一份原始数据能生成同样结果。
- 时间语义清楚:每条数据都有明确的时间戳、时区和可用时间。
- 错误可见:缺失、异常、延迟、重复和校验失败不会被静默吞掉。
- 面向下游:研究、回测、风控和交易系统使用的数据口径一致。