Skip to content

数据处理 ​

数据处理是量化开发的基础层。策略研究、回测、实时交易和风控都依赖同一件事:在正确的时间拿到正确含义的数据,并且知道这些数据有哪些限制。

量化数据不只是价格表。常见数据包括行情、成交、订单簿、公司行动、财务报表、指数成分、基准利率、宏观指标和另类数据。不同数据的时间粒度、更新延迟、授权范围和错误类型都不一样,工程实现必须把这些差异显式表达出来。

学习目标 ​

  • 理解 K 线、逐笔成交、盘口快照、订单簿增量等行情数据的含义。
  • 能解释前复权、后复权、不复权价格分别适合哪些场景。
  • 能设计一条从拉取、落盘、清洗、校验到特征生成的数据 pipeline。
  • 能识别缺失值、重复数据、时区错误、未来函数、成分股幸存者偏差等问题。
  • 能为回测和实盘区分离线数据、近实时数据和实时数据。

推荐顺序 ​

  1. 先读 行情数据,建立对数据类型和字段含义的基本认识。
  2. 再读 数据源,理解不同来源的数据质量、成本和限制。
  3. 接着读 时间语义 与 K 线生成,理解为什么“同一条价格数据”在研究和实盘中可能含义完全不同。
  4. 再读 清洗与复权、公司行动 与 幸存者偏差,学会控制历史回测里最常见的数据污染。
  5. 最后读 存储、数据契约、质量检查 和 Pipeline,把数据处理变成可重复、可监控的工程流程。

一个合格数据模块应该做到什么 ​

  • 输入可追溯:知道每个字段来自哪里、何时更新、如何生成。
  • 输出可复现:同一版本代码和同一份原始数据能生成同样结果。
  • 时间语义清楚:每条数据都有明确的时间戳、时区和可用时间。
  • 错误可见:缺失、异常、延迟、重复和校验失败不会被静默吞掉。
  • 面向下游:研究、回测、风控和交易系统使用的数据口径一致。

进阶专题 ​

  • 时间语义:区分事件时间、接收时间、可用时间和处理时间,避免未来函数。
  • K 线生成:从逐笔成交生成 OHLCV 时,如何处理边界、空 bar、午休和成交口径。
  • 订单簿重放:用快照和增量恢复 order book 时,如何用序号和校验和发现丢包。
  • 公司行动:分红、拆股、送转、配股如何影响价格、股数、成交量和收益。
  • 数据契约:用 schema、主键、枚举、单位和质量阈值约束上下游。
  • 幸存者偏差:为什么不能用今天还活着的股票池回测十年前的策略。