本菜狗现在是哈工大威海校区计算机学院的大四本科生，也是量化投资的初学者。因为本科学校中做量化的前辈喝同伴极少，缺少与业界的交流，在很长一段时间，本菜狗一直认为量化就是MACD等技术指标的或者是用一些炫酷的DL模型来预测（因为国内很多量化书籍都是“Python基础语法+技术指标+机器学习”）。 好在没有放弃尝试，终于在经过相当一段时间的焦虑和摸索中，开始对量化行业有了比较符合客观但并不全面的认识。于是开启量化方法论系列博客的创作，把自己的学习总结、分享出来，以和需要的同伴交流。 因为本人能力和精力有限，所创作的内容难免有瑕疵乃至纰漏，欢迎批评指正。 若您对我所做的工作感兴趣，欢迎联系我：[email protected]

本文是量化投资方法论之多因子选股系列文章的第一篇，分享数据准备（基于Tushare)和单因子检验模块。

提示：若看不太懂，可结合后面的代码理解

把数据处理成特定的DataFrame格式:（di,ii)格式，即columns为股票代码、index为日期，value为数据（如收盘价、成交量、各种因子等），每一个指标是单独的一个df。 但也不是所有数据都要DataFrame，一些只有一维的数据使用Series即可，如特定指数收益率序列。 如下图，是10年到21年A股复权后的close数据。

股票池一般取常用指数的成分股矩阵（或者其组合，如沪深300+中证500），一般命名为univ_a\univ_data。univ_a的列名只有现在或历史上曾经是该指数成分股的股票代码。 univ_a[stk_code][trade_date]=1即股票stk_code在trade_date这一天是该指数的成分股。否则univ_a[stk_code][trade_date]=NaN 我们一般在计算因子时计算全部的A股数据，在做选股回测时再考虑股票池。方法为： factor_df = factor_df.reindex_like(univ_a)*univ_a 其中factor_df为因子数据。reindex_like把factor_df的行、列与univ_a统一。

沪深300的股票池数据示例

构造矩阵ST_valid,ST_valid[stk_code][trade_date]==1即stk_code在trade_date这一天不是ST股，通过了ST股筛选，否则是NaN 构造矩阵suspend_valid、limit_valid,同ST。 forbid_days = suspend_valid*limit_valid 只有股票在当天同时通过三种筛选，其数值才为1

在做剔除操作时，只需要将仓位矩阵*forbid_days,没有通过筛选的股票的数据就成了NaN

step1:横截面排序，按照比例筛选股票，再进行仓位权重归一化，得到初始仓位pos_1 step2:若考虑调仓周期,假设是月频率调仓，就是隔20个交易日调仓。 pos_2 = pos_1.reindex(pos_1.index[::20]).fillna(0).reindex(pos_1.index).ffill() 即截取调仓日的仓位，扩充其他日期的仓位先设置为nan，再ffill(). 这里有一个fillna(0)，因为如果不在扩展之前fillna，则可能会出现 某一期一只股票被选上，后面这只股票的仓位原本都应该是NaN，但经过ffill之后却都继承了这个仓位、 step3:考虑调仓日不可交易股票（见to_final_position)

这里有一点要强调，即我们的是factor_df转换成仓位pos_df时，需要shift(1).因为factor是当天收盘后；利用了当天和之前的数据计算的，而交易最早发生在后一个交易日。

处理好的仓位fin_pos.shift(1)*rtn_df再横向求和就是仓位的日收益,其中rtn_df是股票收益矩阵. shift()的原因是：rtn_df是当天收盘价（开盘价）比上前一天的收盘价（开盘价），而我们是当天非前一天下的单，所以我们吃不到下单第一天的rtn。

本人尝试基于tushare（需要积分）获取研究所需要的常用数据（如股票行情数据、指数成分股数据、st股、涨跌停等）并处理成前文所示的（di，ii)格式。

与数据下载、存储、读取相关的代码如下。 但tushare的接口对调取频率、单次调取数据量有限制。因精力有限，并没有对代码进行完全的优化，故部分代码比较啰嗦，运行效率低。 另，因为部分方法使用了多进程并行下载，故无法在jupyter notebook等交互式环境下运行，请在pycharm等IDE下执行main（）函数。

数据准备部分主要有三个类。 数据下载的DataDownloader,从tushare接口获取数据并整理成特定格式。 数据更新存储的DataWriter，调用DataDownloader将数据下载、更新、存储到本地。 数据读取的DataReader，读取数据。