Qlib 量化选股面板

Transformer 是什么

Transformer 最初用于 NLP，核心是 Self‑Attention（自注意力）：每一步输出都会「看一眼」序列里其它位置，并按相关性加权聚合。与 RNN 逐步递归不同，注意力层在实现上更利于并行，也更直接建模长距离依赖——在金融序列里，对应「远期某一天的大幅波动或因子异常仍可能影响当前表征」。

scaled dot‑product attention（直觉）

对序列中每个位置，构造 Query / Key / Value，相似度由 Q 与 K 的内积（scaled） 给出，再 softmax 成权重，对 V 加权求和：

多头注意力（Multi‑Head）：并行多套 Q/K/V 投影，相当于让模型同时捕捉多种「相互作用模式」（类似多组因子交互）。

在金融时序里的额外考量

主题	说明
位置信息	纯注意力本身对置换有一定不变性；实务中需要位置编码（绝对时间、相对位置、或可学习编码）告诉模型「这是第几天」。
因果 vs 双向	训练打分模型时常用因果掩码，禁止当前 step 看见未来，避免标签泄漏；编码器式双向结构更适合已有完整窗口的表征学习场景。
计算与内存	序列长度 L 上，标准自注意力复杂度近似 O(L²)；L 一大，CPU/内存压力陡增。
数据噪声	金融信噪比低，Transformer 容量大，更需要强正则、早停与时间切分验证，否则易记住噪声。

Qlib 生态里也有一些面向时序路由、适配金融结构的模型变体（名称与版本随仓库演进），可按官方示例目录查阅；本文侧重通用 Transformer 机制与资源估算。

与 LSTM / GRU / LightGBM 的选型视角

更多对比：《LSTM》《GRU》《LightGBM》。

Qlib 中的硬件与规模（经验区间）

下列仍是为「日线 + 因子矩阵」画的量级感，真实占用随实现（是否 GPU、是否混合精度、模型宽度与层数）波动很大。

资源	序列长度 L、宽度 hidden、层数 ↑	典型现象
训练内存	↑	注意力矩阵与中间激活存储暴涨
训练算力	↑	GPU 利用率若低，多半是 DataLoader 或小 batch；CPU 上单步注意力更重
8GB 系统内存	全市场多年数据 + 大张量	常在数据管线阶段就紧张

Ubuntu 4 核 / 8GB：是否推荐 Transformer？

默认不推荐作为第一台服务器上的「主力选股模型」，原因：

同精度闭环下，往往要先付出更高的 内存与算力 成本；
在 CPU-only 场景，同等时间内通常跑不过 LightGBM 基线；
要用 Transformer，也更建议：缩短序列、减小宽度与层数、缩小股票池，并在验证集上看是否真的优于 GBDT/GRU。

若仍要尝试：把实验目标定为「验证注意力是否在特定因子组合上有增益」，而不是「默认大规模生产配置」。

小结

Transformer 用 Self‑Attention 全局建模依赖，并行性好但 L 大时很贵。
金融场景要重视 位置编码、因果掩码与泄漏控制。
4C8G：更推荐 LightGBM → GRU/LSTM 小规模序列 的路线；Transformer 适合资源充裕或对架构已有清晰假设时再上。