概览
在金融量化投研领域中，传统方案面临基础设施限制、研发效率低下、成本高昂、安全合规性挑战等问题，无法使得投研人员聚焦量化策略开发，影响研发效率。为了解决这个问题，亚马逊云科技使用结合大数据处理服务以及分布式计算框架构建量化投研解决方案指南，提高资源调度、安全隔离以及优化投资组合等计算密集型任务的效率。该指南基于 Amaonz EKS、Amazon Glue、Amazon EFS 以及 Ray.io 进行构建。
客户面临的挑战
- 历史数据量更大。长期累积下来，历史逐笔交易数据可能达到几十 TB 甚至上百 TB 的存储量。
- 日均数据量大。交易所每天产生的逐笔交易数据量都在数十亿至数百亿笔之间，规模非常庞大。
- 存储资源压力。存储和传输这些海量数据对硬件资源和网络带宽都是巨大挑战。
- 数据维度多。包括时间、价格、数量等多个维度。
- 时序数据不规则。数据的时间戳是不规则的，无法直接应用基于固定时间间隔（如 1 分钟 K 线）的传统分析方法。
- 计算资源高。分析过程往往需要大量计算资源，对 CPU/GPU 和内存的要求很高。
- 数据格式差异。不同交易所使用不同的数据格式存储逐笔交易数据，如 CSV、二进制等。
- 数据质量问题。原始数据中可能存在重复记录、异常值、 缺失值等质量问题。对于一 些无法修复的脏数据，需要标记或剔除。
概览
在金融量化投研领域中，传统方案面临基础设施限制、研发效率低下、成本高昂、安全合规性挑战等问题，无法使得投研人员聚焦量化策略开发，影响研发效率。为了解决这个问题，亚马逊云科技使用结合大数据处理服务以及分布式计算框架构建量化投研解决方案指南，提高资源调度、安全隔离以及优化投资组合等计算密集型任务的效率。该指南基于 Amaonz EKS、Amazon Glue、Amazon EFS 以及 Ray.io 进行构建。
客户面临的挑战
- 历史数据量更大。长期累积下来，历史逐笔交易数据可能达到几十 TB 甚至上百 TB 的存储量。
- 日均数据量大。交易所每天产生的逐笔交易数据量都在数十亿至数百亿笔之间，规模非常庞大。
- 存储资源压力。存储和传输这些海量数据对硬件资源和网络带宽都是巨大挑战。
- 数据维度多。包括时间、价格、数量等多个维度。
- 时序数据不规则。数据的时间戳是不规则的，无法直接应用基于固定时间间隔（如 1 分钟 K 线）的传统分析方法。
- 计算资源高。分析过程往往需要大量计算资源，对 CPU/GPU 和内存的要求很高。
- 数据格式差异。不同交易所使用不同的数据格式存储逐笔交易数据，如 CSV、二进制等。
- 数据质量问题。原始数据中可能存在重复记录、异常值、 缺失值等质量问题。对于一 些无法修复的脏数据，需要标记或剔除。
优势
优势
- 采用了 Actor 模型，将计算任务拆分为更细粒度的 Tasks，这些 Tasks 可以在集群上任意调度执行。
- 配合 Amazon EKS 实现异构计算， 即在同一个集群中调度和管理不同类型的计算资源 (CPU/GPU)。
- 实现海量数据的共享和访问
- 对象可以存在于一个或多个节点上，与创建对象引用的人无关。
- 基于 EKS 实现研究人员的工作环境隔离，彼此无法窥探研究数据、策略算法、中间计算结果。
- 提供自定义开发环境、存储、作业编排（数据处理工作流）的能力， 以提高开发人员定制化需求。
- 对于金融时序数据（如 Tick-Data)，实现高度分布的强化学习负载分布。
- 能够在多个 CPU/GPU 节点上无缝地进行并行化训练和推理
- 支持多种不同的分布式策略，例如异步优化、参数服务器等，从而提高整体吞吐量。
量化交易员通过互联网网关和应用程序负载均衡器访问研究平台。
客户的身份提供商（如 KeyCloak ）进行身份验证。
量化交易员利用 CPU/GPU 环境开发业务逻辑，使用金融数据。
金融数据存储在 Amazon EFS 和 S3 中。
量化交易员将工作负载提交到 Ray 集群，用于数据处理、模型训练和回测。
输出模型和相关工件存储在 Amazon EFS 和 S3 中。
量化交易员通过互联网网关和应用程序负载均衡器访问研究平台。
客户的身份提供商（如 KeyCloak ）进行身份验证。
量化交易员利用 CPU/GPU 环境开发业务逻辑，使用金融数据。
金融数据存储在 Amazon EFS 和 S3 中。
量化交易员将工作负载提交到 Ray 集群，用于数据处理、模型训练和回测。
输出模型和相关工件存储在 Amazon EFS 和 S3 中。
