从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记
本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~
2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面试了几家，发现他们基本上都需要有搭建服务端相关经验的人。因为之前开发主要还是做算法相关，对这一块不怎么熟悉，所以面试问答不流畅都挂了。反正现在也不急有时间，想着要不就边找工作边自己做着玩玩，搭一个完整可用的开源量化平台来学习。
通过最近一个月对其行业的了解，大概有了点概念，计划该平台有以下部分：服务界面，网络，数据，计算，与运维。
文章目录
- 从零开始学习搭建量化平台笔记
- 环境搭建
- Website Server 网站服务器
- 交易终端开发
- CTP 模拟交易
- 分析平台搭建
- 实操交易
- 优化通信
- 运维
持续更新中（Last updated: 2023/10/30）。。。。。。
环境搭建
2023/10/30：因为还是初学者，先来设计个简单的初版结构。
为了之后便于维护，我把各个模块进行了拆分，分别使用不同dockers运行，模拟使用不同主机运行不同服务。
- Website Server 网站服务器： 主要显示可视化数据，运维数据。
- Data Processing Server 数据预处理服务器：主要用来预处理爬虫与金融数据API传来数据，并进行发放。
- Database Server 数据库服务器：主要保存数据，维护数据安全。
- Analysis Server 分析处理服务器：主要计算服务器，用来构造模型与进一步处理数据。
- Trade Terminal 交易终端：主要通过传输的数据进行实时交易。
Website Server 网站服务器
要致富，先修路。在一切开始前，先把可视化网站环境搭好，有利于后续开发使用。
- docker-compose 简单部署Flask + Redis + Nginx环境搭建网站
- docker-compose 简单部署MySQL Database，MySQL 开放端口与权限
- Flask 网站装修，简易更换模板
交易终端开发
- QT 开发简易本地客户端
- 服务端C++编写多线程传输消息
- 简易消息件模块
- Tick 数据接收
CTP 模拟交易
分析平台搭建
- 使用XGBoost进行简单训练流程搭建
实操交易
优化通信
- TCP/IP 协议分析与优化
- UDP 协议分析与优化
运维
- 可视化网站搭建
- 运维数据传输
相关文章：
从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记 本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~ 2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面…...
【whisper】在python中调用whisper提取字幕或翻译字幕到文本
最近在做视频处理相关的业务。其中有需要将视频提取字幕的需求，在我们实现过程中分为两步：先将音频分离，然后就用到了whisper来进行语音识别或者翻译。本文将详细介绍一下whisper的基本使用以及在python中调用whisper的两种方式。 一、whispe…...
git diff对比差异时指定或排除特定的文件和目录
文章目录 前言git diff指定或者排除文件指定文件和目录排除文件和目录 番外篇总结 前言 你一般什么时候会用GPT? 居然会有这种话题，答案就是作为程序员的我天天在用，虽然GPT有个胡说八道的毛病，但试试总没错的，就比如今天题目中这…...
数据结构介绍与时间、空间复杂度
数据结构介绍 什么是数据结构？什么是算法？数据结构和算法的重要性 数据结构定义 数据结构是计算机科学中研究数据组织、存储和管理的一门学科。数据结构描述了数据对象之间的关系，以及对数据对象进行操作的方法和规则。 常见的数据结构 数…...
(c语言进阶)字符串函数、字符分类函数和字符转换函数
一.求字符串长度 1.strlen() (1)基本概念 头文件：<string.h> (2)易错点：strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…...
解决MySQL大版本升级导致.Net(C#)程序连接报错问题
数据库版本从MySQL 5.7.21 升级到 MySQL8.0.21 数据升级完成后，直接修改程序的数据库连接配置信息 <connectionStrings> <add name"myConnectionString" connectionString"server192.168.31.200;uidapp;pwdFgTDkn0q!75;databasemail;&q…...
Java 将对象List转为csv文件并上传远程文件服务器实现方案
问题情景： 最近项目中遇到了根据第三方系统传递过来的参数，封装为List<实体类对象>后，将该实体类转换为csv文件，然后上传到远程的sftp服务器指定目录的需求。 实现思路： List<实体类对象>转为csv文件的…...
分享8个分布式Kafka的使用场景
Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的前辈不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。 1. 日志处理与分析 下图显示了典型的 ELK࿰…...
【再见了暗恋对象 朋友们看完之后的一些感悟】
【再见了暗恋对象】写完之后魏野是我的第一个读者，魏野的反应是：这就是青春啊，喜欢了一个不喜欢自己的人而且男生觉得很困扰女孩子喜欢被牵引着走，但是男孩子牵引就是因为不喜欢这个女孩子，好可怜！青春就这…...
JSON和Protobuf序列化
文章目录 一、粘包和拆包1、半包问题2、半包现象原理 二、JSON协议通信1、通用类库2、JSON传输的编码器和解码器 三、Protobuf协议通信1、一个简单的proto文件的实践案例2、生成POJO和Builder3、消息POJO和Builder的使用案例1）构造POJO消息对象2）序列化和…...
lambda表达式 - c++11
文章目录： lambda表达式概念lambda表达式语法函数对象与lambda表达式 lambda表达式概念 lambda 表达式是 c11 中引入的一种匿名函数，它可以在需要函数对象的地方使用，可以用作函数参数或返回值。lambda 表达式可以看作是一种局部定义的函数对…...
509. 斐波那契数
斐波那契数 （通常用 F(n) 表示）形成的序列称为 斐波那契数列 。该数列由 0 和 1 开始，后面的每一项数字都是前面两项数字的和。也就是： F(0) 0，F(1) 1 F(n) F(n - 1) F(n - 2)，其中 n > 1给定 n &a…...
四、[mysql]索引优化-1
目录 前言一、场景举例1.联合索引第一个字段用范围查询不走索引(分情况）2.强制走指定索引3.覆盖索引优化4.in和or在表数据量比较大的情况会走索引，在表记录不多的情况下会选择全表扫描5.like 后% 一般情况都会走索引(索引下推) 二、Mysql如何选择合适的索…...
PyTorch入门学习（九）：神经网络-最大池化使用
目录 一、数据准备 二、创建神经网络模型 三、可视化最大池化效果 一、数据准备 首先，需要准备一个数据集来演示最大池化层的应用。在本例中，使用了CIFAR-10数据集，这是一个包含10个不同类别图像的数据集，用于分类任务。我们使…...
0基础学习PyFlink——用户自定义函数之UDF
大纲 标量函数入参并非表中一行（Row）入参是表中一行（Row）alias PyFlink中关于用户定义方法有： UDF：用户自定义函数。UDTF：用户自定义表值函数。UDAF：用户自定义聚合函数。UDTAF&…...
英语小作文模板（06求助+描述；07描述+建议）
06 求助描述： 题目背景及要求 第一段 第二段 第三段 翻译成中文 07 描述＋建议： 题目背景及要求 第一段 第二段...
为什么感觉假期有时候比上班还累？
假期比上班还累的感觉可能由以下几个原因造成： 计划过度：在假期里，人们往往会制定各种计划，如旅游、聚会、休息等，以充分利用这段时间。然而，如果这些计划过于紧张或安排得过于紧密，就会导致身…...
推理还是背诵？通过反事实任务探索语言模型的能力和局限性
推理还是背诵？通过反事实任务探索语言模型的能力和局限性 摘要1 引言2 反事实任务2.1 反事实理解检测 3 任务3.1 算术3.2 编程3.3 基本的句法推理3.4 带有一阶逻辑的自然语言推理3.5 空间推理3.6 绘图3.7 音乐3.8 国际象棋 4 结果5 分析5.1 反事实条件的“普遍性”5…...
《利息理论》指导 TCP 拥塞控制
欧文费雪《利息原理》第 10 章，第 11 章对利息的几何说明是普适的，任何一个负反馈系统都能引申出新结论。给出原书图示，本文依据于此，详情参考原书： 将 burst 看作借贷是合理的，它包含成本(报文)…...
)
Bsdiff,Bspatch 的差分增量升级(基于Win和Linux)
目录 背景 内容 准备工作 在windows平台上 在linux平台上 正式工作 生成差分文件思路 作用差分文件思路 在保持相同目录结构进行差分增量升级 服务端(生成差分文件) 客户端(作用差分文件) 背景 像常见的Android 的linux平台，游戏，系统更新都…...
浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）
✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义（Task Definition&…...
利用ngx_stream_return_module构建简易 TCP/UDP 响应网关
一、模块概述 ngx_stream_return_module 提供了一个极简的指令： return <value>;在收到客户端连接后，立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量（如 $time_iso8601、$remote_addr 等）&a…...
从零实现富文本编辑器#5-编辑器选区模型的状态结构表达
先前我们总结了浏览器选区模型的交互策略，并且实现了基本的选区操作，还调研了自绘选区的实现。那么相对的，我们还需要设计编辑器的选区表达，也可以称为模型选区。编辑器中应用变更时的操作范围，就是以模型选区为基准来…...
UE5 学习系列（三）创建和移动物体
这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...
【磁盘】每天掌握一个Linux命令 - iostat
目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat（I/O Statistics）是Linux系统下用于监视系统输入输出设备和CPU使…...
Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...
Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！
一、引言 在数据驱动的背景下，知识图谱凭借其高效的信息组织能力，正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合，探讨知识图谱开发的实现细节，帮助读者掌握该技术栈在实际项目中的落地方法。 …...
Rust 异步编程
Rust 异步编程 引言 Rust 是一种系统编程语言，以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天，异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...
select、poll、epoll 与 Reactor 模式
在高并发网络编程领域，高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表，以及基于它们实现的 Reactor 模式，为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。 一、I…...
全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比
目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...