从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记
本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~
2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面试了几家，发现他们基本上都需要有搭建服务端相关经验的人。因为之前开发主要还是做算法相关，对这一块不怎么熟悉，所以面试问答不流畅都挂了。反正现在也不急有时间，想着要不就边找工作边自己做着玩玩，搭一个完整可用的开源量化平台来学习。
通过最近一个月对其行业的了解，大概有了点概念，计划该平台有以下部分：服务界面，网络，数据，计算，与运维。
文章目录
- 从零开始学习搭建量化平台笔记
- 环境搭建
- Website Server 网站服务器
- 交易终端开发
- CTP 模拟交易
- 分析平台搭建
- 实操交易
- 优化通信
- 运维
持续更新中（Last updated: 2023/10/30）。。。。。。
环境搭建
2023/10/30：因为还是初学者，先来设计个简单的初版结构。
为了之后便于维护，我把各个模块进行了拆分，分别使用不同dockers运行，模拟使用不同主机运行不同服务。
- Website Server 网站服务器： 主要显示可视化数据，运维数据。
- Data Processing Server 数据预处理服务器：主要用来预处理爬虫与金融数据API传来数据，并进行发放。
- Database Server 数据库服务器：主要保存数据，维护数据安全。
- Analysis Server 分析处理服务器：主要计算服务器，用来构造模型与进一步处理数据。
- Trade Terminal 交易终端：主要通过传输的数据进行实时交易。
Website Server 网站服务器
要致富，先修路。在一切开始前，先把可视化网站环境搭好，有利于后续开发使用。
- docker-compose 简单部署Flask + Redis + Nginx环境搭建网站
- docker-compose 简单部署MySQL Database，MySQL 开放端口与权限
- Flask 网站装修，简易更换模板
交易终端开发
- QT 开发简易本地客户端
- 服务端C++编写多线程传输消息
- 简易消息件模块
- Tick 数据接收
CTP 模拟交易
分析平台搭建
- 使用XGBoost进行简单训练流程搭建
实操交易
优化通信
- TCP/IP 协议分析与优化
- UDP 协议分析与优化
运维
- 可视化网站搭建
- 运维数据传输
相关文章：
从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记 本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~ 2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面…...
【whisper】在python中调用whisper提取字幕或翻译字幕到文本
最近在做视频处理相关的业务。其中有需要将视频提取字幕的需求，在我们实现过程中分为两步：先将音频分离，然后就用到了whisper来进行语音识别或者翻译。本文将详细介绍一下whisper的基本使用以及在python中调用whisper的两种方式。 一、whispe…...
git diff对比差异时指定或排除特定的文件和目录
文章目录 前言git diff指定或者排除文件指定文件和目录排除文件和目录 番外篇总结 前言 你一般什么时候会用GPT? 居然会有这种话题，答案就是作为程序员的我天天在用，虽然GPT有个胡说八道的毛病，但试试总没错的，就比如今天题目中这…...
数据结构介绍与时间、空间复杂度
数据结构介绍 什么是数据结构？什么是算法？数据结构和算法的重要性 数据结构定义 数据结构是计算机科学中研究数据组织、存储和管理的一门学科。数据结构描述了数据对象之间的关系，以及对数据对象进行操作的方法和规则。 常见的数据结构 数…...
(c语言进阶)字符串函数、字符分类函数和字符转换函数
一.求字符串长度 1.strlen() (1)基本概念 头文件：<string.h> (2)易错点：strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…...
解决MySQL大版本升级导致.Net(C#)程序连接报错问题
数据库版本从MySQL 5.7.21 升级到 MySQL8.0.21 数据升级完成后，直接修改程序的数据库连接配置信息 <connectionStrings> <add name"myConnectionString" connectionString"server192.168.31.200;uidapp;pwdFgTDkn0q!75;databasemail;&q…...
Java 将对象List转为csv文件并上传远程文件服务器实现方案
问题情景： 最近项目中遇到了根据第三方系统传递过来的参数，封装为List<实体类对象>后，将该实体类转换为csv文件，然后上传到远程的sftp服务器指定目录的需求。 实现思路： List<实体类对象>转为csv文件的…...
分享8个分布式Kafka的使用场景
Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的前辈不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。 1. 日志处理与分析 下图显示了典型的 ELK࿰…...
【再见了暗恋对象 朋友们看完之后的一些感悟】
【再见了暗恋对象】写完之后魏野是我的第一个读者，魏野的反应是：这就是青春啊，喜欢了一个不喜欢自己的人而且男生觉得很困扰女孩子喜欢被牵引着走，但是男孩子牵引就是因为不喜欢这个女孩子，好可怜！青春就这…...
JSON和Protobuf序列化
文章目录 一、粘包和拆包1、半包问题2、半包现象原理 二、JSON协议通信1、通用类库2、JSON传输的编码器和解码器 三、Protobuf协议通信1、一个简单的proto文件的实践案例2、生成POJO和Builder3、消息POJO和Builder的使用案例1）构造POJO消息对象2）序列化和…...
lambda表达式 - c++11
文章目录： lambda表达式概念lambda表达式语法函数对象与lambda表达式 lambda表达式概念 lambda 表达式是 c11 中引入的一种匿名函数，它可以在需要函数对象的地方使用，可以用作函数参数或返回值。lambda 表达式可以看作是一种局部定义的函数对…...
509. 斐波那契数
斐波那契数 （通常用 F(n) 表示）形成的序列称为 斐波那契数列 。该数列由 0 和 1 开始，后面的每一项数字都是前面两项数字的和。也就是： F(0) 0，F(1) 1 F(n) F(n - 1) F(n - 2)，其中 n > 1给定 n &a…...
四、[mysql]索引优化-1
目录 前言一、场景举例1.联合索引第一个字段用范围查询不走索引(分情况）2.强制走指定索引3.覆盖索引优化4.in和or在表数据量比较大的情况会走索引，在表记录不多的情况下会选择全表扫描5.like 后% 一般情况都会走索引(索引下推) 二、Mysql如何选择合适的索…...
PyTorch入门学习（九）：神经网络-最大池化使用
目录 一、数据准备 二、创建神经网络模型 三、可视化最大池化效果 一、数据准备 首先，需要准备一个数据集来演示最大池化层的应用。在本例中，使用了CIFAR-10数据集，这是一个包含10个不同类别图像的数据集，用于分类任务。我们使…...
0基础学习PyFlink——用户自定义函数之UDF
大纲 标量函数入参并非表中一行（Row）入参是表中一行（Row）alias PyFlink中关于用户定义方法有： UDF：用户自定义函数。UDTF：用户自定义表值函数。UDAF：用户自定义聚合函数。UDTAF&…...
英语小作文模板（06求助+描述；07描述+建议）
06 求助描述： 题目背景及要求 第一段 第二段 第三段 翻译成中文 07 描述＋建议： 题目背景及要求 第一段 第二段...
为什么感觉假期有时候比上班还累？
假期比上班还累的感觉可能由以下几个原因造成： 计划过度：在假期里，人们往往会制定各种计划，如旅游、聚会、休息等，以充分利用这段时间。然而，如果这些计划过于紧张或安排得过于紧密，就会导致身…...
推理还是背诵？通过反事实任务探索语言模型的能力和局限性
推理还是背诵？通过反事实任务探索语言模型的能力和局限性 摘要1 引言2 反事实任务2.1 反事实理解检测 3 任务3.1 算术3.2 编程3.3 基本的句法推理3.4 带有一阶逻辑的自然语言推理3.5 空间推理3.6 绘图3.7 音乐3.8 国际象棋 4 结果5 分析5.1 反事实条件的“普遍性”5…...
《利息理论》指导 TCP 拥塞控制
欧文费雪《利息原理》第 10 章，第 11 章对利息的几何说明是普适的，任何一个负反馈系统都能引申出新结论。给出原书图示，本文依据于此，详情参考原书： 将 burst 看作借贷是合理的，它包含成本(报文)…...
)
Bsdiff,Bspatch 的差分增量升级(基于Win和Linux)
目录 背景 内容 准备工作 在windows平台上 在linux平台上 正式工作 生成差分文件思路 作用差分文件思路 在保持相同目录结构进行差分增量升级 服务端(生成差分文件) 客户端(作用差分文件) 背景 像常见的Android 的linux平台，游戏，系统更新都…...
网络六边形受到攻击
大家读完觉得有帮助记得关注和点赞！！！ 抽象 现代智能交通系统 （ITS） 的一个关键要求是能够以安全、可靠和匿名的方式从互联车辆和移动设备收集地理参考数据。Nexagon 协议建立在 IETF 定位器/ID 分离协议 （…...
Spring Boot 实现流式响应（兼容 2.7.x）
在实际开发中，我们可能会遇到一些流式数据处理的场景，比如接收来自上游接口的 Server-Sent Events（SSE） 或 流式 JSON 内容，并将其原样中转给前端页面或客户端。这种情况下，传统的 RestTemplate 缓存机制会…...
什么是库存周转？如何用进销存系统提高库存周转率？
你可能听说过这样一句话： “利润不是赚出来的，是管出来的。” 尤其是在制造业、批发零售、电商这类“货堆成山”的行业，很多企业看着销售不错，账上却没钱、利润也不见了，一翻库存才发现： 一堆卖不动的旧货…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...
2025 后端自学UNIAPP【项目实战：旅游项目】6、我的收藏页面
代码框架视图 1、先添加一个获取收藏景点的列表请求 【在文件my_api.js文件中添加】 // 引入公共的请求封装 import http from ./my_http.js// 登录接口（适配服务端返回 Token） export const login async (code, avatar) > {const res await http…...
Psychopy音频的使用
Psychopy音频的使用 本文主要解决以下问题： 指定音频引擎与设备；播放音频文件 本文所使用的环境： Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...
)
GitHub 趋势日报 (2025年06月08日)
📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...
微信小程序云开发平台MySQL的连接方式
注：微信小程序云开发平台指的是腾讯云开发 先给结论：微信小程序云开发平台的MySQL，无法通过获取数据库连接信息的方式进行连接，连接只能通过云开发的SDK连接，具体要参考官方文档： 为什么？ 因为…...
今日学习：Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存
文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...
服务器--宝塔命令
一、宝塔面板安装命令 ⚠️ 必须使用 root 用户 或 sudo 权限执行！ sudo su - 1. CentOS 系统： yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh2. Ubuntu / Debian 系统…...