从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记
本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~
2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面试了几家，发现他们基本上都需要有搭建服务端相关经验的人。因为之前开发主要还是做算法相关，对这一块不怎么熟悉，所以面试问答不流畅都挂了。反正现在也不急有时间，想着要不就边找工作边自己做着玩玩，搭一个完整可用的开源量化平台来学习。
通过最近一个月对其行业的了解，大概有了点概念，计划该平台有以下部分：服务界面，网络，数据，计算，与运维。
文章目录
- 从零开始学习搭建量化平台笔记
- 环境搭建
- Website Server 网站服务器
- 交易终端开发
- CTP 模拟交易
- 分析平台搭建
- 实操交易
- 优化通信
- 运维
持续更新中（Last updated: 2023/10/30）。。。。。。
环境搭建
2023/10/30：因为还是初学者，先来设计个简单的初版结构。
为了之后便于维护，我把各个模块进行了拆分，分别使用不同dockers运行，模拟使用不同主机运行不同服务。
- Website Server 网站服务器： 主要显示可视化数据，运维数据。
- Data Processing Server 数据预处理服务器：主要用来预处理爬虫与金融数据API传来数据，并进行发放。
- Database Server 数据库服务器：主要保存数据，维护数据安全。
- Analysis Server 分析处理服务器：主要计算服务器，用来构造模型与进一步处理数据。
- Trade Terminal 交易终端：主要通过传输的数据进行实时交易。
Website Server 网站服务器
要致富，先修路。在一切开始前，先把可视化网站环境搭好，有利于后续开发使用。
- docker-compose 简单部署Flask + Redis + Nginx环境搭建网站
- docker-compose 简单部署MySQL Database，MySQL 开放端口与权限
- Flask 网站装修，简易更换模板
交易终端开发
- QT 开发简易本地客户端
- 服务端C++编写多线程传输消息
- 简易消息件模块
- Tick 数据接收
CTP 模拟交易
分析平台搭建
- 使用XGBoost进行简单训练流程搭建
实操交易
优化通信
- TCP/IP 协议分析与优化
- UDP 协议分析与优化
运维
- 可视化网站搭建
- 运维数据传输
相关文章：
从零开始学习搭建量化平台笔记
从零开始学习搭建量化平台笔记 本笔记由纯新手小白开发学习记录，欢迎大佬请教指点留言，有空的话还可以认识一下，来上海请您喝咖啡~~ 2023/10/30：上份工作辞职并休息了几个月后，打算开始找个关于量化投资相关的工作。面…...
【whisper】在python中调用whisper提取字幕或翻译字幕到文本
最近在做视频处理相关的业务。其中有需要将视频提取字幕的需求，在我们实现过程中分为两步：先将音频分离，然后就用到了whisper来进行语音识别或者翻译。本文将详细介绍一下whisper的基本使用以及在python中调用whisper的两种方式。 一、whispe…...
git diff对比差异时指定或排除特定的文件和目录
文章目录 前言git diff指定或者排除文件指定文件和目录排除文件和目录 番外篇总结 前言 你一般什么时候会用GPT? 居然会有这种话题，答案就是作为程序员的我天天在用，虽然GPT有个胡说八道的毛病，但试试总没错的，就比如今天题目中这…...
数据结构介绍与时间、空间复杂度
数据结构介绍 什么是数据结构？什么是算法？数据结构和算法的重要性 数据结构定义 数据结构是计算机科学中研究数据组织、存储和管理的一门学科。数据结构描述了数据对象之间的关系，以及对数据对象进行操作的方法和规则。 常见的数据结构 数…...
(c语言进阶)字符串函数、字符分类函数和字符转换函数
一.求字符串长度 1.strlen() (1)基本概念 头文件：<string.h> (2)易错点：strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…...
解决MySQL大版本升级导致.Net(C#)程序连接报错问题
数据库版本从MySQL 5.7.21 升级到 MySQL8.0.21 数据升级完成后，直接修改程序的数据库连接配置信息 <connectionStrings> <add name"myConnectionString" connectionString"server192.168.31.200;uidapp;pwdFgTDkn0q!75;databasemail;&q…...
Java 将对象List转为csv文件并上传远程文件服务器实现方案
问题情景： 最近项目中遇到了根据第三方系统传递过来的参数，封装为List<实体类对象>后，将该实体类转换为csv文件，然后上传到远程的sftp服务器指定目录的需求。 实现思路： List<实体类对象>转为csv文件的…...
分享8个分布式Kafka的使用场景
Kafka 最初是为海量日志处理而构建的。它保留消息直到过期，并让消费者按照自己的节奏提取消息。与它的前辈不同，Kafka 不仅仅是一个消息队列，它还是一个适用于各种情况的开源事件流平台。 1. 日志处理与分析 下图显示了典型的 ELK࿰…...
【再见了暗恋对象 朋友们看完之后的一些感悟】
【再见了暗恋对象】写完之后魏野是我的第一个读者，魏野的反应是：这就是青春啊，喜欢了一个不喜欢自己的人而且男生觉得很困扰女孩子喜欢被牵引着走，但是男孩子牵引就是因为不喜欢这个女孩子，好可怜！青春就这…...
JSON和Protobuf序列化
文章目录 一、粘包和拆包1、半包问题2、半包现象原理 二、JSON协议通信1、通用类库2、JSON传输的编码器和解码器 三、Protobuf协议通信1、一个简单的proto文件的实践案例2、生成POJO和Builder3、消息POJO和Builder的使用案例1）构造POJO消息对象2）序列化和…...
lambda表达式 - c++11
文章目录： lambda表达式概念lambda表达式语法函数对象与lambda表达式 lambda表达式概念 lambda 表达式是 c11 中引入的一种匿名函数，它可以在需要函数对象的地方使用，可以用作函数参数或返回值。lambda 表达式可以看作是一种局部定义的函数对…...
509. 斐波那契数
斐波那契数 （通常用 F(n) 表示）形成的序列称为 斐波那契数列 。该数列由 0 和 1 开始，后面的每一项数字都是前面两项数字的和。也就是： F(0) 0，F(1) 1 F(n) F(n - 1) F(n - 2)，其中 n > 1给定 n &a…...
四、[mysql]索引优化-1
目录 前言一、场景举例1.联合索引第一个字段用范围查询不走索引(分情况）2.强制走指定索引3.覆盖索引优化4.in和or在表数据量比较大的情况会走索引，在表记录不多的情况下会选择全表扫描5.like 后% 一般情况都会走索引(索引下推) 二、Mysql如何选择合适的索…...
PyTorch入门学习（九）：神经网络-最大池化使用
目录 一、数据准备 二、创建神经网络模型 三、可视化最大池化效果 一、数据准备 首先，需要准备一个数据集来演示最大池化层的应用。在本例中，使用了CIFAR-10数据集，这是一个包含10个不同类别图像的数据集，用于分类任务。我们使…...
0基础学习PyFlink——用户自定义函数之UDF
大纲 标量函数入参并非表中一行（Row）入参是表中一行（Row）alias PyFlink中关于用户定义方法有： UDF：用户自定义函数。UDTF：用户自定义表值函数。UDAF：用户自定义聚合函数。UDTAF&…...
英语小作文模板（06求助+描述；07描述+建议）
06 求助描述： 题目背景及要求 第一段 第二段 第三段 翻译成中文 07 描述＋建议： 题目背景及要求 第一段 第二段...
为什么感觉假期有时候比上班还累？
假期比上班还累的感觉可能由以下几个原因造成： 计划过度：在假期里，人们往往会制定各种计划，如旅游、聚会、休息等，以充分利用这段时间。然而，如果这些计划过于紧张或安排得过于紧密，就会导致身…...
推理还是背诵？通过反事实任务探索语言模型的能力和局限性
推理还是背诵？通过反事实任务探索语言模型的能力和局限性 摘要1 引言2 反事实任务2.1 反事实理解检测 3 任务3.1 算术3.2 编程3.3 基本的句法推理3.4 带有一阶逻辑的自然语言推理3.5 空间推理3.6 绘图3.7 音乐3.8 国际象棋 4 结果5 分析5.1 反事实条件的“普遍性”5…...
《利息理论》指导 TCP 拥塞控制
欧文费雪《利息原理》第 10 章，第 11 章对利息的几何说明是普适的，任何一个负反馈系统都能引申出新结论。给出原书图示，本文依据于此，详情参考原书： 将 burst 看作借贷是合理的，它包含成本(报文)…...
)
Bsdiff,Bspatch 的差分增量升级(基于Win和Linux)
目录 背景 内容 准备工作 在windows平台上 在linux平台上 正式工作 生成差分文件思路 作用差分文件思路 在保持相同目录结构进行差分增量升级 服务端(生成差分文件) 客户端(作用差分文件) 背景 像常见的Android 的linux平台，游戏，系统更新都…...
解决本地部署 SmolVLM2 大语言模型运行 flash-attn 报错
出现的问题 安装 flash-attn 会一直卡在 build 那一步或者运行报错 解决办法 是因为你安装的 flash-attn 版本没有对应上，所以报错，到 https://github.com/Dao-AILab/flash-attention/releases 下载对应版本，cu、torch、cp 的版本一定要对…...
鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南
1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发，使用DevEco Studio作为开发工具，采用Java语言实现，包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...
技术栈RabbitMq的介绍和使用
目录 1. 什么是消息队列？2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...
嵌入式学习笔记DAY33（网络编程——TCP）
一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...
免费数学几何作图web平台
光锐软件免费数学工具，maths,数学制图，数学作图，几何作图，几何，AR开发,AR教育,增强现实,软件公司,XR,MR,VR,虚拟仿真,虚拟现实,混合现实,教育科技产品,职业模拟培训,高保真VR场景,结构互动课件,元宇宙http://xaglare.c…...
python爬虫——气象数据爬取
一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用： 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests：发送 …...
面试高频问题
文章目录 🚀 消息队列核心技术揭秘：从入门到秒杀面试官1️⃣ Kafka为何能"吞云吐雾"？性能背后的秘密1.1 顺序写入与零拷贝：性能的双引擎1.2 分区并行：数据的"八车道高速公路"1.3 页缓存与批量处理…...
aardio 自动识别验证码输入
技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...
电脑桌面太单调，用Python写一个桌面小宠物应用。
下面是一个使用Python创建的简单桌面小宠物应用。这个小宠物会在桌面上游荡，可以响应鼠标点击，并且有简单的动画效果。 import tkinter as tk import random import time from PIL import Image, ImageTk import os import sysclass DesktopPet:def __i…...
性能优化中，多面体模型基本原理
1）多面体编译技术是一种基于多面体模型的程序分析和优化技术，它将程序 中的语句实例、访问关系、依赖关系和调度等信息映射到多维空间中的几何对 象，通过对这些几何对象进行几何操作和线性代数计算来进行程序的分析和优 化。 其中࿰…...