【最后203篇系列】001 - 2024回顾

说明

最早在CSDN上写文章有两个目的：

• 1 自己梳理知识，以备日后查用
• 2 曾经从别人的文章中得到过帮助，所以也希望能给人帮助

所以在这个过程中，我的文章基本上完全是原创，也非常强调落地与工程化。在不断写作的过程中，我也得到了许多好处，教学相长的感觉。

不过，万事都有个尽头，我给自己一个小目标：1000篇博客。在接下来的1~2年内，我会完成这个目标。

内容，还是以我自己的体会、实践为主，如果有人觉得有用固然好，自己写写也挺享受的。

内容

快到年底了，又是一年。完结篇从一个年度回顾开始吧。

大概围绕：架构、大模型应用、算法与量化展开。

1 架构

我大约是从2020年开始，决定搞这方面的。最初的动力是来自于需求无法被满足。我所设想的算法世界很有趣，但是似乎找不到可以支撑的结构，我碰到的很多项目都是传统项目，过于古老而简陋。

于是我从装机器、装系统、布服务一点点搞，差不多4年时间，我觉得终于可以告一段落了。架构的世界也很大，我不是高手，只是觉得到这里基本结构可以了，我的兴趣还是在算法。

顺着时间线，5月份之前的记忆有点模糊了，忘了搞了什么。

1.1 ClickHouse - 6月

这是一个很棒的列式数据库，非常适合做备份、快速统计等，以前在我的数据库里缺了这一块。

1.2 ORM - 7月

原来我比较排斥ORM，觉得效率不够高。这大概是我过去经常是做块状数据操作，而且交互量也不大的原因。后来突然发现，世界是有两极的，批量操作和单条操作是不可能互相取代的，各有用武之地。

所以我把SQLAlchemy捡了起来，然后做了大量的对接工作：MySQL、Postgres、Clickhouse、SQLite 等一系列的对接，将使用习惯扭转过来。感觉好极了。

之后用MongoEngine 做了和Mongo的对接。

1.3 异步并发 - 8月

因为要调用大模型，所以对线程和协程异步并发也重新拉出来Review，然后算是成熟应用了。踩了一些坑，比如协程最好在脚本里只调一次run之类的。

1.4 Pydantic - 9 月

很早就像对数据的接口做规范。这次终于发现这个宝藏包，挺好的。

1.5 InfluxDB - 10 月

突然发现，我一直少了一块数据库：时序数据库。这次也补上了，未来可以用来做事件的存储分析，特别是量化的数据。

1.6 FastAPI - 10月

之前是有点偷懒的，想着既然掌握了Flask、Tornado 是不是也就够了。后来发现FastAPI还是很有必要的，特别是天然的异步可以结合异步包进行单条的数据库操作。

1.7 Prefect - 11月

在调度这块，我一直是比较缺失的。我基于Celery、FlastAPScheduler等其实已经自研了80%左右，还缺前端。但是Prefect可以更快让我动起来，我还可以借鉴一些成熟的做法，这样也几乎补上了这块短板。

1.8 队列 - 6-11月

前前后后，我尝试了RabbitMQ、Redis Stream、Kafka 三种队列。今年主要把Kafka弄好了，这个的作用比较大。当然，我又发现这几种队列又是没法互相取代的(轻、重队列）。

1.9 MatterMost -12 月

搭建了自己的服务，方便之后使用大模型加持：比如整理知识、自动安排提醒以及消息推送等。

1.10 Milvus 11月

以前做过实验性的，终于在生产上用起了Milvus。

1.11 Neo4j 10月

以前做过实验性的，终于在生产上用起了Neo4j。

1.12 DogPile 11月

开始在生产上用了Cache

其他

还有一些是零零散散做的，比如

• 1 日志。以前一直没有记日志的习惯，大部分时候是提供一个足够好的无状态服务。
• 2 Ansible。用于自动化部署。
• 3 Grafana。用于展示数据。
• 4 Telegraf。 和InfluxDB搭配的收集和解析指标工具。
• 5 Logstash。另一个生态ELK下的组件。
• 6 Nginx。开始用带健康检测的方式实现AB服务的部署。
• 7 Mysql 升到了8。
• 8 Mongo升到了8。

除了这些工具性的东西，我还做了大量的与之适配的开发。总之，今年可以说从程序设计、程序调度、IO并发以及存储等多个方面都有了大提升，够我实现一些基础算法能力了。

比较可惜的是，今年还是没有时间 把Dask和Ray搞好,得要2025年了。

2 大模型应用

今年应该算是大模型应用元年。

2.1 智谱时间(3、4月）

早些时候，智谱还是最好的选择。那时候我还手工部署和使用过glm2,glm3，还用自己的显卡实现过一些简单的项目。后来调他们的官方接口也做过一些任务。

2.2 Ollama时间(5、6月)

那时还是以自己搞小模型为主，当时出了Llama2啥的，性能有了提升，但还没太大用。

2.3 LangChain-ChatChat(7月)

虽然还是一个基于小模型的工具，但是从前台到后台，把RAG的东西展示清楚了，也触发了我去搞Agent、Function-Calling的想法。

2.4 DeepSeek(8、9月)

从这里开始是一个分水岭。DeepSeek重新定义了大模型的价格，以及效果。很快还退出了缓存技术，这都是很大的进步，让我们的项目可以以更大的规模去使用大模型。

2.5 豆包(10,11月)

如果说DeepSeek是ToC的，那么豆包就是ToB的。同级别的效果，更大的并发和更低的价格。我们的应用量更大了。

到现在，我们非常明确，大模型对于产品和业务，应该怎么去配合，以及发挥价值。（外在）

对我来说，更重要的还是RAG、Agent和Function-Calling。从现在的评估来看，大模型的能力基本没有问题了，工具也基本查探和准备好了，下一步就可以结合我的工作方式 丰富，并在实际的业务中发挥很大作用。（内在）

大模型白热化竞争以及飞速迭代的背后，让我更加肯定一些模糊的想法。既要顺着主流，把大模型用好 ，当下就产生巨大推力；另外，也要看到未来发展的趋势，有些是必然的，比如机器换人。还有一些是现在主流技术的盲区，但随着大模型的影响力，这些盲区可能会被打开。

总之，现在更专注与加速是最正确的决定。

3 算法

算法是目前我最“亏欠”的一块

我最初是搞算法的，这是我最感兴趣的一块。中间因为建设架构的原因，很大一部分精力都不在算法。然而这才是价值实现的最关键步骤。

我的算法最终目标是模拟+推演。

如果说传统机器学习是基于解析法的，我所要研究的方向就是近似法。在模拟和推演的基础上，可以进行发现，也可以进行博弈。

3.1 实体识别重构(3-5月)

最早有一版实体识别，但是比较早了。后来需要进行迭代，里面的从打标、训练到输出，整个流水线很长。所以我对整个模型的流水线进行了重构。
感觉更多的还是“炒冷饭”，但是为了业务也没办法。

3.2 实体识别及匹配(7-8月）

这个更多是奔着业务去的，但是在这个过程中有方法性的收获。

• 1 信息角度。向量法对于特别短的文本效果是不好的，这时候熵太大了。所以不能用向量，而是要用类似词袋的方法。所以这是一个两极问题。
• 2 层次。先模式识别，再模型处理。一个基本的总分结构是要有的。

3.3 开启强化学习(9-10月)

有了一个完整的开始，也完成了一些入门级实验。

• 1 强化学习的基本概念。
• 2 QLearning的再次剖析，后续打算以这个为抓手重新切入。

3.4 语义向量的使用(8-11)

这也算是炒冷饭吧，好歹也用上了。效果如预期，不错。

3+个应用点，都是用向量去重。

诶，就是这些。感觉自己都很丢脸，一点深度都没有。明年开始要改变了，期待在未来的4年内，算法再上一个台阶，量化为证。

我大致把算法分为以下几部分：

• 1 判别算法。包含聚类和分类算法，主要的目的是将数据归为某类，并给出量化的度量。这模拟人类的基础判别逻辑，归纳和演绎。
• 2 遗传算法。主要的目的是进行探索，找到更合适的解。与之相关的是线性规划，一种更简单的优化方法。
• 3 推理算法。目前还不明确，但应该是以图为基础的算法。模拟人的链式推理。
• 4 强化学习。主要目的也是进行探索，但与遗传算法不同，强化学习的目标是更泛化的通用目标，更接近人的学习方式。
• 5 时间序列模型。特别强调在时间序列上的特征计算与判别，比较有代表性的是HMM的隐含序列。
• 6 推荐算法。从时间和空间两个大的维度进行推荐。

一些比较明确的想法：

• 1 LR、GBDT、XGBoost差不多是判别模型的代表。
• 2 KMeans, DBScan是聚类的代表。
• 3 图的聚类，或者说子图分割是一个重要的切入点。
• 4 遗传算法+LR+矩阵计算可以产生很强大的应用，我称为MPLR(Matrix Parralel LR)
• 5 QLearning可以视为是强化学习的LR。

4 量化

产生了一些新的想法，更新了认知，也有了新的工具准备。

认知1: 中国的股市完全不同于美国股市（但不意味着无价值，只是方法不同）
认识2: 投资债券可能是更好的方式
认知3: 简单技术路子是行不通的，虽然能比一般的固收高，但肯定不划算
认知4: 模式+模型是对的方式
认知5: 先实现成熟的策略，再进行变体，是对的方式

工具1：Numba。极大加速了数值型For循环的效率。
工具2：Pybroker。可以用来进行参照和对比。

我希望明年一月份可以完成V2版的第一次迭代，V1版要准备退出舞台了。