RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶

目录

背景

根因分析

配置

构造

创建 network

构造 zookeeper

构造 kafka

参数构造

原理解析

图解

全过程解析

工具使用

kafkacat

查看 broker

python 实现

python send + kafka recv

python 代码

kafka recv

运行效果

python recv + kafka send

python 代码 

kafka send

运行效果

思考

python send + python recv

原理

运行效果

---

背景

如果你已经完整阅读Milvus核心组件（4）---- MinIO 结合 Kafka 的配置，使用及原理（超详细版）-CSDN博客，并动手实际操作过，那么你对minio+kafka的使用已经完全入门。但是有一个问题，你会发现我们的调用机制是 python 调用了 minio 所在的服务，由他关联的 kafka 被调用。但是你在docker 外主机中，通过 python 调用 kafka 会发现会失败。试想你正在做一大大型应用，要求python 写入 minio 之后，联动kafka 自己做一点自己需要完成的事情。这个scope 本身已经超越了 milvus 本身，因为你可能认为在milvus 配置中，你已经完成了minio+kafka 的搭建，并从kafka 中正确收到了minio 关于 bucket 的 event 事件。当然你可以利用这一点，做一些额外的操作，比如，你想将对这些minio 的操作保存到 sqlite 中，又或者做一些其他log 的处理。在Yolo 低版本模型中，要求输入总是416* 416 pixels 的正方形图像，你可以在上传图片到minio 的过程中，通过kafka event 变相处理这些图片，将他们归一化存储到训练集的buc