记一次udp服务性能优化经历

概述

手上有个go项目，接收udp信息（主要是syslog和snmp trap）并查询设备信息，将信息结构化（设备ip名称，匹配了什么规则之类的）后发送到kafka和es。
本身项目是基于benshos进行开发的，但是整体性能并不那么让人满意，而且还存在丢包的问题（udp缓冲区拿数据太慢导致数据丢失了）。整个性能优化过程比较有意义，所以整理一篇文章记录下来。
性能优化核心思想就是如下几条：

1. 减少磁盘io
2. 减少网络io
3. 减少重复计算
4. 减少内存复制（主要是io次数）
5. 减少互斥锁

磁盘io

首先进行优化的是，批量写入es和kafka的量级，之前是批量100条写入，直接修改为1000条，网络io次数减少了9/10，整体性能也大大提升。
后面优化就比较麻烦了，根据pprof的火焰图，发现trap插件存在过多写入日志的问题，火焰图如下：
查看snmp源码，发现会在创建连接的时候传入一个log接口，我直接写了一个假的接口，跳过输出，火焰图表现好了很多，大致如下：
不太想动benthos和snmp的代码，所以这里日志输出比之前好太多了。
根据磁盘io的思路，我去排查我的所有日志模块，对所有有日志打印的地方进行了优化，将没必要的日志输出全部删除。
衡量io是否还有优化空间的方式之一是看cpu利用率是否打满了（在不考虑算法的情况下）。

网络io

网络io方面，一部分是kafka和es输出的io次数，另一个是每条udp信息都要去查询相关设备信息。虽然走的redis，并且加了锁，但是性能还是很低。
最开始的思路是通过读写锁+map的方式做缓存，后来发现这个问题很大，主要是并发太高的情况下，写入设备信息需要互斥锁，导致所有线程都无法去读取相关信息。后来想用sync.Map，但是性能还是不好（测试每次都用不同的设备ip来查，缓存基本不生效，每次都是新的ip）。最后做了一个go程，每过一段时间去redis更新设备信息，并将设备信息全部缓存到本地的map。将更新设备信息和读取分离，这样查询不到设备信息的情况下不会直接查redis，大大提升了性能。（至于redis能不能扛得住，影响不大，每次设备更新是单独执行，慢点就慢点）。

减少重复计算

这块主要是对代码本身不合理的地方进行优化，主要工作如下：

1. 将可以缓存的信息全部缓存，不要重复计算
2. 减少udp接收数据的处理过程，先用channel发送出去，如果间隔的udp接收时间过长可能会导致中间的缓冲被覆盖。

减少内存复制

主要是减少不必要的指针使用。

减少互斥锁

互斥锁影响很大，一定要想办法去除，或者尽量减少互斥锁的加锁次数。

写作过程中被打断了，，思路全没了。先这么着吧。
另外要学会使用pprof，特别是看那些图片。