拧巴的 tcp

本来想说说 tcp fastopen(tfo)，但没什么意义，看 rfc7413 好了，还是 tcp 的惯常套路，引入一个新特性，解决了某个问题，带来一些新问题，然后就是各种 tradeoff，哪里适用哪里不适用。久而久之，tcp 就成了一个极其拧巴的协议，都烦，但谁也逃不过，但凡 tcp 问题都不是容易解决的，都是仁者见仁的形而上。

昨天刷到一个搞云原生项目管理的经理 up 主竟然单独出一期视频讲 tcp 超时，我就拧巴了，说明 tcp 真就是一团乱麻，得好好理一下。

tcp 是 internet(首字母 i 应该大写) 开山协议，后来从中分出了 ip，就是 tcp/ip 第四版，可见前面至少折腾了三个版本，其实远远不止。事后来看，这就是 tcp 拧巴的核心原因，如果 tcp/ip 是设计出来而不是进化出来的，应该是个反过来的过程，先有一个尽力而为的 ip 奠定瘦网胖端的细腰基础，然后在其上铺设其它协议。

果真如此的话，分层协议就没了传输层，协议会更加平坦，不会有 tcp 协议，更不会有 udp，而是 app 自决，由 app 自行规定传输控制语义，标准化的过程会更自然，哪个 app 比较流行，哪个 app 规定的传输控制语义就是标准，就像 quic 后来做的那样，其底色就是流行的 http，但 quic 却不为路由器交换机所知，这才是真正的端到端。

但事实和理想是相反的，tcp/ip 不是设计出来的，而是进化出来的，所以 iso/osi 说好的分层协议层间隔离就成了瞎话，它们本质是不同的东西。tcp 既没有隔离上层，也没有隔离下层，我就说几个例子。

对上层，程序员完全在 tcp 之上编程(inet steam socket)，如果 tcp 发生异常比如断了，程序员必须显式处理，一大堆恶心缠绕的代码在处理异常，这种习惯慢慢成了范式，以至于 quic 已经有了连接迁移能力时，程序员依然害怕五元组变化。当谈到 google 家的 plb 时，人们首先想到的不是它的作用，而是它的问题，“它是如何更换五元祖不导致连接挂掉的？” 连接挂就挂了呗，为什么 app 和 tcp 之间没有一个 lib 解决这个问题呢。程序员害怕 tcp 断，但其实 tcp 本不该被程序员感知。

对下层，tso/gso，lro/gro 依赖顺序 stream，但传输优化却要乱序，这两者相悖，但网卡还是害怕 tcp socket 在 cpu 间迁移，不然它那些个 offloading，rss 就不起作用，空耗复杂性，当我提到这两者相悖时，程序员怼我，拼命维护 offloading 和 rss，大意是 “我靠，你怎么连优秀的 rss 都喷”，我就说，有了 rss，你怎么玩乱序。

网络和 cpu 完全不同，带宽的发展是无关比特并行度的提高，而 cpu 则被串行流约束，两者如不解耦，性能根本上不去，然而程序员思维大大偏向 cpu，他们根本无法理解如果取消了流的串行约束，还能剩下什么。

核心交换容量都 100Tbps 了，还在玩 lro/gro，你们难道不知道它们受限于 cpu 吗，这还没考虑内存墙，你们懂交换容量吗，你们拼命节省 cpu，但你们忍心浪费核心交换机的背板能耗吗。懂网络的程序员很少，无论 xdp，dpdk，offloading，用户态，在他们没看懂近乎无限的交换容量前，他们完全不懂如何浪费这种容量，将精力集中在 cpu 没错，但错在他们忽略了带宽。

tcp 已经运行 40 年，虽然大家都在谈 tcp/ip 分层，但它和分层思想是相悖的，tcp 贯穿了从 socket 到网卡，在路由器，交换机，都有 tcp，tcp 无处不在，侵染了系统思想。

一个 web 前端程序员懂 tcp，一个网卡驱动程序员也懂 tcp，看起来都很精通，但其实并不懂，不怪人，只怪 tcp 太拧巴。当然，说的都是经理。

吃饭了。

浙江温州皮鞋湿，下雨进水不会胖。