IO 多路复用、网络协议与爬虫抓包介绍

文章目录一、IO多路复用二、网络数据包处理的细节三、应用层协议1.单元信息表示方式1.1行文本1.2html1.3xml1.4json1.5protobuf2.现成协议2.1HTTP协议四、代理五、抓包六、爬虫一、IO多路复用一个线程一时连接管理着多个socket通过操作系统全局地同时监听所有socket的IO状态地同时等待多个连接选出其一最早有数据的绕阻非顺地一个个执行二、网络数据包处理的细节一个线程在同一瞬间 只能在执行某一行多个客户端发送多个请求 可以同一时刻到达服务器网卡一个个地接收内核放进各自socket的接收缓冲区epoll一次告诉线程 各个socket的IO状况线程IO复用地选择接收缓冲区有请求数据的socket,一个个地处理写入它们socket的发送缓冲区操作系统有一好就发它地通过网卡返回响应三、应用层协议1.单元信息表示方式1.1行文本分隔符 值内容麦当劳, 商家图片3.jpg, 5.0, 10, 快餐\n1.2html成对起始 固定键说明 成对分隔符 值内容table border1 tr td商家名称/td td图片/td td评分/td td销量/td td分类/td /tr tr td麦当劳/td tdimg src商家图片3.jpg width80/td td5.0/td td10/td td快餐/td /tr /table1.3xml成对起始 自定义键说明 成对分隔符 值内容merchant name麦当劳/name image商家图片3.jpg/image score5.0/score sales10/sales category快餐/category /merchant1.4json一个自定义键说明 分隔符 值内容{ name: 麦当劳, image: 商家图片3.jpg, score: 5.0, sales: 10, category: 快餐 }1.5protobuf二进制值内容2.现成协议2.1HTTP协议约定在应用层构成网页的 数据格式请求和响应一一对应文本内容、html单元信息四、代理中间的代理参与两者的发接工作五、抓包抓包工具可以抓取网络数据包的各部分六、爬虫抓包抓住请求响应自己仿造发送