google/谷歌搜索请求，sg_ss字段解析，协议化爬虫逆向分析

声明本文章中所有内容仅供学习交流使用不用于其他任何目的不提供完整代码抓包内容、敏感网址、数据接口等均已做脱敏处理严禁用于商业用途和非法用途否则由此产生的一切后果均与作者无关本文章未经许可禁止转载禁止任何修改后二次传播擅自使用本文讲解的技术而导致的任何意外作者均不负责若有侵权请联系作者立即删除业务高度依赖谷歌搜索然而在反爬力度增强后首次请求基本上不会返回搜索结果。尝试抓包验证发现首次请求不带cookie的话返回的是包含一长段加密js的html。然后浏览器会自动跳转二次请求url对比后发现url中多了AEC,NID,SG_SS等cookie。如果二次请求通过则后续请求只需要带着AEC和NID。推测是由第一次请求中的js计算出了SG_SS然后在第二次请求中进行校验如果校验通过则NID被判断为安全的key。于是对首次请求得到的js进行深度的研究。最终证实了猜测用协议复现了SG_SS字段的计算结果二次请求果然可以获得关键词搜索的正确结果了。过程中涉及到的重要部分包括代理ip的可靠程度请求参数sg_ss在排除掉网络因素影响之后自己本地测试成功率在98%以上。