04_两种常见的网页反爬措施及应对方法

一、封禁IP地址反爬

1、应对思路：

• 理解这种反爬方法的含义：当我们用自己电脑的ip地址短时间，高频率访问某个具有此类反爬设置的网站，这种网站就会把我们的ip地址封禁，一般都是封24小时或者其他时间。
• 解决方案：通过代理ip访问，这种方式只不过就是让你有了重新访问网页的ip地址，但是依然没法避免高频访问之后的封禁，同时这种ip都是有时效性的，当然使用也是付费的，不过学习使用的话，注册之后，送的次数或者积分足够我们了解整个代理ip的使用方法了。

---

2、（插入知识）如何使用代理ip：

• 通过我们自己电脑的ip访问网页属于直接访问，而通过代理ip访问，就属于简介访问了。
• 第一步注册：其实有很多这种代理ip的公司，我这边使用的是 芝麻代理
• 获取代理ip的接口

点击生成api链接：

• 示例代码：