【Python爬虫】利用代理IP爬取跨境电商AI选品分析

引言

随着DeepSeek的流行，越来越多的用户开始尝试将AI工具融入到日常工作当中，借助AI的强大功能提高工作效率。最近又掀起了一波企业出海的小高潮，那么如果是做跨境电商业务，怎么将AI融入工作流中呢？在做跨境电商的时候由于购物洗个和文化背景的不同，需要老板谨慎选择主打的产品。这一工作往往需要完成大量的市场调研，并且变化很快。所以我们不妨将这一工作交给AI来完成，以此节约人力物力。不过目前的AI没有办法自行获取数据，所以我们还需要使用爬虫来获取原始数据，将它交给AI进行分析。

www.ipcola.comhttps://www.ipcola.com

然而，数据采集的过程并非一帆风顺。由于网络原因，海外网站有时会出现连接缓慢，甚至无法连接的情况，给数据采集带来了极大的挑战。而且，为了保护网站免受恶意攻击或过度抓取，许多网站设置了反爬虫机制。一旦发现同一IP地址频繁访问，网站通常会立即切断连接，甚至限制访问。为了解决这一问题，跨境电商需要配置动态代理。通过合理的配置和使用代理，跨境电商可以顺利绕过反爬虫机制，实现高效的数据采集。接下来，让我们通过一个实战应用，完整了解这一过程。

购买动态住宅IP代理

代理服务商通常提供两种类型的代理：住宅IP和运营商IP。住宅IP能够模拟真实用户的网络访问，减少被封锁的风险，而运营商IP则来自大型互联网服务提供商，具有更高的稳定性。这次我们选择ipcola家的代理服务。需要注意的是，流量包有效期为30天，所以请大家按需购买。购买完毕后直接切换到API mode页面，在这里我们可以生成获取IP地址的链接。首先一定要将自己本机IP添加到白名单。在下面可以选择IP地址的地理信息、生存时间、单次生成的数量和格式。这里我们只将单次生成数量改为1，其他保持默认。点击生成即可获得链接。

将链接复制到浏览器可以看到会返回一个文本格式的IP。我们在使用的时候需要将这个文本数据进行切割，再集成进爬虫即可。

分析页面结构

接下来我们到目标网站分析网页结构。这次的目标是亚马逊畅销榜的电子产品排行榜。我们将依照榜单顺序每件商品的名称、售价、评分和链接。

打开开发者工具，可以发现商品是p13n-gridRow容器中的不同div，其中标题和链接在zg-grid-general-faceout容器下，其他内容分别在不同的a-row中。

分析完网页结构，我们还需要提取我们的ua和cookie信息。还是在开发者工具，网络这一栏中找一个流量包，在请求头的部分很容易就可以找到。

编写爬虫软件程序

接下来我们来编写爬虫程序。首先定义一下需要用到的参数。定义一个api记录代理服务器的API地址，用于获取代理IP，方便后期更换链接。定义一个headers记录HTTP请求头，模拟浏览器访问，防止被网站封禁。这里需要将刚才获取到的ua保存进来。再定义一个counter用于记录商品的排名。

api = 'https://api.ipcola.com/api/proxy/get_proxy_list?token=换成自己的&num=1&type=residential&return_type=txt&lb=1'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0"
}counter = 0

 

之后在get_proxy函数中，发送GET请求到代理服务器API，获取一个代理IP。然后返回一个字典，包含HTTP和HTTPS代理地址。

def get_proxy(api):res = requests.get(api)return {"http": res.text.strip(),'https': res.text.strip()}

然后定义get_page函数获取网页数据。首先使用代理IP发送GET请求到亚马逊电子产品畅销页面，然后返回页面的HTML内容。

def get_page(proxy):res = requests.get('http://www.amazon.com/Best-Sellers-Electronics/zgbs/electronics/ref=zg_bs_nav_electronics_0',headers=headers, proxies=proxy)return res.text

接下来使用parse_page函数解析页面数据。首先使用lxml解析HTML内容，然后利用XPath提取商品的排名、链接、标题、评分和价格，最后将提取的信息存储到results列表中。

def parse_page(page):global countertree = etree.HTML(page)items = tree.xpath('//div[@class="p13n-gridRow"]/div')results = []for item in items:rows = item.xpath('.//div[@class="zg-grid-general-faceout"]/span/div/div/div')link = rows.xpath('./a/@href')title = rows.xpath('./a/span/div/text')ratings = rows.xpath('./div[1]//i/span/text')price = rows.xpath('./div[1]/div/div/a/div/span/span/text')results.append({'rank': counter, "link": link, "title": title, "ratings": ratings, "price": price})counter += 1return results

最后我们定义一个主函数来控制流程。首先要获取代理IP，然后使用代理IP获取亚马逊页面内容。接着，解析页面内容并提取商品信息，之后将结果写入文件r.txt。

def main():proxy = get_proxy(api)page = get_page(proxy)goods = parse_page(page)with open("r.txt", 'w') as f:f.write(str(goods))

完整代码如下：

import requests
from lxml import etreeapi = 'https://api.ipcola.com/api/proxy/get_proxy_list?token=oecdrmaakstrzwnx695422aca68ce5e6&num=1&type=residential&return_type=txt&lb=1'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0"
}counter = 0def get_proxy(api):res = requests.get(api)return {"http": res.text.strip(),'https': res.text.strip()}def get_page(proxy):res = requests.get('http://www.amazon.com/Best-Sellers-Electronics/zgbs/electronics/ref=zg_bs_nav_electronics_0',headers=headers, proxies=proxy)return res.textdef parse_page(page):global countertree = etree.HTML(page)items = tree.xpath('//div[@class="p13n-gridRow"]/div')results = []for item in items:rows = item.xpath('.//div[@class="zg-grid-general-faceout"]/span/div/div/div')link = rows.xpath('./a/@href')title = rows.xpath('./a/span/div/text')ratings = rows.xpath('./div[1]//i/span/text')price = rows.xpath('./div[1]/div/div/a/div/span/span/text')results.append({'rank': counter, "link": link, "title": title, "ratings": ratings, "price": price})counter += 1return resultsdef main():proxy = get_proxy(api)page = get_page(proxy)goods = parse_page(page)with open("r.txt", 'w') as f:f.write(str(goods))if __name__ == "__main__":main()

运行之后得到商品数据。

AI选品

接下来我们将商品数据上传至AI，让AI为我们提供选品信息。

可以看到有了详细的数据，AI就能很轻松的就为我们提供了一套方案。

总结

在本文中，我们一起经历了一次跨境电商选品分析的实战过程。我们首先从选购动态住宅IP代理入手，通过这种方式优化网络连接，同时巧妙地隐藏爬虫的特性，避免被目标网站检测到。接着，我们深入分析页面结构，熟悉并掌握了提取页面元素的方法，这是获取有效数据的关键一步。之后，我们动手编写爬虫程序，按照既定的步骤依次执行获取代理、获取页面、提取数据以及保存数据的操作。最后，我们将采集到的数据提交给AI进行选品分析，借助AI的强大能力，为市场决策提供了有力支持。这种结合了现代技术手段的方法，不仅极大地提高了数据采集的效率，还通过AI分析为我们的决策提供了科学依据。随着技术的不断进步，AI与爬虫的结合将在跨境电商领域发挥越来越重要的作用，帮助我们更好地应对全球市场的复杂挑战。如果你对这个过程感兴趣，不妨亲自尝试一下，相信你会从中收获不少宝贵的经验和知识。