使用Python开发了CLI爬虫智能体

最近CLI智能体很火这是一种在命令行工作的AI工具比如Claude Code、OpenClaw等非常适合编程、自动化、爬虫等场景。我花了半天时间用Python开发了一个CLI爬虫智能体可以实现自动化采集Tiktok上公开的商品数据信息可以通过商品url、店铺url、关键词等进行采集一行命令直接拿到结果表。最关键的是这个商品采集智能体集成了DeepSeek V4分析功能能全方位分析商品信息形成一份专业的分析markdown报告指导竞品调研、打造爆款、选品策略等。开发这个智能体需要用到的技术栈有Python、requests库、OpenAI库、scraper APIs、Trae。其中Python requests用于编写商品采集脚本请求Tiktok网页数据并构建完整的智能体框架OpenAI库用于接入DeepSeek API实现AI分析功能。scraper APIs是亮数据开发的专门用于热门站点采集的接口包括电商、社媒、搜索等tiktok就是其中之一既可以采集电商商品信息也支持短视频评论、标题等公开数据。用亮数据的好处在于它的接口配置了一整套网页解锁、IP代理服务能处理各种爬虫限制包括动态加载、人机验证、浏览器指纹等非常适合作为智能体的数据采集接口它还有MCP服务相当的好用。接下来是完整的CLI智能体搭建流程不需要高超的Python代码技能新手也能上手操作。配置scraper APIs首先需要登录亮数据开发后台在账户设置里新建你的API key这个很重要因为所有的采集功能都需要配置Key。https://get.brightdata.com/webscra然后找到Web Scrapers功能界面里的Tiktok采集接口它有15个爬虫涵盖了从短视频到商品的各种采集场景。其中商品采集有4个爬虫包括案商品url、分类页url、商品关键词、店铺url每个爬虫都会对应一个接口。比如说按商品url采集你可以提交多个url或者直接提供csv表格它就会直接采集商品信息输出csv表格给到你不需要任何其他操作。采集到的字段多达50个包括商品名称、描述、价格、颜色、尺寸等。示例里提供了Python requests的采集代码这是我们要用到的只需按照它的规范就可以成功部署到智能体中其他爬虫接口也都有示例代码。上面代码返回的是用于存储数据的快照ID你还需要从通过快照ID下载该数据后台也提供了示例代码。同样的你需要从分类页url、商品关键词、店铺url另外3个爬虫中找到Python接口代码保存到本地备用。获取DeepSeek V4接口最近DeepSeek发布了V4版本便宜且强大 我这次用V4来分析商品数据生成markdown报告。在DeepSeek开发平台中找到Python接口代码它是通过openai库来接入API的代码很简单。在Trae中开发CLI工具将第1、2步的代码放到Trae中的py文件里分为3个模块。requests_data.py 负责请求下载数据获得快照iddowload_snapshot_id.py 负责下载快照的数据集deepseek_api.py 负责deepseek api接口分析数据然后通过code builder模式进行AI Coding开发提示语如下制作一个CLI智能体工具用于采集tiktok的商品数据。 支持用户直接通过商品url或者分类页url或者关键词或者店铺url采集到商品并下载整理成结构化的csv表格给到用户。 支持通过deepseek api分析csv形成结构化商品分析报告md文档。 文件中有3个脚本供参考 requests_data.py 负责请求下载数据获得快照id dowload_snapshot_id.py 负责下载快照的数据集 deepseek_api.py 是deepseek api接口负责分析数据。 要求智能体CLI功能清晰、操作简单没有错误Trae会按要求编写代码部署为CLI模式实现的功能如下简单来说这个CLI智能体可以干以下3件事1、提交需要采集的信息csv表格一行代码拿到结果不管是商品url还是关键词CLI工具会自动识别不同类型的输入统一批量处理。2、采集后直接DeepSeek分析形成分析报告或者单独提交已有的商品csv表格也可以AI分析。分析维度如下你也可以自定义提示语。# TikTok商品分析报告 ## 一、数据概览 - 采集时间 - 商品总数 - 数据字段说明 ## 二、品类分析 - 各品类商品数量分布 - 热门品类分析 ## 三、价格分析 - 价格区间分布 - 平均价格 - 价格与销量关系 ## 四、爆款商品分析 - 高销量商品TOP10 - 高评分商品TOP10 - 性价比分析 ## 五、店铺分析 - 热门店铺排行 - 店铺竞争力分析 ## 六、趋势洞察 - 市场趋势分析 - 选品建议测试CLI智能体打开命令行输入tiktok_scraper.py -i input_sample.csv -o output.csv这行代码功能是采集input_sample.csv中的商品信息输出结果数据到output.csv中。input_sample.csv格式如下采集过程如下最终得到结果数据针对采集到的商品数据让DeepSeek进行分析形成分析报告。python3 tiktok_scraper.py -i input_sample.csv --analyze你会得到专业的TikTok商品报告。在这里插入图片描述这样咱们就实现一个专门用于采集和分析Tiktok商品数据的智能体而且通过CLI实现一键搞定任务非常便捷。这里面主要用到Python、亮数据scraper APIs、DeepSeek V4难点其实在于采集接口这点用亮数据省了很多事而且能保证稳定和安全。个人测试案例数据采集为极少量公开数据均遵守法规约定。下面可以免费试用scraper APIs搭建一个小小的agent挺好玩的https://get.brightdata.com/webscrahttps://get.brightdata.com/webs