《实战！用Scrapy+Flask构建京东商品比价微信机器人》

这个主题非常实用结合了爬虫技术Scrapy、后端服务Flask和即时通讯工具微信非常适合用来构建一个自动化的商品价格监控系统。下面我将为你提供一个完整的实战指南帮助你一步步实现《用ScrapyFlask构建京东商品比价微信机器人》。 项目目标开发一个微信机器人用户输入商品名称或链接机器人自动返回该商品在京东上的历史最低价、当前价并与淘宝/拼多多等平台进行比价最终将结果推送到用户微信。一、技术架构概览用户微信↓WeChaty / itchat微信接入↓Flask API 服务接收请求调用爬虫↓Scrapy 爬虫爬取京东商品数据↓数据存储MySQL / MongoDB Redis缓存↓返回比价结果 → 微信回复用户二、环境准备安装依赖Python 3.8pip install scrapy flask pymysql redis requests itchat创建项目结构jd_price_bot/├── scrapy_project/│ └── jd_spider/│ ├── spiders/│ │ └── jd.py│ ├── items.py│ └── pipelines.py├── app.py # Flask 主程序├── wechat_bot.py # 微信接入模块├── requirements.txt└── config.py # 配置文件数据库、Redis等三、Step 1使用 Scrapy 爬取京东商品数据创建 Scrapy 项目scrapy startproject scrapy_projectcd scrapy_projectscrapy genspider jd jd.com编写 jd.py 爬虫简化版import scrapyfrom scrapy_project.items import JdItemclass JdSpider(scrapy.Spider):name jdallowed_domains [jd.com]custom_settings {DOWNLOAD_DELAY: 2,DEFAULT_REQUEST_HEADERS: {User-Agent: Mozilla/5.0 ...,Referer: https://www.jd.com}}def start_requests(self): keyword getattr(self, keyword, iPhone 15) url fhttps://search.jd.com/Search?keyword{keyword} yield scrapy.Request(urlurl, callbackself.parse) def parse(self, response): for item in response.css(li.gl-item): product JdItem() product[name] item.css(.p-name em::text).getall() product[price] item.css(.p-price i::text).get() product[link] response.urljoin(item.css(.p-name a::attr(href)).get()) product[image] item.css(.p-img img::attr(data-lazy-img)).get() yield product定义 Itemitems.pyimport scrapyclass JdItem(scrapy.Item):name scrapy.Field()price scrapy.Field()link scrapy.Field()image scrapy.Field()配置 Pipeline 存储到 MySQL 或 MongoDBpipelines.py示例存入MongoDBimport pymongoclass MongoPipeline:definit(self, mongo_uri, mongo_db):self.mongo_uri mongo_uriself.mongo_db mongo_dbclassmethod def from_crawler(cls, crawler): return cls( mongo_uricrawler.settings.get(MONGO_URI), mongo_dbcrawler.settings.get(MONGO_DATABASE, jd_data) ) def open_spider(self, spider): self.client pymongo.MongoClient(self.mongo_uri) self.db self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db[products].insert_one(dict(item)) return item启用 Pipelinesettings.pyITEM_PIPELINES {scrapy_project.pipelines.MongoPipeline: 300,}MONGO_URI mongodb://localhost:27017MONGO_DATABASE jd_data四、Step 2使用 Flask 提供 API 接口创建 app.pyfrom flask import Flask, request, jsonifyfrom scrapy.crawler import CrawlerProcessfrom scrapy.utils.project import get_project_settingsfrom jd_spider.spiders.jd import JdSpiderimport threadingapp Flask(name)app.route(/api/search, methods[GET])def search_product():keyword request.args.get(q, 手机)result run_spider(keyword)return jsonify(result)def run_spider(keyword):results []def crawl(): process CrawlerProcess(get_project_settings()) process.crawl(JdSpider, keywordkeyword) process.start() thread threading.Thread(targetcrawl) thread.start() thread.join(timeout30) # 等待爬虫完成 # 从数据库读取最新数据伪代码 from pymongo import MongoClient client MongoClient(mongodb://localhost:27017) db client[jd_data] products list(db.products.find().limit(5)) for p in products: results.append({ name: .join(p[name]), price: p[price], link: p[link], image: p[image] }) return resultsifname main:app.run(port5000)五、Step 3接入微信机器人使用 itchat创建 wechat_bot.pyimport itchatfrom flask import requestimport requestsitchat.msg_register(itchat.content.TEXT)def reply(msg):if msg.text.startswith(查价):keyword msg.text.replace(查价, ).strip()try:res requests.get(fhttp://localhost:5000/api/search?q{keyword})data res.json()if data:reply_text f {keyword} 京东报价\nfor item in data[:3]:reply_text f{item[name][:20]}... ¥{item[price]}\n{item[link]}\n\nreturn reply_textelse:return 未找到相关商品请换个关键词试试~except Exception as e:return f查询失败{str(e)}else:return 发送“查价商品名”开始比价如查价 iPhone 15ifname main:itchat.auto_login(hotReloadTrue)itchat.run()六、运行流程启动 MongoDB 服务启动 Flask APIpython app.py启动微信机器人python wechat_bot.py → 扫码登录用户发送“查价 小米14”机器人返回京东价格 链接七、进阶优化建议功能增强✅ 加入淘宝、拼多多爬虫需处理反爬✅ 历史价格曲线存储每日价格绘制图表✅ 设置降价提醒定时任务 微信推送✅ 支持图片识别搜索OCR 百度识图API性能优化⚡ 使用 Redis 缓存热门商品查询结果⚡ Scrapy Kafka 异步任务队列⚡ Docker 容器化部署八、注意事项法律与合规⚠️ 遵守 robots.txt避免高频请求被封 IP⚠️ 不爬取用户隐私数据⚠️ 商业用途需获得授权避免侵权九、总结本项目展示了如何从零构建一个实用的电商比价机器人涵盖Scrapy 数据采集Flask RESTful API 封装微信消息交互数据持久化与展示这不仅是一个练手项目更是通往“智能电商助手”的第一步 附加资源GitHub 示例仓库模板可提供京东价格监控 Chrome 插件源码微信机器人开发文档itchat / WeChaty是否需要我为你生成一个完整的 GitHub 项目目录结构和代码示例压缩包清单方便你直接克隆开发