利用 Java 爬虫从 yiwugo 根据 ID 获取商品详情

在当今数字化时代，数据是商业决策的关键。对于从事国际贸易的商家来说，精准获取商品的详细信息至关重要。yiwugo 是一个知名的国际贸易平台，拥有海量的商品数据。通过 Java 爬虫技术，我们可以高效地从 yiwugo 根据商品 ID 获取详细信息，从而为市场分析、产品调研等提供有力支持。

一、准备工作

（一）环境搭建

1. Java 安装：确保已安装 Java 开发环境，推荐使用 JDK 8 或更高版本，因为其性能更优且对爬虫库的支持更完善。可以从官网下载安装包并安装。
2. 开发工具配置：使用 IntelliJ IDEA 或 Eclipse 等 Java 开发工具，创建一个新的 Maven 项目，以便方便地管理项目依赖和构建。
3. 依赖库添加：在项目的 pom.xml 文件中添加必要的依赖库，包括用于发送网络请求的 HttpClient，用于解析 HTML 的 Jsoup 等。示例配置如下：

   <dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version></dependency>
   </dependencies>

（二）yiwugo 平台了解

1. 注册账号：在 yiwugo 平台注册一个账号，以便能够正常访问商品详情页面。部分商品信息可能需要登录后才能查看完整。
2. 获取商品 ID：浏览 yiwugo 平台，找到感兴趣的商品，查看其 URL，通常 URL 中会包含商品 ID，如 https://www.yiwugo.com/product/123456.html 中的 123456 即为商品 ID。

二、编写爬虫代码

（一）发送请求

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;public class YiwugoCrawler {public String sendRequest(String productId) {String url = "https://www.yiwugo.com/product/" + productId + ".html";CloseableHttpClient httpClient = HttpClients.createDefault();HttpGet httpGet = new HttpGet(url);httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");try (CloseableHttpResponse response = httpClient.execute(httpGet)) {if (response.getStatusLine().getStatusCode() == 200) {return EntityUtils.toString(response.getEntity(), "UTF-8");} else {System.out.println("请求失败，状态码：" + response.getStatusLine().getStatusCode());}} catch (Exception e) {e.printStackTrace();}return null;}
}

 

• 构建 URL：根据商品 ID 构建完整的商品详情页面 URL。
• 设置请求头：模拟浏览器访问，设置 User-Agent 避免被网站反爬虫机制拦截。
• 发送 GET 请求：使用 HttpClient 发送请求，获取响应内容。若请求成功返回响应文本，否则打印错误信息并返回 null。

（二）解析 HTML

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.util.HashMap;
import java.util.Map;public class HtmlParser {public Map<String, String> parseHtml(String html) {Document doc = Jsoup.parse(html);Map<String, String> productInfo = new HashMap<>();// 获取商品名称Element productNameElement = doc.select("h1.product-title").first();if (productNameElement != null) {productInfo.put("商品名称", productNameElement.text().trim());}// 获取商品价格Element productPriceElement = doc.select("span.price").first();if (productPriceElement != null) {productInfo.put("商品价格", productPriceElement.text().trim());}// 获取商品图片Elements productImages = doc.select("img.product-image");StringBuilder imagesBuilder = new StringBuilder();for (Element img : productImages) {imagesBuilder.append(img.absUrl("src")).append(";");}productInfo.put("商品图片", imagesBuilder.toString());// 获取商品描述Element productDescriptionElement = doc.select("div.product-description").first();if (productDescriptionElement != null) {productInfo.put("商品描述", productDescriptionElement.text().trim());}return productInfo;}
}

• 创建 Jsoup 对象：传入 HTML 文本，构建解析树。
• 提取商品信息：通过定位 HTML 元素的选择器，提取商品名称、价格、图片和描述等信息，并存储到 Map 中。

（三）整合爬虫流程

public class Main {public static void main(String[] args) {YiwugoCrawler crawler = new YiwugoCrawler();HtmlParser parser = new HtmlParser();String productId = "123456"; // 替换为实际商品 IDString html = crawler.sendRequest(productId);if (html != null) {Map<String, String> productInfo = parser.parseHtml(html);if (productInfo != null) {System.out.println("商品信息：");productInfo.forEach((key, value) -> System.out.println(key + ": " + value));} else {System.out.println("解析 HTML 失败");}} else {System.out.println("获取商品信息失败");}}
}

• 主函数：创建 YiwugoCrawler 和 HtmlParser 对象，调用 sendRequest() 获取 HTML，再调用 parseHtml() 解析 HTML，最后输出商品信息。

三、运行与数据处理

（一）运行爬虫

• 指定商品 ID：将 productId 替换为实际想要获取详情的商品 ID。
• 运行爬虫：执行 Main 类的 main 方法，爬虫会输出获取到的商品信息。

（二）数据存储

import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;public class DataSaver {public void saveToCsv(Map<String, String> productInfo, String filename) {try (FileWriter writer = new FileWriter(filename)) {// 写入表头writer.append("商品名称,商品价格,商品图片,商品描述\n");// 写入数据String productName = productInfo.get("商品名称");String productPrice = productInfo.get("商品价格");String productImages = productInfo.get("商品图片");String productDescription = productInfo.get("商品描述");writer.append(String.format("%s,%s,%s,%s\n", productName, productPrice, productImages, productDescription));} catch (IOException e) {e.printStackTrace();}}
}

• 保存到 CSV 文件：将商品信息 Map 转换为 CSV 格式，保存到文件中，方便后续数据分析和处理。

四、注意事项与优化建议

（一）注意事项

1. 遵守网站协议：在爬取 yiwugo 平台数据时，要遵守其服务协议和使用条款，不得对网站造成过大压力或影响正常用户访问.
2. 处理反爬虫机制：若遇到反爬虫机制，如请求被拦截、IP 被封等，可以尝试更换请求头、设置请求间隔、使用代理 IP 等方法应对.
3. 数据准确性：爬取到的数据可能存在格式问题或不完整情况，需对数据进行清洗和校验，确保其准确性.

（二）优化建议

1. 多线程/异步爬取：对于需要爬取大量商品信息的情况，可以使用多线程或异步请求提高爬取效率，但要注意控制并发数量，避免对网站造成过大压力.
2. 动态加载处理：部分商品详情可能通过 JavaScript 动态加载，可以使用 Selenium 等工具模拟浏览器行为，获取动态加载后的页面内容.
3. 数据可视化：将爬取到的商品数据进行可视化分析，如绘制价格趋势图、销售量对比图等，更直观地展示商品信息，为决策提供依据.

通过以上步骤和方法，我们可以利用 Java 爬虫技术高效地从 yiwugo 根据商品 ID 获取详细信息，为商业决策和市场分析提供有力支持。同时，也要注意