使用 chromedriver 实现网络爬虫【手抄】

1、引用 selenium 包

<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>4.29.0</version>
</dependency>
<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-chrome-driver</artifactId><version>4.29.0</version>
</dependency>
<dependency><groupId>org.openqa.selenium</groupId><artifactId>selenium-support</artifactId><version>4.29.0</version>
</dependency>

2、下载 chromedriver

下载地址：https://chromedriver.storage.googleapis.com/index.html

这里引用包支持版本为 114，我下载使用的是 114.0.5734.0，分为 windows版本以及 linux 版本。

114这个版本的 chromedriver 软件将放在源码中供大家学习使用。

3、对应的浏览器下载

由于chromedriver 最新版本为 114所以，最新的 chrome浏览器无法使用只能下载114这个版本chrome浏览器。

linux 下载地址：

https://www.googleapis.com/download/storage/v1/b/chromium-browser-snapshots/o/Linux%2F114059%2Fchrome-linux.zip?generation=1&alt=media

windows下载地址：

https://www.googleapis.com/download/storage/v1/b/chromium-browser-snapshots/o/Win_x64%2F1140629%2Fchrome-win.zip?generation=1683480562257014&alt=media

4、具体现实代码

public static void main(String[] args) throws IOException {// 设置 ChromeDriver 路径System.setProperty("webdriver.chrome.driver", "D:\\Project\\web-crawler\\chromedriver\\chromedriver.exe");// 配置 Chrome 浏览器ChromeOptions options = new ChromeOptions();// 如果不想显示浏览器界面
//    options.addArguments("--headless");// 设置启动时最大化浏览器窗口options.addArguments("--start-maximized");// 指定浏览器位置options.setBinary("D:\\Project\\web-crawler\\chrome-windows\\chrome.exe");WebDriver driver = new ChromeDriver(options);driver.get("http://182.131.3.xxx:8000/noticerpt/user/popup_login");// 显式等待，确保登录页面加载完成WebDriverWait loginWait = new WebDriverWait(driver, Duration.ofSeconds(30));// 获取背景图和拼图块// 拼图背景图WebElement button = loginWait.until(ExpectedConditions.presenceOfElementLocated(By.className("button4")));button.click();WebElement automv = loginWait.until(ExpectedConditions.presenceOfElementLocated(By.id("automv_1")));WebElement aBtn = automv.findElement(By.tagName("a"));aBtn.click();// 拼图块WebElement nav = driver.findElement(By.id("nav"));List<WebElement> elementList = nav.findElements(By.tagName("li"));WebElement navLi = elementList.get(1);WebElement navLiA = navLi.findElement(By.tagName("a"));navLiA.click();WebElement smsLoginFormsc = driver.findElement(By.id("smsLoginFormsc"));WebElement embedCaptchaSms = smsLoginFormsc.findElement(By.id("embed-captcha-sms"));WebElement gtSlider = embedCaptchaSms.findElement(By.className("gt_slider"));WebElement gtSliderKnob = gtSlider.findElement(By.className("gt_slider_knob"));new Actions(driver).moveToElement(gtSliderKnob).perform();//    WebElement gtWidget = smsLoginFormsc.findElement(By.className("gt_widget"));
//    WebElement gtWidget = smsLoginFormsc.findElement(By.className("gt_widget"));
//    WebElement gtWidget = smsLoginFormsc.findElement(By.className("gt_widget"));// 获取拼图块的位置
//    Point sliderPosition = slider.getLocation();
//    System.out.println("拼图块的初始位置: " + sliderPosition);//    // 计算缺失的拼图块位置（假设通过图像处理得出：x = 200, y = 0）
//    int targetX = 200;
//    int targetY = 0;
//    String imageUrl = backgroundElement.getAttribute("src");
//    BufferedImage background = ImageIO.read(new URL(imageUrl));
//    imageUrl = puzzlePieceElement.getAttribute("src");
//    BufferedImage puzzlePiece = ImageIO.read(new URL(imageUrl));
//
//    // 比较两张图片的差异
//    int diffX = 0;
//    int diffY = 0;
//
//    for (int y = 0; y < background.getHeight(); y++) {
//      for (int x = 0; x < background.getWidth(); x++) {
//        int bgPixel = background.getRGB(x, y);
//        int puzzlePixel = puzzlePiece.getRGB(x, y);
//
//        if (bgPixel != puzzlePixel) {
//          diffX = x;
//          diffY = y;
//          break;
//        }
//      }
//    }// 获取拼图块的当前位置
//    Point start = slider.getLocation();//    // 模拟滑动拼图块
//    Actions actions = new Actions(driver);
//    actions.clickAndHold(slider)
//        .moveByOffset(targetX - start.getX(), targetY - start.getY())
//        .release()
//        .perform();// 等待拼图验证完成
//    WebDriverWait wait = new WebDriverWait(driver, Duration.ofSeconds(10));
//    wait.until(ExpectedConditions.visibilityOfElementLocated(By.id("success-message")));
//
//    System.out.println("拼图解锁成功！");// 关闭浏览器
//    driver.quit();}

以上代码主要就是实现关闭弹窗、显示滑动拼图验证码。其中代码 

http://182.131.3.xxx:8000/noticerpt/user/popup_login  xxx 为了安逸将最后一段修改为了XXX根据逻辑可以修改为自己的业务需求

5、总结

只是个人作为研究的手抄还是有很多不足，而且具体逻辑也没有写（但是会持续的更新）

6、代码

爬虫代码：维基框架/wiki-web-crawler

如果觉得还不错误，请支持一下作者开源框架 维基框架  维基代理