aardio 自动识别验证码输入

技术尝试

上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。

代码在这里

import soImage;
import web.view;
import string.html;
import string.ocrLite;
import string.ocrLite.defaultModels;// 创建窗口并显示
var winform = win.form(text="找图代码生成器";right=800;bottom=600)
var wb = web.view(winform); 
winform.show();
//wb.fullscreen()// 截图并保存处理
var img = soImage(); 
response = wb.go("http://127.0.0.1:5500/public/aaa.html")
thread.delay(1000)
img.captureWindow()
img.crop(1052,620,1140,675)
img.setJpegQuality(100)
img.save("./验证码.jpg")
var thumbnail = gdip.image("./验证码.jpg").getThumbnail(400,180);
thumbnail.save("./验证码1.jpg")// 图像文字识别
var imgpath = "./验证码1.jpg"; 
var ocr = string.ocrLite();
var bit = gdip.bitmap(imgpath);
var text = ocr.detectBitmap(bit);  // 自动填充表单并点击登录
for(i, value in table.eachIndex(text.blocks)){//输入用户名var username = wb.cdpWaitQuery("body > div > form > div.mb-4 > input")wb.cdp("DOM.focus",{nodeId = username.nodeId;})wb.cdp("Input.insertText",{text='admin'})//输入密码var password =wb.cdpWaitQuery("#password") ; wb.cdp("DOM.focus",{nodeId = password.nodeId;})wb.cdp("Input.insertText",{text='123456'})//输入验证码var captcha = wb.cdpWaitQuery("#captchaInput");wb.cdp("DOM.focus",{nodeId = captcha.nodeId;}) wb.cdp("Input.insertText",{text=value.text})//点击登录wb.waitEle("#loginForm > div.flex.items-center.justify-between > button","this.click()");thread.delay(1000)var successPage  = wb.cdpWaitQuery("#successPage"); if(successPage){var html = wb.cdp('DOM.getOuterHTML',{nodeId = successPage.nodeId;})for(k,value in html){var save = string.save("./data.html",value)if(save){win.msgbox('保存html成功','提示')}    }        }else {win.msgbox('获取html失败')}    }
win.loopMessage();

因为个人技术问题，没有实现自动找验证码的位置的功能，只能设置验证码的位置截图进行图像识别，到时候需要自己更改位置，有大佬会的话可以改进一下☺