当前位置： 首页 > article >正文

Midscene.js Chrome 插件实战：基于 AI 驱动 WEB UI 自动化测试「喂饭教程」

article 2025/9/29 2:15:41

Midscene.js Chrome 插件实战：基于 AI 驱动 WEB UI 自动化测试「喂饭教程」

    • 前言
    • 一、Midscene.js 简介
    • 二、环境准备与插件安装
      • 1. 安装 Chrome 插件
      • 2. 配置模型与 API Key
    • 三、插件界面与功能总览
    • 四、实战演练：用自然语言驱动网页自动化
      • 1. 典型场景一（Action）：账号登录
        • 步骤一：打开目标网站
        • 步骤二：输入操作指令
        • 步骤三：AI 自动执行
        • 步骤四：结果验证与报告下载
      • 2. 典型场景二（Query）：数据提取
      • 3. 典型场景三（Assert）：断言验证
    • 五、原理解析：AI 如何理解你的意图？
    • 六、常见问题
      • 1. 指令不生效怎么办？
      • 2. 如何保证数据安全？
    • 七、总结
    • 参考资料

前言

  • 传统的UI自动化测试往往需要编写大量脚本，维护成本高、适应性差，且对非技术人员极不友好。而 Midscene.js，它以自然语言为驱动，结合多模态AI模型，让你只需“说出”需求，AI便能自动完成网页操作、数据提取和断言验证。
  • 本文将以 Midscene.js Chrome 插件为例，带你从零上手，体验如何用最简单的方式实现高效、智能的UI自动化测试。

一、Midscene.js 简介

Midscene.js 是一款开源的AI驱动UI自动化工具，支持自然语言交互、数据提取、断言验证等多种功能。其核心优势包括：

  • 自然语言交互：无需编写代码，只需用中文或英文描述你的操作目标，AI自动完成。
  • 多模型支持：兼容 GPT-4o、Qwen2.5-VL、UI-TARS 等主流大模型，支持私有化部署，数据安全有保障。
  • 可视化报告：每次测试自动生成详细报告，便于回溯和调试。
  • Puppeteer/Playwright 集成：可与

相关文章：

Midscene.js Chrome 插件实战：基于 AI 驱动 WEB UI 自动化测试「喂饭教程」

Midscene.js Chrome 插件实战：基于 AI 驱动 WEB UI 自动化测试「喂饭教程」 前言一、Midscene.js 简介二、环境准备与插件安装1. 安装 Chrome 插件2. 配置模型与 API Key三、插件界面与功能总览四、实战演练：用自然语言驱动网页自动化1. 典型场景一（Action）：账号登录步骤一…...

编程日记 2025/6/8 12:46:06

JVM——方法内联之去虚化

引入 在Java虚拟机的即时编译体系中，方法内联是提升性能的核心手段，但面对虚方法调用（invokevirtual/invokeinterface）时，即时编译器无法直接内联，必须先进行去虚化（Devirtualization&#xff…...

编程日记 2025/9/25 10:29:02

Objective-C Block 底层原理深度解析

Objective-C Block 底层原理深度解析 1. Block 是什么？ 1.1 Block 的本质 Block 是 Objective-C 中的特殊对象，实现了匿名函数的功能 通过 isa 指针继承自 NSObject，可以响应（如 copy、retain、release）等内存管理方…...

编程日记 2025/9/25 18:18:22

关于IDE的相关知识之二【插件推荐】

成长路上不孤单😊😊😊😊😊😊 【14后😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于ide插件推荐的相关内容&#xff01…...

编程日记 2025/9/25 13:29:38

Python+Streamlit实现登录页

PythonStreamlit实现登录页 Streamlit 是一个开源的 Python 库，专为数据科学家和机器学习工程师设计，用于快速构建交互式 Web 应用。 其核心功能与特点包括： 1.快速原型开发 2.交互式数据展示 3.极简开发 4.实时更新 5.内置组件 6.无前端依赖…...

编程日记 2025/9/18 16:56:31

RDD案例数据清洗

在 Spark 中，RDD（Resilient Distributed Dataset）是分布式数据集的基本抽象。数据清洗是数据预处理中的一个重要步骤，通常包括去除重复数据、过滤无效数据、转换数据格式等操作。以下是一个使用 RDD 进行数据清洗的完整示例。 示…...

编程日记 2025/9/20 21:40:39

按键精灵ios脚本新增元素功能助力辅助工具开发（三）

元素节点功能（iOSElement）​ 在按键精灵 iOS 新版 APP v2.2.0 中，新增了元素节点功能 iOSElement，该功能包含共 15 个函数。这一功能的出现，为开发者在处理 iOS 应用界面元素时提供了更为精准和高效的方式。通过这些函…...

编程日记 2025/9/18 20:16:57

Axure RP9：列表新增

文章目录 列表新增思路新增按钮操作说明保存新增交互设置列表新增 思路 利用中继器新增行实现列表新增功能 新增按钮操作说明 工具栏中添加新增图标及标签，在图标标签基础上添加热区；对热区添加鼠标单击时交互事件，同步插入如下动作：显示/隐藏动作，设置目标元件为新增窗…...

编程日记 2025/9/15 11:12:46

06 mysql之DML

一、什么是DML DML 用于操作数据库中的数据。主要命令包括： INSERT：添加数据SELECT：查询数据UPDATE：修改数据DELETE：删除数据 二、插入数据（INSERT） 2.1 插入单条记录 -- 插入学生记录&…...

编程日记 2025/9/18 12:57:20

游戏引擎学习第277天:稀疏实体系统

回顾并为今天定下基调 上次我们结束的时候，基本上已经控制住了跳跃的部分，达到了我想要的效果，现在我们主要是在等待一些新的艺术资源。因此，等新艺术资源到位后，我们可能会重新处理跳跃的部分，因为现在的…...

编程日记 2025/5/31 17:31:09

【最新版】likeshop连锁点餐系统-PHP版+uniapp前端全开源

一.系统介绍 likeshop外卖点餐系统适用于茶饮类的外卖点餐场景，搭建自己的一点点、奈雪、喜茶点餐系统。 系统基于总部多门店的连锁模式，拥有门店独立管理后台，支持总部定价和门店定价LBS定位点餐，可堂食可外卖。无论运营还是二开…...

编程日记 2025/9/18 2:19:43

机器学习之决策树模型：从基础概念到条件类型详解

机器学习之决策树模型：从基础概念到条件类型详解 摘要：本文深入探讨决策树模型的概念、构成以及不同条件类型。首先介绍决策树的基本结构和工作原理，随后详细阐述轴心对齐条件与倾斜条件、二元条件与非二元条件的差异及应用场景，…...

编程日记 2025/9/17 23:33:57

网络编程（一）网络编程入门

本节课学习TCP客户端和服务器端编程架构，其分为分为C/S（客户端/服务器模式）和B/S（浏览器/服务器架构模式）两种模式。接下来我们分别了解这两种模式 C/S模式 C/S模式：服务器首先先启动，并根据客…...

编程日记 2025/6/17 17:37:39

黑名单中的随机数-leetcode710

题目描述 给定一个整数 n 和一个 无重复 黑名单整数数组 blacklist 。设计一种算法，从 [0, n - 1] 范围内的任意整数中选取一个 未加入 黑名单 blacklist 的整数。任何在上述范围内且不在黑名单 blacklist 中的整数都应该有 同等的可能性 被返回。 优化你的算法&am…...

编程日记 2025/9/21 10:01:57

纯Java实现反向传播算法：零依赖神经网络实战

在深度学习框架泛滥的今天，理解算法底层实现变得愈发重要。反向传播(Backpropagation)作为神经网络训练的基石算法，其实现往往被各种框架封装。本文将突破常规，仅用Java标准库实现完整BP算法，帮助开发者： 1) 深入理解BP数学原理。2) 掌握面向对象的神经网络实现。3) 构建可…...

编程日记 2025/9/27 7:25:50

海纳思（Hi3798MV300）机顶盒遇到海思摄像头

海纳思机顶盒遇到海思摄像头，正好家里有个海思Hi3516的摄像头模组开发板，结合机顶盒来做个录像。 准备工作 海纳斯机顶盒摄像机模组两根网线、两个电源、路由器一块64G固态硬盘 摄像机模组和机顶盒都接入路由器的LAN口，确保网络正常通信。 …...

编程日记 2025/9/22 23:14:38

MCP项目实例 - client sever交互

1. 项目概述 项目目标 构建一个本地智能舆论分析系统。 利用自然语言处理和多工具协作，实现用户查询意图的自动理解。 进行新闻检索、情绪分析、结构化输出和邮件推送。 系统流程 用户查询：用户输入查询请求。 提取关键词：从用户查询中…...

编程日记 2025/9/22 9:14:54

Axure应用交互设计：表格跟随菜单移动效果（超长表单）

亲爱的小伙伴，在您浏览之前，烦请关注一下，在此深表感谢！本文如有帮助请订阅 Axure产品经理精品视频课已登录CSDN可点击学习https://edu.csdn.net/course/detail/40420 课程主题：表格跟随菜单移动 主要内容：表格交互设计、动态面板嵌套、拖动时事件、移动动作 应用场景…...

编程日记 2025/9/16 21:12:47

7系列 之 I/O标准和终端技术

背景 《ug471_7Series_SelectIO.pdf》介绍了Xilinx 7 系列 SelectIO 的输入/输出特性及逻辑资源的相关内容。 第 1 章《SelectIO Resources》介绍了输出驱动器和输入接收器的电气特性，并通过大量实例解析了各类标准接口的实现。 第 2 章《SelectIO Logic Resource…...

编程日记 2025/9/16 21:12:41

github 上的 CI/CD 的尝试

效果 步骤 新建仓库设置仓库的 page 新建一个 vite 的项目，改一下 vite.config.js 中的 base 工作流 在项目的根目录下新建一个 .github/workflows/ci.yml 文件，然后编辑一下内容 name: Build & Deploy Vue 3 Appon:push:branches: [main]permi…...

编程日记 2025/9/16 21:12:36

Scala和Go差异

Scala和Go（又称Golang）是两种现代编程语言，各自具有独特的特性和设计哲学。 尽管它们都可以用于构建高性能、可扩展的应用程序，但在许多方面存在显著差异。 Scala和Go的详细比较，涵盖它们的异同点： 1. 语…...

编程日记 2025/6/28 8:44:55

yup 使用 3 - 利用 meta 实现表单字段与表格列的统一结构配置（适配 React Table）

yup 使用 3 - 利用 meta 实现表单字段与表格列的统一结构配置（适配 React Table） Categories: Tools Last edited time: May 11, 2025 7:45 PM Status: Done Tags: form validation, schema design, yup 本文介绍如何通过 Yup 的 meta() 字段&#xff0…...

编程日记 2025/9/16 21:12:31

类初始化方法

一、类初始化方法 成员初始化列表 class Point {int x, y; public:Point(int a, int b) : x(a), y(b) {} };就地初始化&#xff08;C11&#xff09; 声明时初始化。 class Widget {int size 10; // 类内成员初始化vector<int> data{1,2,3}; };特殊情况&#xff1a;静…...

编程日记 2025/9/20 0:28:32

【OpenCV】imread函数的简单分析

目录 1.imread()1.1 imread()1.2 imread_()1.2.1 查找解码器&#xff08;findDecoder&#xff09;1.2.2 读取数据头&#xff08;JpegDecoder-->readHeader&#xff09;1.2.2.1 初始化错误信息&#xff08;jpeg_std_error&#xff09;1.2.2.2 创建jpeg解压缩对象&#xff08;…...

编程日记 2025/9/18 23:27:29

【Linux实践系列】：进程间通信：万字详解共享内存实现通信

&#x1f525; 本文专栏&#xff1a;Linux Linux实践项目 &#x1f338;作者主页&#xff1a;努力努力再努力wz &#x1f4aa; 今日博客励志语录&#xff1a; 人生就像一场马拉松&#xff0c;重要的不是起点&#xff0c;而是坚持到终点的勇气 ★★★ 本文前置知识&#xff1a; …...

编程日记 2025/9/20 4:28:18

【笔记】BCEWithLogitsLoss

工作原理 BCEWithLogitsLoss 是 PyTorch 中的一个损失函数&#xff0c;用于二分类问题。 它结合了 Sigmoid 激活函数和二元交叉熵&#xff08;Binary Cross Entropy, BCE&#xff09;损失在一个类中。 这不仅简化了代码&#xff0c;而且通过数值稳定性优化提高了模型训练的效…...

编程日记 2025/9/16 21:12:16

Oracle SYSTEM/UNDO表空间损坏的处理思路

Oracle SYSTEM/UNDO表空间损坏是比较棘手的故障&#xff0c;通常会导致数据库异常宕机进而无法打开数据库。数据库的打开故障处理起来相对比较麻烦&#xff0c;读者可以参考本书第5章进一步了解该类故障的处理过程。如果数据库没有备份&#xff0c;通常需要设置官方不推荐的隐含…...

编程日记 2025/7/15 18:02:11

为什么 cout＜＜“中文你好“ 能正常输出中文

一, 简答: 受python3字符串模型影响得出的下文C字符串模型结论 是错的&#xff01;C的字符串和python2的字符串模型类似&#xff0c;也就是普通的字符串是ASCII字符串和字节串两种语义&#xff0c;类似重载或多态&#xff0c;有时候解释为整数&#xff0c;有时候是字节串。Uni…...

编程日记 2025/7/16 1:05:00

Leetcode 3547. Maximum Sum of Edge Values in a Graph

Leetcode 3547. Maximum Sum of Edge Values in a Graph 1. 解题思路2. 代码实现 题目链接&#xff1a;3547. Maximum Sum of Edge Values in a Graph 1. 解题思路 这一题主要是在问题的分析上面。由题意易知&#xff0c;事实上给定的图必然只可能存在三种可能的结构&#x…...

编程日记 2025/8/4 2:01:44

关于Go语言的开发环境的搭建

1.Go开发环境的搭建 其实对于GO语言的这个开发环境的搭建的过程&#xff0c;类似于java的开发环境搭建&#xff0c;我们都是需要去安装这个开发工具包的&#xff0c;也就是俗称的这个SDK&#xff0c;他是对于我们的程序进行编译的&#xff0c;不然我们写的这个代码也是跑不起来…...

编程日记 2025/9/20 14:10:41