当前位置： 首页 > news >正文

How to collect data

news 2026/5/13 1:00:44

How to collect data

  • 爬虫
    • Java
    • Python
      • urllib
      • requests
      • BeautifulSoup
    • 反爬虫
      • 信息校验型反爬虫
      • 动态渲染反爬虫
      • 文本混淆反爬虫
      • 特征识别反爬虫
      • App反爬虫
      • 验证码
  • 自动化测试工具
    • Selenium
    • Appium
    • QMetry Automation Studio
    • TestComplete
  • RPA
    • 商业化产品
      • 艺赛旗
      • 影刀
      • UIPath
    • 开源产品
      • Robot Framework RPA

爬虫

Java

Python

urllib

requests

BeautifulSoup

反爬虫

信息校验型反爬虫

  • User-Agent反爬虫

  • Cookie反爬虫

  • 签名验证反爬虫

  • WebSocket握手验证反爬虫

  • WebSocket消息校验反爬虫

  • WebSocket Ping反爬虫

动态渲染反爬虫

文本混淆反爬虫

  • 图片伪装反爬虫
  • CSS偏移反爬虫
  • SVG映射反爬虫
  • 字体反爬虫
  • 文本混淆爬虫通用解决办法

特征识别反爬虫

  • WebDriver识别
  • 浏览器特征
  • 爬虫特征
  • 隐藏链接反爬虫

App反爬虫

  • App手抓包
  • APK文件反编译
  • 代码混淆反爬虫

验证码

  • 字符验证码
  • 计算型验证码
  • 滑动拼图验证码
  • 文字点选验证码

自动化测试工具

Selenium

Appium

QMetry Automation Studio

TestComplete

RPA

商业化产品

艺赛旗

影刀

UIPath

开源产品

Robot Framework RPA

参考文献

  • 火车头采集网站内页URL（图文）教程
  • 技术研究 | 零编程数据爬取之：火车头数据爬取（一）
  • 火车头/高铁采集器怎么使用，新手保姆级教程
  • 学习seo网站运营的第31天-火车头采集的学习
  • 2023年全球十大最佳自动化测试工具
  • 推荐几款常用Web自动化测试神器
  • 八千字直接带你学完《基于Python的Selenium4从入门到高级》全教程
  • Selenium+dddocr轻松解决Web自动化验证码识别
  • 巧用 selenium 解决验证码，模拟登陆某流行网站
  • 【道高一尺魔高一丈】7种反爬虫策略及规避手段
  • 10个好用到爆的"反爬虫"措施
  • 五个优秀开源RPA框架
  • Python 3反爬虫原理与绕过实践 / 韦世东著 / 人民邮电出版社 2020-01 / ISBN: 978711528735

相关文章：

How to collect data

How to collect data 爬虫JavaPythonurllibrequestsBeautifulSoup 反爬虫信息校验型反爬虫动态渲染反爬虫文本混淆反爬虫特征识别反爬虫App反爬虫验证码 自动化测试工具SeleniumAppiumQMetry Automation StudioTestComplete RPA商业化产品艺赛旗影刀UIPath 开源产品Robot Frame…...

编程日记 2024/1/10 17:51:14

二刷Laravel 教程（用户注册）总结Ⅳ

一、显示用户信息 1）resource Route::resource(users, UsersController); 相当于下面这7个路由 我们先用 Artisan 命令查看目前应用的路由： php artisan route:list 2） compact 方法 //我们将用户对象 $user 通过 compact 方法转化为一个关联…...

编程日记 2024/1/10 17:47:10

跨国制造业组网方案解析，如何实现总部-分支稳定互联？

既要控制成本，又要稳定高效，可能吗？ 在制造企业积极向“智造”发展、数字化转型的当下，物联网、人工智能、机器人等新型设备加入到生产、管理环节，为企业内部数据传输提出了更高的要求。而当企业规模扩大，数…...

编程日记 2024/1/10 17:45:08

网络的设置

一、网络设置 1.1查看linux基础的网络设置 网关 route -n ip地址ifconfigDNS服务器cat /etc/resolv.conf主机名hostname路由 route -n 网络连接状态ss 或者 netstat域名解析nslookup host 例题：除了ping，什么命令可以测试DNS服务器来解…...

编程日记 2024/1/10 17:44:07

CentOS常用命令

CentOS常用命令 1 背景知识1.1 Centos 简介1.2 centos 和ubuntu的区别1.3 安装centos的时候需要注意什么 2 常用命令集锦2.1 文件目录类：2.2 驱动挂载类：2.3 关机命令：2.4 查看系统信息命令：2.5 文本命令2.6 系统管理命令&#xf…...

编程日记 2024/1/10 17:41:05

Linux运维之切换到 root 用户

春花秋月何时了，往事知多少。此付费专栏不要订阅，不要订阅，听人劝。 🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 系列专栏目录 [Java项目实战] 介绍Java…...

编程日记 2024/1/10 17:39:03

【2024系统架构设计】 系统架构设计师第二版-层次式架构设计理论与实践

目录 一 表现层框架设计 二 中间层架构设计 三 数据访问层设计 四 数据架构规划与设计 五 物联网层次架构设计 六 层次式架构案例分析...

编程日记 2024/1/10 17:38:02

SpringSecurity的注解@PreAuthorize的失效问题

问题：测试响应式框架时，测试框架对于权限与角色的拦截问题，对于/delete的访问报错访问拒绝，但是数据里面配置了权限。 配置详情 原因：调用roles方法时源码会重新new一个list将authorities的数据覆盖，导致…...

编程日记 2024/1/10 17:37:02

k8s的集群调度

1、scheduler：负责调度资源，把pod调度到指定的node节点 （1）预算策略 （2）优先策略 2、List-watch （1）在k8s集群中，通过List-watch的机制进行每个组件的协作&#xff0…...

编程日记 2024/1/10 17:36:01

简单易懂的理解 PyTorch 中 Transformer 组件

目录 torch.nn子模块transformer详解 nn.Transformer Transformer 类描述 Transformer 类的功能和作用 Transformer 类的参数 forward 方法 参数 输出 示例代码 注意事项 nn.TransformerEncoder TransformerEncoder 类描述 TransformerEncoder 类的功能和作用 Tr…...

编程日记 2024/1/10 17:33:59

搭建Eureka服务注册中心

一、前言 我们在别的章节中已经详细讲解过eureka注册中心的作用，本节会简单讲解eureka作用，侧重注册中心的搭建。 Eureka作为服务注册中心可以进行服务注册和服务发现，注册在上面的服务可以到Eureka上进行服务实例的拉取，主要作用…...

编程日记 2024/1/10 17:29:52

【React】react-router-dom中的HashRouter和BrowserRouter实现原理

1. 前言 在之前整理BOM的五个对象时，提到： location.hash发生改变后，会触发hashchange事件，且history栈中会增加一条记录，但页面不会重新加载——实现HashRouter的关键history.pushState(state, , URL)执行后&#xf…...

编程日记 2024/1/10 17:28:51

生物信息学中的可重复性研究

科学就其本质而言，是累积渐进的。无论你是使用基于网络的还是基于命令行的工具，在进行研究时都应保证该研究可被其他研究人员重复。这有利于你的工作的累积与进展。在生物信息学领域，这意味着如下内容。 工作流应该有据可查。这可能包括在电脑…...

编程日记 2024/1/10 17:27:50

css-img图像同比缩小

1. HTML 中使图像按比例缩小 CSS 来控制图像的大小&#xff0c;并保持其宽高比 <!DOCTYPE html> <html> <head><style>.image-container {width: 300px; /* 设置容器宽度 */height: auto; /* 让高度自适应 */}.image-container img {width: 100%; /* …...

编程日记 2024/1/10 17:24:47

SpringBoot+Prometheus+Grafana搭建应用监控系统

1.应用监控系统介绍 SpringBoot的应用监控方案比较多&#xff0c;SpringBootPrometheusGrafana是比较常用的一种解决方案&#xff0c;主要的监控数据的处理逻辑如下&#xff1a; SpringBoot 的 actuator 提供了应用监控端点&#xff0c;可以对外暴露监控数据信息。Prometheu…...

编程日记 2024/1/10 17:18:42

QT c++和qml交互实例

文章目录 一、demo效果图二、c和qml交互的基本方式1、qml 调用 C 类对象2、C 类对象调用 qml3、qml 给 C 发送信号4、C 给 qml 发送信号 三、关键代码1、工程结构图2、c代码MainWindow.cppMainQuickView.cppStudentInfoView.cppStudentInfoModel.cpp 3、qml代码main.qmlMainQui…...

编程日记 2024/1/10 17:15:39

mysql基础-数据操作之增删改

目录 1.新增数据 1.1单条数据新增 1.2多条数据新增 1.3查询数据新增 2.更新 2.1单值更新 2.2多值更新 2.3批量更新 2.3.1 批量-单条件更新 2.3.2批量-多条件更新 2.4 插入或更新 2.5 联表更新 3.删除 本次分享一下数据库的DML操作语言。 操作表的数据结构&#xf…...

编程日记 2024/1/10 17:14:38

写字母(文件)

请编写函数&#xff0c;将大写字母写入文件中。 函数原型 void WriteLetter(FILE *f, int n);说明&#xff1a;参数 f 为文件指针&#xff0c;n 为字母数目(1 ≤ n ≤ 26)。函数将前 n 个大写英文字母写入 f 所指示的文件中。 裁判程序 #include <stdio.h> #include &…...

编程日记 2024/1/10 17:10:35

基于Jackson自定义json数据的对象转换器

1、问题说明 后端数据表定义的id主键是Long类型&#xff0c;一共有20多位。 前端在接收到后端返回的json数据时&#xff0c;Long类型会默认当做数值类型进行处理。但前端处理20多位的数值会造成精度丢失&#xff0c;于是导致前端查询数据出现问题。 测试前端Long类型的代码 …...

编程日记 2024/1/10 17:07:32

【Java】缓存击穿解决方案

文章目录 什么是SingleFlight&#xff1f;优化缺点优化策略 什么是SingleFlight&#xff1f; SingleFlight是go语言中sync包中的一个东西。它用于确保在并发环境下某个操作&#xff08;例如&#xff0c;函数调用&#xff09;即使被多个goroutine同时请求&#xff0c;也只会被执…...

编程日记 2024/1/10 17:06:31

算法将驱动一切：边缘AI智能体如何重塑智能系统

仓库装卸区的安全摄像头每天采集86400秒的视频数据。长途卡车上的车队远程信息记录仪在两次加油之间积累了数GB的行车影像。外科手术机器人的立体摄像头以每秒60帧的速度生成密集点云。所有这些数据都产生于数字世界与现实世界的交界处&#xff0c;但几乎没有任何一条被用于智能…...

编程新知 2026/5/13 0:57:05

微软创新者窘境：从J的离开看大公司如何留住颠覆性人才

1. 从“J”的离去看微软的“创新者窘境”2010年5月&#xff0c;当微软宣布其娱乐与设备事业部&#xff08;E&D&#xff09;的重组&#xff0c;以及J Allard和Robbie Bach两位核心人物的离开时&#xff0c;科技圈的反应是复杂的。表面上看&#xff0c;这是一次常规的高层人事…...

编程新知 2026/5/13 0:28:24

实验记录-农药种衣剂

1.显色度取决于种子颗粒大小&#xff0c;种子越大&#xff0c;则显色越差&#xff1b;2.需加入增稠剂...

编程新知 2026/5/12 23:25:18

Linux fanotify vs inotify：如何为你的监控需求选择正确的工具？

Linux文件监控技术选型&#xff1a;fanotify与inotify深度对比与实践指南 在构建需要实时感知文件系统变化的应用程序时&#xff0c;开发者常面临监控工具的选择困境。无论是开发安全扫描工具、持续备份系统还是智能IDE&#xff0c;文件监控都是核心需求。Linux平台提供了inoti…...

编程新知 2026/5/12 23:03:47

Tinke：免费开源NDS游戏资源提取工具，轻松解密任天堂DS游戏文件

Tinke&#xff1a;免费开源NDS游戏资源提取工具&#xff0c;轻松解密任天堂DS游戏文件 【免费下载链接】tinke Viewer and editor for files of NDS games 项目地址: https://gitcode.com/gh_mirrors/ti/tinke 你是否曾好奇NDS游戏内部藏着什么秘密&#xff1f;想要提取…...

编程新知 2026/5/12 22:07:05

如何永久保存微信聊天记录：5分钟学会WeChatMsg免费完整指南

如何永久保存微信聊天记录&#xff1a;5分钟学会WeChatMsg免费完整指南 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/…...

编程新知 2026/5/12 22:06:59

中小企业技术团队的生存法则：用巧劲对抗资源不足

一、夹缝中求存的中小企业测试团队在软件行业的生态版图里&#xff0c;中小企业技术团队始终处于一种特殊的位置。它们没有行业巨头动辄数百人的测试大军&#xff0c;没有动辄千万级的测试预算&#xff0c;也无法像大厂那样依靠成熟的流程体系和工具矩阵实现自动化、规模化的测…...

编程新知 2026/5/12 21:56:22

爆单实操课：从3C到美妆，跨境商家如何用AI神器搞定TikTok本土化

每天都有无数跨境卖家在各大社群里发问&#xff1a;怎么用ai生成带货视频&#xff0c;有哪些工具比较好用&#xff1f; 在 TikTok 这个极度依赖内容爆发的平台上&#xff0c;不同类目的产品对视频素材的需求千差万别。靠人工剪辑不仅效率低&#xff0c;且极难跨越本土化语言的障…...

编程新知 2026/5/12 21:24:30

深度学习在系外行星探测中的应用：ExoDNN框架解析与实践

1. 项目概述&#xff1a;当深度学习遇见星空系外行星探测&#xff0c;这个听起来就充满科幻感的领域&#xff0c;在过去二十年里彻底改变了我们对宇宙的认知。从最初通过“凌星法”和“径向速度法”发现几颗气态巨行星&#xff0c;到如今TESS、开普勒等太空望远镜的海量数据中&…...

编程新知 2026/5/12 19:41:07

Helm Git插件：实现K8s Chart的GitOps部署与CI/CD集成

1. 项目概述&#xff1a;为什么我们需要一个Helm Git插件&#xff1f;在Kubernetes生态中&#xff0c;Helm是当之无愧的“包管理器”&#xff0c;它通过Chart的概念&#xff0c;将复杂的K8s应用定义打包、版本化&#xff0c;极大地简化了部署流程。然而&#xff0c;标准的Helm工…...

编程新知 2026/5/12 19:18:03