当前位置： 首页 > news >正文

How to collect data

news 2025/7/6 18:39:11

How to collect data

  • 爬虫
    • Java
    • Python
      • urllib
      • requests
      • BeautifulSoup
    • 反爬虫
      • 信息校验型反爬虫
      • 动态渲染反爬虫
      • 文本混淆反爬虫
      • 特征识别反爬虫
      • App反爬虫
      • 验证码
  • 自动化测试工具
    • Selenium
    • Appium
    • QMetry Automation Studio
    • TestComplete
  • RPA
    • 商业化产品
      • 艺赛旗
      • 影刀
      • UIPath
    • 开源产品
      • Robot Framework RPA

爬虫

Java

Python

urllib

requests

BeautifulSoup

反爬虫

信息校验型反爬虫

  • User-Agent反爬虫

  • Cookie反爬虫

  • 签名验证反爬虫

  • WebSocket握手验证反爬虫

  • WebSocket消息校验反爬虫

  • WebSocket Ping反爬虫

动态渲染反爬虫

文本混淆反爬虫

  • 图片伪装反爬虫
  • CSS偏移反爬虫
  • SVG映射反爬虫
  • 字体反爬虫
  • 文本混淆爬虫通用解决办法

特征识别反爬虫

  • WebDriver识别
  • 浏览器特征
  • 爬虫特征
  • 隐藏链接反爬虫

App反爬虫

  • App手抓包
  • APK文件反编译
  • 代码混淆反爬虫

验证码

  • 字符验证码
  • 计算型验证码
  • 滑动拼图验证码
  • 文字点选验证码

自动化测试工具

Selenium

Appium

QMetry Automation Studio

TestComplete

RPA

商业化产品

艺赛旗

影刀

UIPath

开源产品

Robot Framework RPA

参考文献

  • 火车头采集网站内页URL（图文）教程
  • 技术研究 | 零编程数据爬取之：火车头数据爬取（一）
  • 火车头/高铁采集器怎么使用，新手保姆级教程
  • 学习seo网站运营的第31天-火车头采集的学习
  • 2023年全球十大最佳自动化测试工具
  • 推荐几款常用Web自动化测试神器
  • 八千字直接带你学完《基于Python的Selenium4从入门到高级》全教程
  • Selenium+dddocr轻松解决Web自动化验证码识别
  • 巧用 selenium 解决验证码，模拟登陆某流行网站
  • 【道高一尺魔高一丈】7种反爬虫策略及规避手段
  • 10个好用到爆的"反爬虫"措施
  • 五个优秀开源RPA框架
  • Python 3反爬虫原理与绕过实践 / 韦世东著 / 人民邮电出版社 2020-01 / ISBN: 978711528735

相关文章：

How to collect data

How to collect data 爬虫JavaPythonurllibrequestsBeautifulSoup 反爬虫信息校验型反爬虫动态渲染反爬虫文本混淆反爬虫特征识别反爬虫App反爬虫验证码 自动化测试工具SeleniumAppiumQMetry Automation StudioTestComplete RPA商业化产品艺赛旗影刀UIPath 开源产品Robot Frame…...

编程日记 2024/1/10 17:51:14

二刷Laravel 教程（用户注册）总结Ⅳ

一、显示用户信息 1）resource Route::resource(users, UsersController); 相当于下面这7个路由 我们先用 Artisan 命令查看目前应用的路由： php artisan route:list 2） compact 方法 //我们将用户对象 $user 通过 compact 方法转化为一个关联…...

编程日记 2024/1/10 17:47:10

跨国制造业组网方案解析，如何实现总部-分支稳定互联？

既要控制成本，又要稳定高效，可能吗？ 在制造企业积极向“智造”发展、数字化转型的当下，物联网、人工智能、机器人等新型设备加入到生产、管理环节，为企业内部数据传输提出了更高的要求。而当企业规模扩大，数…...

编程日记 2024/1/10 17:45:08

网络的设置

一、网络设置 1.1查看linux基础的网络设置 网关 route -n ip地址ifconfigDNS服务器cat /etc/resolv.conf主机名hostname路由 route -n 网络连接状态ss 或者 netstat域名解析nslookup host 例题：除了ping，什么命令可以测试DNS服务器来解…...

编程日记 2024/1/10 17:44:07

CentOS常用命令

CentOS常用命令 1 背景知识1.1 Centos 简介1.2 centos 和ubuntu的区别1.3 安装centos的时候需要注意什么 2 常用命令集锦2.1 文件目录类：2.2 驱动挂载类：2.3 关机命令：2.4 查看系统信息命令：2.5 文本命令2.6 系统管理命令&#xf…...

编程日记 2024/1/10 17:41:05

Linux运维之切换到 root 用户

春花秋月何时了，往事知多少。此付费专栏不要订阅，不要订阅，听人劝。 🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 系列专栏目录 [Java项目实战] 介绍Java…...

编程日记 2024/1/10 17:39:03

【2024系统架构设计】 系统架构设计师第二版-层次式架构设计理论与实践

目录 一 表现层框架设计 二 中间层架构设计 三 数据访问层设计 四 数据架构规划与设计 五 物联网层次架构设计 六 层次式架构案例分析...

编程日记 2024/1/10 17:38:02

SpringSecurity的注解@PreAuthorize的失效问题

问题：测试响应式框架时，测试框架对于权限与角色的拦截问题，对于/delete的访问报错访问拒绝，但是数据里面配置了权限。 配置详情 原因：调用roles方法时源码会重新new一个list将authorities的数据覆盖，导致…...

编程日记 2024/1/10 17:37:02

k8s的集群调度

1、scheduler：负责调度资源，把pod调度到指定的node节点 （1）预算策略 （2）优先策略 2、List-watch （1）在k8s集群中，通过List-watch的机制进行每个组件的协作&#xff0…...

编程日记 2024/1/10 17:36:01

简单易懂的理解 PyTorch 中 Transformer 组件

目录 torch.nn子模块transformer详解 nn.Transformer Transformer 类描述 Transformer 类的功能和作用 Transformer 类的参数 forward 方法 参数 输出 示例代码 注意事项 nn.TransformerEncoder TransformerEncoder 类描述 TransformerEncoder 类的功能和作用 Tr…...

编程日记 2024/1/10 17:33:59

搭建Eureka服务注册中心

一、前言 我们在别的章节中已经详细讲解过eureka注册中心的作用，本节会简单讲解eureka作用，侧重注册中心的搭建。 Eureka作为服务注册中心可以进行服务注册和服务发现，注册在上面的服务可以到Eureka上进行服务实例的拉取，主要作用…...

编程日记 2024/1/10 17:29:52

【React】react-router-dom中的HashRouter和BrowserRouter实现原理

1. 前言 在之前整理BOM的五个对象时，提到： location.hash发生改变后，会触发hashchange事件，且history栈中会增加一条记录，但页面不会重新加载——实现HashRouter的关键history.pushState(state, , URL)执行后&#xf…...

编程日记 2024/1/10 17:28:51

生物信息学中的可重复性研究

科学就其本质而言，是累积渐进的。无论你是使用基于网络的还是基于命令行的工具，在进行研究时都应保证该研究可被其他研究人员重复。这有利于你的工作的累积与进展。在生物信息学领域，这意味着如下内容。 工作流应该有据可查。这可能包括在电脑…...

编程日记 2024/1/10 17:27:50

css-img图像同比缩小

1. HTML 中使图像按比例缩小 CSS 来控制图像的大小&#xff0c;并保持其宽高比 <!DOCTYPE html> <html> <head><style>.image-container {width: 300px; /* 设置容器宽度 */height: auto; /* 让高度自适应 */}.image-container img {width: 100%; /* …...

编程日记 2024/1/10 17:24:47

SpringBoot+Prometheus+Grafana搭建应用监控系统

1.应用监控系统介绍 SpringBoot的应用监控方案比较多&#xff0c;SpringBootPrometheusGrafana是比较常用的一种解决方案&#xff0c;主要的监控数据的处理逻辑如下&#xff1a; SpringBoot 的 actuator 提供了应用监控端点&#xff0c;可以对外暴露监控数据信息。Prometheu…...

编程日记 2024/1/10 17:18:42

QT c++和qml交互实例

文章目录 一、demo效果图二、c和qml交互的基本方式1、qml 调用 C 类对象2、C 类对象调用 qml3、qml 给 C 发送信号4、C 给 qml 发送信号 三、关键代码1、工程结构图2、c代码MainWindow.cppMainQuickView.cppStudentInfoView.cppStudentInfoModel.cpp 3、qml代码main.qmlMainQui…...

编程日记 2024/1/10 17:15:39

mysql基础-数据操作之增删改

目录 1.新增数据 1.1单条数据新增 1.2多条数据新增 1.3查询数据新增 2.更新 2.1单值更新 2.2多值更新 2.3批量更新 2.3.1 批量-单条件更新 2.3.2批量-多条件更新 2.4 插入或更新 2.5 联表更新 3.删除 本次分享一下数据库的DML操作语言。 操作表的数据结构&#xf…...

编程日记 2024/1/10 17:14:38

写字母(文件)

请编写函数&#xff0c;将大写字母写入文件中。 函数原型 void WriteLetter(FILE *f, int n);说明&#xff1a;参数 f 为文件指针&#xff0c;n 为字母数目(1 ≤ n ≤ 26)。函数将前 n 个大写英文字母写入 f 所指示的文件中。 裁判程序 #include <stdio.h> #include &…...

编程日记 2024/1/10 17:10:35

基于Jackson自定义json数据的对象转换器

1、问题说明 后端数据表定义的id主键是Long类型&#xff0c;一共有20多位。 前端在接收到后端返回的json数据时&#xff0c;Long类型会默认当做数值类型进行处理。但前端处理20多位的数值会造成精度丢失&#xff0c;于是导致前端查询数据出现问题。 测试前端Long类型的代码 …...

编程日记 2024/1/10 17:07:32

【Java】缓存击穿解决方案

文章目录 什么是SingleFlight&#xff1f;优化缺点优化策略 什么是SingleFlight&#xff1f; SingleFlight是go语言中sync包中的一个东西。它用于确保在并发环境下某个操作&#xff08;例如&#xff0c;函数调用&#xff09;即使被多个goroutine同时请求&#xff0c;也只会被执…...

编程日记 2024/1/10 17:06:31

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank&#xff1f;由于时间太久&#xff0c;我真忘记了。搜搜发现&#xff0c;还真有人和我一样。见下面的链接&#xff1a;https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2025/6/28 11:42:05

MongoDB学习和应用(高效的非关系型数据库)

一丶 MongoDB简介 对于社交类软件的功能&#xff0c;我们需要对它的功能特点进行分析&#xff1a; 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具&#xff1a; mysql&#xff1a;关系型数据库&am…...

编程新知 2025/7/4 6:10:22

【git】把本地更改提交远程新分支feature_g

创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

编程新知 2025/7/4 18:21:24

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个生活电费的缴纳和查询小程序

一、项目初始化与配置 1. 创建项目 ohpm init harmony/utility-payment-app 2. 配置权限 // module.json5 {"requestPermissions": [{"name": "ohos.permission.INTERNET"},{"name": "ohos.permission.GET_NETWORK_INFO"…...

编程新知 2025/7/5 1:17:25

大模型多显卡多服务器并行计算方法与实践指南

一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...

编程新知 2025/6/24 6:21:26

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中&#xff0c;将 long long 类型转换为 QString 可以通过以下两种常用方法实现&#xff1a; 方法 1&#xff1a;使用 QString::number() 直接调用 QString 的静态方法 number()&#xff0c;将数值转换为字符串&#xff1a; long long value 1234567890123456789LL; …...

编程新知 2025/7/4 23:39:05

mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包

文章目录 现象&#xff1a;mysql已经安装&#xff0c;但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时&#xff0c;可能是因为以下几个原因&#xff1a;1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...

编程新知 2025/7/4 18:26:36

Rapidio门铃消息FIFO溢出机制

关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系&#xff0c;以下是深入解析&#xff1a; 门铃FIFO溢出的本质 在RapidIO系统中&#xff0c;门铃消息FIFO是硬件控制器内部的缓冲区&#xff0c;用于临时存储接收到的门铃消息&#xff08;Doorbell Message&#xff09;。…...

编程新知 2025/6/20 15:59:42

分布式增量爬虫实现方案

之前我们在讨论的是分布式爬虫如何实现增量爬取。增量爬虫的目标是只爬取新产生或发生变化的页面&#xff0c;避免重复抓取&#xff0c;以节省资源和时间。 在分布式环境下&#xff0c;增量爬虫的实现需要考虑多个爬虫节点之间的协调和去重。 另一种思路&#xff1a;将增量判…...

编程新知 2025/7/4 15:34:29

Python ROS2【机器人中间件框架】 简介

销量过万TEEIS德国护膝夏天用薄款 优惠券冠生园 百花蜂蜜428g 挤压瓶纯蜂蜜巨奇严选 鞋子除臭剂360ml 多芬身体磨砂膏280g健70%-75%酒精消毒棉片湿巾1418cm 80片/袋3袋大包清洁食品用消毒 优惠券AIMORNY52朵红玫瑰永生香皂花同城配送非鲜花七夕情人节生日礼物送女友 热卖妙洁棉…...

编程新知 2025/7/4 0:33:02