How to collect data
How to collect data
- 爬虫
- Java
- Python
- urllib
- requests
- BeautifulSoup
- 反爬虫
- 信息校验型反爬虫
- 动态渲染反爬虫
- 文本混淆反爬虫
- 特征识别反爬虫
- App反爬虫
- 验证码
- 自动化测试工具
- Selenium
- Appium
- QMetry Automation Studio
- TestComplete
- RPA
- 商业化产品
- 艺赛旗
- 影刀
- UIPath
- 开源产品
- Robot Framework RPA
爬虫
Java
Python
urllib
requests
BeautifulSoup
反爬虫
信息校验型反爬虫
-
User-Agent反爬虫
-
Cookie反爬虫
-
签名验证反爬虫
-
WebSocket握手验证反爬虫
-
WebSocket消息校验反爬虫
-
WebSocket Ping反爬虫
动态渲染反爬虫
文本混淆反爬虫
- 图片伪装反爬虫
- CSS偏移反爬虫
- SVG映射反爬虫
- 字体反爬虫
- 文本混淆爬虫通用解决办法
特征识别反爬虫
- WebDriver识别
- 浏览器特征
- 爬虫特征
- 隐藏链接反爬虫
App反爬虫
- App手抓包
- APK文件反编译
- 代码混淆反爬虫
验证码
- 字符验证码
- 计算型验证码
- 滑动拼图验证码
- 文字点选验证码
自动化测试工具
Selenium
Appium
QMetry Automation Studio
TestComplete
RPA
商业化产品
艺赛旗
影刀
UIPath
开源产品
Robot Framework RPA
参考文献
- 火车头采集网站内页URL（图文）教程
- 技术研究 | 零编程数据爬取之：火车头数据爬取（一）
- 火车头/高铁采集器怎么使用，新手保姆级教程
- 学习seo网站运营的第31天-火车头采集的学习
- 2023年全球十大最佳自动化测试工具
- 推荐几款常用Web自动化测试神器
- 八千字直接带你学完《基于Python的Selenium4从入门到高级》全教程
- Selenium+dddocr轻松解决Web自动化验证码识别
- 巧用 selenium 解决验证码，模拟登陆某流行网站
- 【道高一尺魔高一丈】7种反爬虫策略及规避手段
- 10个好用到爆的"反爬虫"措施
- 五个优秀开源RPA框架
- Python 3反爬虫原理与绕过实践 / 韦世东著 / 人民邮电出版社 2020-01 / ISBN: 978711528735
相关文章：
How to collect data
How to collect data 爬虫JavaPythonurllibrequestsBeautifulSoup 反爬虫信息校验型反爬虫动态渲染反爬虫文本混淆反爬虫特征识别反爬虫App反爬虫验证码 自动化测试工具SeleniumAppiumQMetry Automation StudioTestComplete RPA商业化产品艺赛旗影刀UIPath 开源产品Robot Frame…...
二刷Laravel 教程（用户注册）总结Ⅳ
一、显示用户信息 1）resource Route::resource(users, UsersController); 相当于下面这7个路由 我们先用 Artisan 命令查看目前应用的路由： php artisan route:list 2） compact 方法 //我们将用户对象 $user 通过 compact 方法转化为一个关联…...
跨国制造业组网方案解析，如何实现总部-分支稳定互联？
既要控制成本，又要稳定高效，可能吗？ 在制造企业积极向“智造”发展、数字化转型的当下，物联网、人工智能、机器人等新型设备加入到生产、管理环节，为企业内部数据传输提出了更高的要求。而当企业规模扩大，数…...
网络的设置
一、网络设置 1.1查看linux基础的网络设置 网关 route -n ip地址ifconfigDNS服务器cat /etc/resolv.conf主机名hostname路由 route -n 网络连接状态ss 或者 netstat域名解析nslookup host 例题：除了ping，什么命令可以测试DNS服务器来解…...
CentOS常用命令
CentOS常用命令 1 背景知识1.1 Centos 简介1.2 centos 和ubuntu的区别1.3 安装centos的时候需要注意什么 2 常用命令集锦2.1 文件目录类：2.2 驱动挂载类：2.3 关机命令：2.4 查看系统信息命令：2.5 文本命令2.6 系统管理命令…...
Linux运维之切换到 root 用户
春花秋月何时了，往事知多少。此付费专栏不要订阅，不要订阅，听人劝。 🌹作者主页：青花锁 🌹简介：Java领域优质创作者🏆、Java微服务架构公号作者😄 🌹简历模板、学习资料、面试题库、技术互助 🌹文末获取联系方式 📝 系列专栏目录 [Java项目实战] 介绍Java…...
【2024系统架构设计】 系统架构设计师第二版-层次式架构设计理论与实践
目录 一 表现层框架设计 二 中间层架构设计 三 数据访问层设计 四 数据架构规划与设计 五 物联网层次架构设计 六 层次式架构案例分析...
SpringSecurity的注解@PreAuthorize的失效问题
问题：测试响应式框架时，测试框架对于权限与角色的拦截问题，对于/delete的访问报错访问拒绝，但是数据里面配置了权限。 配置详情 原因：调用roles方法时源码会重新new一个list将authorities的数据覆盖，导致…...
k8s的集群调度
1、scheduler：负责调度资源，把pod调度到指定的node节点 （1）预算策略 （2）优先策略 2、List-watch （1）在k8s集群中，通过List-watch的机制进行每个组件的协作࿰…...
简单易懂的理解 PyTorch 中 Transformer 组件
目录 torch.nn子模块transformer详解 nn.Transformer Transformer 类描述 Transformer 类的功能和作用 Transformer 类的参数 forward 方法 参数 输出 示例代码 注意事项 nn.TransformerEncoder TransformerEncoder 类描述 TransformerEncoder 类的功能和作用 Tr…...
搭建Eureka服务注册中心
一、前言 我们在别的章节中已经详细讲解过eureka注册中心的作用，本节会简单讲解eureka作用，侧重注册中心的搭建。 Eureka作为服务注册中心可以进行服务注册和服务发现，注册在上面的服务可以到Eureka上进行服务实例的拉取，主要作用…...
【React】react-router-dom中的HashRouter和BrowserRouter实现原理
1. 前言 在之前整理BOM的五个对象时，提到： location.hash发生改变后，会触发hashchange事件，且history栈中会增加一条记录，但页面不会重新加载——实现HashRouter的关键history.pushState(state, , URL)执行后…...
生物信息学中的可重复性研究
科学就其本质而言，是累积渐进的。无论你是使用基于网络的还是基于命令行的工具，在进行研究时都应保证该研究可被其他研究人员重复。这有利于你的工作的累积与进展。在生物信息学领域，这意味着如下内容。 工作流应该有据可查。这可能包括在电脑…...
css-img图像同比缩小
1. HTML 中使图像按比例缩小 CSS 来控制图像的大小，并保持其宽高比 <!DOCTYPE html> <html> <head><style>.image-container {width: 300px; /* 设置容器宽度 */height: auto; /* 让高度自适应 */}.image-container img {width: 100%; /* …...
SpringBoot+Prometheus+Grafana搭建应用监控系统
1.应用监控系统介绍 SpringBoot的应用监控方案比较多，SpringBootPrometheusGrafana是比较常用的一种解决方案，主要的监控数据的处理逻辑如下： SpringBoot 的 actuator 提供了应用监控端点，可以对外暴露监控数据信息。Prometheu…...
QT c++和qml交互实例
文章目录 一、demo效果图二、c和qml交互的基本方式1、qml 调用 C 类对象2、C 类对象调用 qml3、qml 给 C 发送信号4、C 给 qml 发送信号 三、关键代码1、工程结构图2、c代码MainWindow.cppMainQuickView.cppStudentInfoView.cppStudentInfoModel.cpp 3、qml代码main.qmlMainQui…...
mysql基础-数据操作之增删改
目录 1.新增数据 1.1单条数据新增 1.2多条数据新增 1.3查询数据新增 2.更新 2.1单值更新 2.2多值更新 2.3批量更新 2.3.1 批量-单条件更新 2.3.2批量-多条件更新 2.4 插入或更新 2.5 联表更新 3.删除 本次分享一下数据库的DML操作语言。 操作表的数据结构…...
)
写字母(文件)
请编写函数，将大写字母写入文件中。 函数原型 void WriteLetter(FILE *f, int n);说明：参数 f 为文件指针，n 为字母数目(1 ≤ n ≤ 26)。函数将前 n 个大写英文字母写入 f 所指示的文件中。 裁判程序 #include <stdio.h> #include &…...
基于Jackson自定义json数据的对象转换器
1、问题说明 后端数据表定义的id主键是Long类型，一共有20多位。 前端在接收到后端返回的json数据时，Long类型会默认当做数值类型进行处理。但前端处理20多位的数值会造成精度丢失，于是导致前端查询数据出现问题。 测试前端Long类型的代码 …...
【Java】缓存击穿解决方案
文章目录 什么是SingleFlight？优化缺点优化策略 什么是SingleFlight？ SingleFlight是go语言中sync包中的一个东西。它用于确保在并发环境下某个操作（例如，函数调用）即使被多个goroutine同时请求，也只会被执…...
浅谈 React Hooks
React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...
web vue 项目 Docker化部署
Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段： 构建阶段（Build Stage）：…...
【网络】每天掌握一个Linux命令 - iftop
在Linux系统中，iftop是网络管理的得力助手，能实时监控网络流量、连接情况等，帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...
【位运算】消失的两个数字（hard）
消失的两个数字（hard） 题⽬描述：解法（位运算）：Java 算法代码：更简便代码 题⽬链接：⾯试题 17.19. 消失的两个数字 题⽬描述： 给定⼀个数组，包含从 1 到 N 所有…...
基于Flask实现的医疗保险欺诈识别监测模型
基于Flask实现的医疗保险欺诈识别监测模型 项目截图 项目简介 社会医疗保险是国家通过立法形式强制实施，由雇主和个人按一定比例缴纳保险费，建立社会医疗保险基金，支付雇员医疗费用的一种医疗保险制度， 它是促进社会文明和进步的…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序
一、开发准备 环境搭建： 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 项目创建： File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解：由来、作用与意义**一、知识点核心内容****二、知识点的由来：从生活实践到数学抽象****三、知识的作用：解决实际问题的工具****四、学习的意义：培养核心素养…...
苍穹外卖--缓存菜品
1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据，减少数据库查询操作。 缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...
)
GitHub 趋势日报 (2025年06月08日)
📊 由 TrendForge 系统生成 | 🌐 https://trendforge.devlive.org/ 🌐 本日报中的项目描述已自动翻译为中文 📈 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...
浅谈不同二分算法的查找情况
二分算法原理比较简单，但是实际的算法模板却有很多，这一切都源于二分查找问题中的复杂情况和二分算法的边界处理，以下是博主对一些二分算法查找的情况分析。 需要说明的是，以下二分算法都是基于有序序列为升序有序的情况…...