python爬虫系列课程1：初识爬虫
python爬虫系列课程1：初识爬虫
- 一、爬虫的概念
- 二、通用爬虫和自定义爬虫的区别
- 三、开发语言
- 四、爬虫流程
一、爬虫的概念
网络爬虫（又被称为网页蜘蛛、网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动抓取互联网信息的程序。原则上，只要是浏览器（客户端）能做的事情，爬虫都能够做。
二、通用爬虫和自定义爬虫的区别
通用爬虫可以提取大多数网站的数据，但是对于网站中某些特殊数据的提取方式没有实现。自定义爬虫可以针对某一种网站自行开发符合要求的爬虫。
三、开发语言
只要能够发送HTTP（S）请求的任何编程语言都是可以完成爬虫程序的，例如java、php、JavaScript等，但是论爬虫开发效率一般都指的是python语言。
四、爬虫流程
相关文章：
python爬虫系列课程1：初识爬虫
python爬虫系列课程1：初识爬虫 一、爬虫的概念二、通用爬虫和自定义爬虫的区别三、开发语言四、爬虫流程一、爬虫的概念 网络爬虫（又被称为网页蜘蛛、网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动抓取互联网信息的程序。原则上，只要是…...
大模型工具大比拼：SGLang、Ollama、VLLM、LLaMA.cpp 如何选择？
简介：在人工智能飞速发展的今天，大模型已经成为推动技术革新的核心力量。无论是智能客服、内容创作，还是科研辅助、代码生成，大模型的身影无处不在。然而，面对市场上琳琅满目的工具，如何挑选最适合自己的那…...
什么是语料清洗、预训练、指令微调、强化学习、内容安全； 什么是megatron，deepspeed，vllm推理加速框架
什么是语料清洗、预训练、指令微调、强化学习、内容安全 目录 什么是语料清洗、预训练、指令微调、强化学习、内容安全语料清洗预训练指令微调强化学习内容安全什么是megatron，deepspeed，vllm推理加速框架语料清洗 语料清洗是对原始文本数据进行处理的过程，旨在去除数据中的…...
HTTP的“对话”逻辑：请求与响应如何构建数据桥梁？
一、前言 作为现代互联网通信的基石，HTTP协议定义了客户端与服务器之间的“对话规则”。每一次网页加载、API调用或文件传输的背后，都离不开精心构造的HTTP请求与响应。请求中封装了用户的意图——从请求方法、资源路径到提交的数据；响应则承…...
【深度学习】预训练和微调概述
预训练和微调概述 1. 预训练和微调的介绍1.1 预训练（Pretraining）1.2 微调（Fine-Tuning） 2. 预训练和微调的区别 预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个 预训练-微调 (Pretrain-Finetune…...
自动化测试框架搭建-单次接口执行-三部曲
目的 判断接口返回值和提前设置的预期是否一致，从而判断本次测试是否通过 代码步骤设计 第一步：前端调用后端已经写好的POST接口，并传递参数 第二步：后端接收到参数，组装并请求指定接口，保存返回 第三…...
【阮一峰】2.数组
数组 简介 所有成员的类型必须相同，但是成员数量是不确定的。 由于成员数量可以动态变化，所以 TypeScript 不会对数组边界进行检查，越界访问数组并不会报错。 第一种写法： let arr: (number | string)[];第二种写法ÿ…...
DeepSeek 接入PyCharm实现AI编程！（支持本地部署DeepSeek及官方DeepSeek接入）
前言 在当今数字化时代，AI编程助手已成为提升开发效率的利器。DeepSeek作为一款强大的AI模型，凭借其出色的性能和开源免费的优势，成为许多开发者的首选。今天，就让我们一起探索如何将DeepSeek接入PyCharm，实现高效、智…...
【Java Card】Applet 使用Shareable进行数据分享以及部分问题处理
文章目录 前言一、定义接口二、server端实现三、client端实现四、遇到的问题 前言 在进行开发时，可能会将业务放到不同的applet中，这时常常会需要进行数据的分享。 比如在一个applet中存储了密钥，而在另一个业务applet中需要进行签名时&…...
国产FPGA开发板选择
FPGA开发板是学习和开发FPGA的重要工具，选择合适的开发板对学习效果和开发效率至关重要。随着国产FPGA的发展，淘宝上的许多FPGA开发板店铺也开始进行国产FPGA的设计和销售，本文将对国产FPGA和相关店铺做个简单梳理，帮助有需要使用…...
com.typesafe.config
com.typesafe.config 是 Typesafe Config 库的核心包，主要用于 统一、灵活地管理应用程序配置，支持从多种格式（如 HOCON、JSON、Java Properties）加载配置，并提供类型安全的访问接口。以下是其核心功能的详细解析&…...
Ubuntu学习备忘
1. 打开Terminal快捷键 ctrl alt t 2.Ubuntu22.04的root没有默认初始密码， 为root设置密码，下面链接的step1, How to allow GUI root login on Ubuntu 22.04 Jammy Jellyfish Linux - LinuxConfig...
【C++】— 掌握STL vector 类：“Vector简介：动态数组的高效应用”
文章目录 1.vector的介绍和使用1.1vector的介绍1.2 vector的特点1.3vector的使用1.3.1vector的定义1.3.2vector iterator的使用1.3.3vector 的空间增长问题1.3.4 vector 的增删查改1.3.5vector 迭代器失效问题 1.vector的介绍和使用 1.1vector的介绍 vector是一个顺序容器&am…...
Docker__持续更新......
Docker 1. 基本知识1.1 为什么有Docker?1.2 Docker架构与容器化 画图解释 画图解释2. 项目实战 1. 基本知识 1.1 为什么有Docker? 用一行命令跨平台安装项目，在不同平台上运行项目。把项目打包分享运行应用。 1.2 Docker架构与容器化 准备机器，在机…...
【R语言】主成分分析与因子分析
一、主成分分析 主成分分析（Principal Component Analysis, PCA）是一种常用的无监督数据降维技术，广泛应用于统计学、数据科学和机器学习等领域。它通过正交化线性变换将（高维）原始数据投影到一个新的坐标系ÿ…...
ROS-相机话题-获取图像-颜色目标识别与定位-目标跟随-人脸检测
文章目录 相机话题获取图像颜色目标识别与定位目标跟随人脸检测 相机话题 启动仿真 roslaunch wpr_simulation wpb_stage_robocup.launch rostopic hz /kinect2/qhd/image_color_rect/camera/image_raw：原始的、未经处理的图像数据。 /camera/image_rectÿ…...
STM32 如何使用DMA和获取ADC
目录 背景 摇杆的原理 程序 端口配置 ADC 配置 DMA配置 背景 DMA是一种计算机技术，允许某些硬件子系统直接访问系统内存，而不需要中央处理器（CPU）的介入，从而减轻CPU的负担。我们可以通过DMA来从外设…...
【JAVA实战】JAVA实现Excel模板下载并填充模板下拉选项数据
背景 有这样一个场景：前端下载Excel模板，进行数据导入，这个下载模板过程需要经过后端接口去数据库查询数据进行某些列的下拉数据填充，下拉填充的数据过程中会出现错误String literals in formulas can’t be bigger than 255 cha…...
)
java面试笔记(一)
1. 一万个string类型的数据，设计一个算法如何按照String长度来排序 以使用 Arrays.sort() 方法，并结合一个自定义的比较器。以下是实现的示例代码: public class StringLengthSort {public static void main(String[] args) {// 定义一万个字符串的示例…...
【C++】36.C++IO流
文章目录 1. C语言的输入与输出2. 流是什么3. CIO流3.1 C标准IO流3.2 C文件IO流 4. stringstream的简单介绍 1. C语言的输入与输出 C语言中我们用到的最频繁的输入输出方式就是scanf ()与printf()。 scanf(): 从标准输入设备(键盘)读取数据，并将值存放在变量中。pri…...
第19节 Node.js Express 框架
Express 是一个为Node.js设计的web开发框架，它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用，和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...
【杂谈】-递归进化：人工智能的自我改进与监管挑战
递归进化：人工智能的自我改进与监管挑战 文章目录 递归进化：人工智能的自我改进与监管挑战1、自我改进型人工智能的崛起2、人工智能如何挑战人类监管？3、确保人工智能受控的策略4、人类在人工智能发展中的角色5、平衡自主性与控制力6、总结与…...
脑机新手指南（八）：OpenBCI_GUI：从环境搭建到数据可视化（下）
一、数据处理与分析实战 （一）实时滤波与参数调整 基础滤波操作 60Hz 工频滤波：勾选界面右侧 “60Hz” 复选框，可有效抑制电网干扰（适用于北美地区，欧洲用户可调整为 50Hz）。 平滑处理&…...
UDP(Echoserver)
网络命令 Ping 命令 检测网络是否连通 使用方法: ping -c 次数 网址ping -c 3 www.baidu.comnetstat 命令 netstat 是一个用来查看网络状态的重要工具. 语法：netstat [选项] 功能：查看网络状态 常用选项： n 拒绝显示别名&#…...
对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验，以及大语言模型的分析能力，我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际，我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测，聊作存档。等到明…...
OkHttp 中实现断点续传 demo
在 OkHttp 中实现断点续传主要通过以下步骤完成，核心是利用 HTTP 协议的 Range 请求头指定下载范围： 实现原理 Range 请求头：向服务器请求文件的特定字节范围（如 Range: bytes1024-） 本地文件记录：保存已…...
Python爬虫（一）：爬虫伪装
一、网站防爬机制概述 在当今互联网环境中，具有一定规模或盈利性质的网站几乎都实施了各种防爬措施。这些措施主要分为两大类： 身份验证机制：直接将未经授权的爬虫阻挡在外反爬技术体系：通过各种技术手段增加爬虫获取数据的难度…...
Module Federation 和 Native Federation 的比较
前言 Module Federation 是 Webpack 5 引入的微前端架构方案，允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...
接口自动化测试：HttpRunner基础
相关文档 HttpRunner V3.x中文文档 HttpRunner 用户指南 使用HttpRunner 3.x实现接口自动化测试 HttpRunner介绍 HttpRunner 是一个开源的 API 测试工具，支持 HTTP(S)/HTTP2/WebSocket/RPC 等网络协议，涵盖接口测试、性能测试、数字体验监测等测试类型…...