当前位置： 首页 > article >正文

【愚公系列】《Python网络爬虫从入门到精通》001-初识网络爬虫

article 2026/4/26 16:27:01
标题详情
作者简介愚公搬代码
头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专家等。
近期荣誉2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主，2024年华为云十佳博主等。
博客内容.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。
欢迎👍点赞、✍评论、⭐收藏

文章目录

  • 🚀前言
  • 🚀一、网络爬虫详细概述
    • 🔎 1. 网络爬虫概述
    • 🔎 2. 网络爬虫的分类
      • 🦋2.1 通用网络爬虫
      • 🦋2.2 聚焦网络爬虫
      • 🦋2.3 增量式网络爬虫
    • 🔎 3. 网络爬虫的基本原理
  • 🚀二、搭建开发环境
    • 🔎1.安装Anaconda
    • 🔎2.PyCharm 的下载与安装
    • 🔎3.配置 PyCharm
    • 🔎4.测试 PyCharm

🚀前言

随着互联网的快速发展，数据的获取与处理变得愈发重要。在这个信息爆炸的时代，如何有效地收集和利用网络上的海量数据，成为了各行业面临的一大挑战。网络爬虫，作为一种自动化获取网页信息的技术，正逐渐成为数据分析、市场研究、竞争对手监控等领域不可或缺的工具。

本文将带领读者初步了解网络爬虫的基本概念、工作原理以及常见应用场景。我们将探讨爬虫的构建过程，包括如何发送请求、解析网页、存储数据等关键步骤。同时，还会涉及一些爬虫开发中的注意事项，如如何遵循网站的robots.txt协议、避免被封禁等。

🚀一、网络爬虫详细概述

在这个大数据的时代里，网络信息量变得越来越大、越来越多，此时如果通过人工的方式筛选自己所感兴趣的信息是一件很麻烦的事情，爬虫技术便可以自动高效地获取互联网中的指定信息，因此网络爬虫在互联网中的地位变得越来越重要。

🔎 1. 网络爬虫概述

网络爬虫（又被称为网络蜘蛛、网络机器人，在某些社区中经常被称为网页追逐者），是一种按照指定的规则（网络爬虫的算法）自动浏览或抓取网络中信息的程序。通过Python，可以很轻松地编写爬虫程序或脚本。

在生活中，网络爬虫非常常见，搜索引擎的工作离不开网络爬虫。例如，百度搜索引擎的爬虫名字叫作百度蜘蛛（Baiduspider）。百度蜘蛛是百度搜索引擎的一个自动程序，它每天都会在海量的互联网信息中进行爬取，收集并整理互联网上的网页、图片、视频等信息。然后当用户在百度搜索引擎中输入关键词时，百度会从收集的网络信息中找出相关内容，并按照一定顺序将信息展现给用户。

百度蜘蛛的工作过程中，搜索引擎会构建一个调度程序来调度百度蜘蛛的工作，这些调度程序使用一定的算法来实现。采用不同的算法，爬虫的工作效率和爬取结果会有所不同。因此，在学习爬虫时，不仅需要了解爬虫的实现过程，还需要了解一些常见的爬虫算法。在特定情况下，开发者还需要自己制定相应的算法。

🔎 2. 网络爬虫的分类

网络爬虫可以按照实现的技术和结构分为通用网络爬虫、聚焦网络爬虫和增量式网络爬虫。在实际的网络爬虫应用中，通常是这几类爬虫的组合。下面分别介绍这几类网络爬虫。

🦋2.1 通用网络爬虫

通用网络爬虫又叫作全网爬虫（Scalable Web Crawler），其爬行范围和数量巨大。由于爬取的数据是海量数据，因此对爬行速度和存储空间要求较高。通用网络爬虫在爬行页面的顺序要求上相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，因此需要较长时间才可以刷新一次页面。这种网络爬虫主要应用于大型搜索引擎，有着非常高的应用价值。通用网络爬虫主要由以下部分构成：

  • 初始URL集合
  • URL队列
  • 页面爬行模块
  • 页面分析模块
  • 页面数据库
  • 链接过滤模块

🦋2.2 聚焦网络爬虫

聚焦网络爬虫（Focused Crawler），也叫主题网络爬虫（Topical Crawler），是指按照预先定义好的主题，有选择地进行相关网页爬取的一种爬虫。与通用网络爬虫相比，聚焦网络爬虫不会将目标资源定位在整个互联网中，而是将目标网页定位在与主题相关的页面中。这种爬虫极大地节省了硬件和网络资源，保存的页面数量较少，速度也更快。聚焦网络爬虫主要应用于对特定信息的爬取，为某一类特定的人群提供服务。

🦋2.3 增量式网络爬虫

增量式网络爬虫（Incremental Web Crawler），对应增量式更新。增量式更新指的是在更新时只更新变化的部分，而未改变的部分则不更新。因此，增量式网络爬虫在爬取网页时，只会爬行新产生或发生更新的页面，对于没有发生变化的页面则不会爬取。这样可以有效减少数据下载量，减小时间和空间上的消耗，但在爬行算法上增加了一些难度。

🔎 3. 网络爬虫的基本原理

在这里插入图片描述

网络爬虫的基本工作流程如下：

  1. 获取初始的URL，该URL地址是用户自己制定的初始爬取的网页。
  2. 爬取对应URL地址的网页时，获取新的URL地址。
  3. 将新的URL地址放入URL队列。
  4. 从URL队列中读取新的URL，然后依据新的URL爬取网页，同时从新的网页中获取新的URL地址，重复上述爬取过程。
  5. 设置停止条件。如果没有设置停止条件，爬虫会一直爬取下去，直到无法获取新的URL地址或者达到停止条件后，爬虫将会停止爬取。

🚀二、搭建开发环境

🔎1.安装Anaconda

Anaconda 是一个完全免费的用于大规模数据处理、预测分析和科学计算的工具，不仅集成了 Python 解析器，还包含许多第三方模块，如 requests 模块、Beautiful Soup 模块、lxml 模块等，适合网络爬虫的开发。

  1. 打开浏览器，访问 Anaconda 官方下载页面。

  2. 下载适用于 Windows 系统的安装文件（选择 64-Bit Graphical Installer）。如图 1.2 所示。
    在这里插入图片描述

  3. 下载完成后，双击运行下载的安装文件。在出现的 “Welcome to Anaconda3” 窗口中，单击 Next 按钮。如图 1.3 所示。
    在这里插入图片描述

  4. 在 “License Agreement” 窗口中，单击 I Agree 按钮。如图 1.4 所示。
    在这里插入图片描述

  5. 在 “Select Installation Type” 窗口中，选择 “All Users (requires admin privileges)”，然后单击 Next 按钮。如图 1.5 所示。
    在这里插入图片描述

  6. 在 “Choose Install Location” 窗口中，选择安装路径（建议不要使用中文路径），然后单击 Next 按钮。如图 1.6 所示。
    在这里插入图片描述

  7. 在 “Advanced Installation Options” 窗口中，选中 “Add Anaconda to the system PATH environment variable” 复选框，然后单击 Install 按钮进行安装。如图 1.7 所示。
    在这里插入图片描述

安装过程较长，请耐心等待。安装进度如图 1.8 所示。
在这里插入图片描述

  1. 安装完成后，进入 “Installation Complete” 窗口，单击 Next 按钮。如图 1.9 所示。
    在这里插入图片描述

  2. 在 “Anaconda 与 JetBrains 合作关系推荐使用 PyCharm” 窗口中，单击 Next 按钮。如图 1.10 所示。
    在这里插入图片描述

  3. 在 “Thanks for installing Anaconda3!” 窗口中，根据个人需求选择复选框（笔者选择取消），然后单击 Finish 按钮。如图 1.11 所示。
    在这里插入图片描述

  4. 打开命令提示符窗口，输入 conda list 并按 Enter 键，查看已安装的模块列表。如图所示。
    在这里插入图片描述

🔎2.PyCharm 的下载与安装

PyCharm 是由 JetBrains 公司开发的 Python 集成开发环境，具有智能代码编辑、自动代码格式化、代码完成、智能提示、重构、单元测试、自动导入和一键代码导航等功能。

  1. 打开 PyCharm 官方下载页面。

  2. 选择 Windows 平台，下载 PyCharm Community 版。如图 1.13 所示。
    在这里插入图片描述

  3. 双击 PyCharm 安装包进行安装。在欢迎界面，单击 Next 按钮，如图 1.14 所示。
    在这里插入图片描述

  4. 在 “Choose Install Location” 窗口中选择安装路径（不建议设置在默认的 C 盘），单击 Next 按钮。如图 1.15 所示。
    在这里插入图片描述

  5. 在 “Installation Options” 窗口中，设置桌面快捷方式（选择 64-bit launcher），关联文件（选中 .py 复选框），单击 Next 按钮。如图 1.16 所示。
    在这里插入图片描述

  6. 在 “Choose Start Menu Folder” 窗口中，单击 Install 按钮进行安装。如图 1.17 所示。
    在这里插入图片描述

  7. 安装完成后，在 “Completing PyCharm Community Edition Setup” 窗口中，单击 Finish 按钮。如图 1.18 所示。
    在这里插入图片描述

🔎3.配置 PyCharm

  1. 双击 PyCharm 桌面快捷方式启动 PyCharm 程序。选择是否导入配置文件（选择不导入），单击 OK 按钮。进入阅读协议页，如图 1.19 所示。
    在这里插入图片描述

  2. 在 “Set UI theme” 窗口中，根据个人需求选择主题样式（选择 Light），单击 Next: Featured plugins 按钮。如图 1.20 所示。
    在这里插入图片描述

  3. 在 “Download featured plugins” 窗口中，直接单击 “Start using PyCharm” 按钮，进入欢迎界面。如图 1.21 所示。
    在这里插入图片描述

  4. 在欢迎页，单击 “Create New Project” 创建新工程文件。如图 1.22 所示。
    在这里插入图片描述

  5. 在 “New Project” 窗口中，选择工程文件保存路径，然后单击 Create 按钮。如图 1.23 所示。
    在这里插入图片描述

  6. 工程创建完成后，关闭 “Tip of the Day” 窗口，选择 File -> Settings 选项。如图 1.24 所示。
    在这里插入图片描述

  7. 在 “Settings” 窗口中，选择 Project: demo -> Project Interpreter，在右侧的下拉列表中选择 “Show All…”，打开 “Project Interpreters” 窗口。如图 1.25 所示。
    在这里插入图片描述

  8. 在 “Project Interpreters” 窗口中，单击右侧的 “+” 按钮。如图 1.26 所示。
    在这里插入图片描述

  9. 在 “Add Python Interpreter” 窗口中，选择左侧的 “System Interpreter” 选项，然后在右侧的下拉列表中选择 Anaconda 中的 python.exe，单击 OK 按钮。如图 1.27 所示。
    在这里插入图片描述

  10. 返回 “Project Interpreters” 窗口，选择新添加的 Anaconda 中的 python.exe 编译器，单击 OK 按钮。如图 1.28 所示。
    在这里插入图片描述

  11. 返回 “Settings” 窗口，此时将自动显示 Anaconda 内已安装的所有 Python 模块，单击 OK 按钮。如图 1.29 所示。
    在这里插入图片描述

🔎4.测试 PyCharm

  1. 右击新建好的 demo 项目，在弹出的快捷菜单中选择 New -> Python file 命令（必须选择 Python file 项，这个至关重要），如图 1.30 所示。
    在这里插入图片描述

  2. 在新建文件对话框中输入文件名 hello_world，按 Enter 键完成新建 Python 文件工作。如图 1.31 所示。
    在这里插入图片描述

  3. 在代码编辑区输入代码：

    print("hello world!")

    如图 1.32 所示。
    在这里插入图片描述

  4. 右击代码编辑区，在弹出的快捷菜单中选择 Run 'hello_world' 命令，运行测试代码。如图 1.33 所示。
    在这里插入图片描述

  5. 如果程序代码没有错误，将显示运行结果，如图 1.34 所示。
    在这里插入图片描述

相关文章：

【愚公系列】《Python网络爬虫从入门到精通》001-初识网络爬虫

标题详情作者简介愚公搬代码头衔华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主&…...

编程日记 2026/4/25 4:52:06

Kubernetes控制平面组件：etcd（一）

云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）kubectl 和 …...

编程日记 2026/4/16 3:03:39

2100年芜湖人的一天：张明的生活剪影

2100年芜湖人的一天：张明的生活剪影 破晓 6:30 "沙沙"的微风声轻轻掠过耳畔，杨柳的沙沙声混合着若有若无的鸟鸣，张明的意识从深邃的梦境中缓缓浮现。这并非真实的自然声响，而是他的脑机接口精心编织的唤醒交响曲。量子…...

编程日记 2026/2/22 13:19:33

外贸网站源码 助力企业抢占蛇年市场先机！

在竞争激烈的外贸市场中，蛇年无疑是企业寻求突破与增长的关键一年。外贸网站源码为企业提供了快速搭建专业外贸网站的解决方案，助力企业在新的一年抢占市场先机。 快速上线 时间就是商机，尤其是在蛇年这样充满变数和机遇的年份。外贸网站源码…...

编程日记 2026/4/22 9:24:04

verilog练习：i2c slave 模块设计

文章目录 前言1.结构2.代码2.1 iic_slave.v2.2 sync.v2.3 wr_fsm.v2.3.1 状态机状态解释 2.4 ram.v 3. 波形展示4. 建议5. 资料总结 前言 首先就不啰嗦iic协议了，网上有不少资料都是叙述此协议的。 下面将是我本次设计的一些局部设计汇总，如果对读者有…...

编程日记 2026/4/11 21:16:50

项目6：基于大数据校园一卡通数据分析和可视化

1、项目简介 本项目是基于大数据的清华校园卡数据分析系统，通过Hadoop，spark等技术处理校园卡交易、卡号和商户信息数据。系统实现消费类别、男女消费差异、学院消费排行和年级对比等分析，并通过Web后端和可视化前端展示结果。项目运行便捷&…...

编程日记 2026/4/11 21:14:29

Linux常见系统日志类型

目录 系统日志（/var/log/syslog 或 /var/log/messages） 认证日志（/var/log/auth.log 或 /var/log/secure） Web服务器日志（/var/log/apache2/ 或 /var/log/nginx/） MySQL日志（/var/log/mysql/…...

编程日记 2026/4/21 7:42:19

npm 常用命令大全

npm 常用命令大全 下载包 npm install清理缓存 npm cache clean --force查看当前配置 npm config get registry设置淘宝镜像 npm config set registry https://registry.npmmirror.com查看 npm 版本 npm -vnpm 设置超时时间 npm config set fetch-timeout 600更新依赖 …...

编程日记 2026/2/24 8:39:14

java.io.InvalidClassException

类实现序列问题 如果实现了序列，最好生成序列号，因为类结构发生改变时，会报错 java.io.InvalidClassException 所以实现序列，需要生成序列号 private static final long serialVersionUID 1L;...

编程日记 2026/2/23 16:11:11

Datawhale 组队学习 Ollama教程 task1

一、Ollama 简介 比喻：Ollama 就像是一个“魔法箱子”，里面装满了各种大型语言模型（LLM）。你不需要懂复杂的魔法咒语（配置），只需要轻轻一按（一条命令），就能让…...

编程日记 2026/4/24 19:57:49

大模型基本原理（二）——ChatGPT的工作原理

如何得到一个ChatGPT？ 1、无监督预训练：通过大量的文本数据集进行无监督训练，得到一个基座模型（只会续写文本） 2、监督微调：通过一些人类撰写的高质量对话数据对基座模型进行监督微调，得到一个…...

编程日记 2026/4/26 12:30:38

成为高能量体质：从身体神庙到精神圣殿的修炼之路

清晨五点，当城市还在沉睡，瑜伽垫上的汗水已经折射出第一缕阳光。这不是苦行僧的自虐，而是高能量体质者的日常仪式。在这个能量稀缺的时代，如何把自己修炼成一座小型核电站？答案就藏在身体的每个细胞里。 一、能量管理…...

编程日记 2026/4/11 11:06:28

51c自动驾驶~合集50

我自己的原文哦~ https://blog.51cto.com/whaosoft/13280022 #VLA 主流方案全解析 旨在让智能体在物理世界中通过感知、决策和行动来实现目标，而视觉 - 语言 - 动作（VLA）模型作为其中的关键技术，近年来备受关注。VLA 模型能够…...

编程日记 2026/4/26 5:12:12

测试自动化落地方向

一、视觉回归自动化测试（低成本高回报） 痛点： UI 频繁迭代导致视觉问题难覆盖 方案： 引入Applitools或SikuliX做视觉比对（无需维护元素定位） 关键路径截图比对，自动检测 UI 错位/样式问题 亮点…...

编程日记 2026/4/2 3:56:45

论文阅读：MGMAE : Motion Guided Masking for Video Masked Autoencoding

MGMAE:Motion Guided Masking for Video Masked Autoencoding Abstract 掩蔽自编码（Masked Autoencoding）在自监督视频表示学习中展现了出色的表现。时间冗余导致了VideoMAE中高掩蔽比率和定制的掩蔽策略。本文旨在通过引入运动引导掩蔽策略&#xff0…...

编程日记 2026/4/11 23:34:36

【嵌入式Linux应用开发基础】文件I/O基础编程

目录 一、文件I/O简介 二、文件描述符 2.1. 唯一性 2.2. 抽象性 2.3. 有限性 三、文件操作函数 四、标准文件I/O函数 五、文件执行权限 5.1. 权限类型 5.2. 权限分配对象 5.3. 权限表示方法 5.4. 权限设置命令 5.5. 权限设置的重要性 5.6. 实例说明 六、设备文件…...

编程日记 2026/4/20 19:11:07

Java 反射机制的安全隐患与防范措施：在框架开发与代码审计中的应用

前言 在 Java 编程的广阔领域中，反射机制堪称一把神奇且强大的钥匙，它为开发者打开了通往动态编程的全新大门。借助反射，Java 程序获得了在运行时自我审视和操作的独特能力，极大地增强了代码的灵活性与适应性。 简单来讲&#x…...

编程日记 2026/3/7 7:16:12

【JS】实现一个hexo插件并发布

hexo插件生成 在你的 hexo blog 目录，找到 node_modules. 新建一个文件夹。然后执行 npm init npm 会引导你生成 package.json 这是你的包的描述文件。需要注意的是，所有的 hexo 插件必须以 hexo - 开头，否则 hexo 不会加载。 如果hexo g中没…...

编程日记 2026/4/11 21:17:29

【Java 面试 八股文】MySQL 篇

MySQL 篇 1. MySQL中，如何定位慢查询？2. 那这个SQL语句执行很慢，如何分析呢？3. 了解过索引吗？（什么是索引）4. 索引的底层数据结构了解过吗？5. B树和B树的区别是什么呢？6.…...

编程日记 2026/4/11 21:16:25

ES6 Proxy 用法总结以及 Object.defineProperty用法区别

Proxy 是 ES6 引入的一种强大的拦截机制，用于定义对象的基本操作（如读取、赋值、删除等）的自定义行为。相较于 Object.defineProperty，Proxy 提供了更灵活、全面的拦截能力。 1. Proxy 语法 const proxy new Proxy(target, hand…...

编程日记 2026/4/10 5:30:06

vue中使用高德地图自定义掩膜背景结合threejs

技术架构 vue3高德地图2.0threejs 代码步骤 这里我们就用合肥市为主要的地区，将其他地区扣除，首先使用高德的webapi的DistrictSearch功能，使用该功能之前记得检查一下初始化的时候是否添加到plugins中，然后搜索合肥市的行政数据…...

编程日记 2026/4/11 23:21:46

tomcat如何配置保存7天滚动日志

在 Tomcat 中，logging.properties 文件是用于配置 Java 日志框架（java.util.logging）的。若要实现 catalina.out 日志保存 7 天，且每天的日志文件名带有时间戳，可以按以下步骤进行配置： 1. 备份原配置 在修…...

编程日记 2026/4/14 10:26:22

ffmpeg -pix_fmts

1. ffmpeg -pix_fmts -loglevel quiet 显示ffmpeg支持的像素格式 2. 输出 选取部分输出结果 Pixel formats: I.... Supported Input format for conversion .O... Supported Output format for conversion ..H.. Hardware accelerated format ...P. Paletted format ..…...

编程日记 2026/4/14 10:26:13

Python----PyQt开发（PyQt高级：图像显示，定时器，进度条）

一、图像显示 1.1、增加图标 1.直接创建setWindowIcon(QIcon(灯泡.jpg)) import sys from PyQt5.QtWidgets import QApplication, QMainWindow, QPushButton from PyQt5.QtGui import QIconclass MainWindow(QMainWindow):def __init__(self):super(MainWindow, self).__init_…...

编程日记 2026/4/11 21:22:03

Tomcat添加到Windows系统服务中，服务名称带空格

要将Tomcat添加到Windows系统服务中，可以通过Tomcat安装目录中“\bin\service.bat”来完成，如果目录中没有service.bat，则需要使用其它方法。 打到CMD命令行窗口，通过cd命令跳转到Tomcat安装目录的“\bin\”目录，然后执…...

编程日记 2026/4/26 2:27:27

2025.2.10 每日学习记录3：技术报告只差相关工作+补实验

0.近期主任务线 1.完成小论文准备 目标是3月份完成实验点1的全部实验和论文。 2.准备教资笔试 打算留个十多天左右，一次性备考笔试的三个科目 1.实习申请技术准备：微调、Agent、RAG 据央视财经，数据显示，截至2024年12月…...

编程日记 2026/4/26 6:57:08

普通用户授权docker使用权限

1、检查docker用户组 sudo cat /etc/group |grep docker 若显示：docker:x:999: # 表示存在否则创建docker用户组： sudo groupadd docker2、查看 /var/run/docker.sock 的属性 ll /var/run/docker.sock 显示： srw-rw---- 1 root root 0 1月…...

编程日记 2026/3/3 2:25:48

微生物学术语和定义 | 微生物学词汇表

​ 微生物学作为一门研究微生物及其与环境、宿主和其他生物相互作用的科学，涵盖了广泛的学科领域和专业术语。然而，由于微生物学的快速发展和跨学科融合，许多术语的定义和使用在不同领域中可能存在差异甚至混淆。 随着新冠疫情的全球蔓延&am…...

编程日记 2026/4/20 23:00:22

Java集合List详解（带脑图）

允许重复元素，有序。常见的实现类有 ArrayList、LinkedList、Vector。 ArrayList ArrayList 是在 Java 编程中常用的集合类之一，它提供了便捷的数组操作，并在动态性、灵活性和性能方面取得了平衡。如果需要频繁在中间插入和删除元素&#xf…...

编程日记 2026/4/23 18:20:00

后盾人JS -- 异步编程，宏任务与微任务

异步加载图片体验JS任务操作 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title&g…...

编程日记 2026/2/21 10:25:30