当前位置： 首页 > news >正文

《0基础》学习Python——第十八讲__爬虫/＜1＞

news 2025/9/16 20:25:15

一、什么是爬虫

        爬虫是一种网络数据抓取的技术。通过编写程序（通常使用Python），爬虫可以自动化地访问网页，解析网页内容并提取出所需的数据。爬虫可以用于各种用途，如搜索引擎的索引，数据分析和挖掘，以及自动化任务的执行等。爬虫可以模拟人类用户的行为，例如点击链接、填写表单或提交请求，以获取所需的数据。

二、爬虫的基本流程

  1. 目标确定：确定需要爬取的网站或数据，并分析目标网站的结构和规则。

  2. 发起请求：使用HTTP协议发起请求，获取目标网页的内容。可以使用Python中的requests库、urllib库等发送GET或POST请求。

  3. 解析内容：对获取到的网页内容进行解析，提取出需要的数据。常用的解析库有BeautifulSoup、lxml等，可以根据网页的HTML结构进行定位和提取。

  4. 数据处理：对爬取到的数据进行清洗、整理和处理，例如去除空白字符、格式转换等。

  5. 存储数据：将处理后的数据保存到本地文件或数据库中，以备后续使用。可以使用Python中的文件操作、数据库操作等技术。

  6. 循环爬取：根据需要，可以设定爬虫程序的循环，持续爬取更多的数据。可以设置爬取频率、爬取深度等参数。

  7. 反爬处理：针对一些网站的反爬措施，可以通过设置请求头部、使用代理IP、UA伪装等方式来绕过限制或识别。

  8. 异常处理：对于网络请求或解析过程中出现的异常，需要进行相应的异常处理，例如设置重试机制、记录日志等。

三、基础知识

1、什么是URL

        URL是统一资源定位符（Uniform Resource Locator）的缩写，它是互联网上标识资源的地址。URL指定了在互联网上的资源的位置和访问方式。通常，URL由多个组成部分组成，包括协议（例如HTTP或HTTPS）、主机名（例如www.example.com）、端口号（可选）、路径和查询参数等。通过URL，我们可以在浏览器中打开网页，访问网站和下载文件等。例如，"https://www.example.com/index.html"就是一个URL，指定了一个使用HTTPS协议，主机名为www.example.com，路径为/index.html的网页。

例如在浏览器打开一个网页，点击键盘F12即可查看网页源码

如上即可找到网页的URL

2、统一资源定位符 uniform resource locator：

        1、http: 超文本传输协议 HyperText Transfer Protocol 默认端口 80

                是一种用于在计算机网络中传输超媒体文档的应用层协议。它是一种客户端-服务器协议，客户端发起请求，服务器响应请求，并传输超文本（如HTML）和其他资源（如图像、音频、视频等）。HTTP使用TCP作为传输协议，通常使用端口号80。它基于请求-响应模型，客户端发送HTTP请求到服务器，服务器根据请求返回相应的HTTP响应。HTTP请求通常包括请求方法（如GET、POST等）、URL、请求头和请求体等信息，而HTTP响应包含响应状态码、响应头和响应体等信息。

        2、https: 安全的超文本传输协议 security 默认端口 443
        3、www.example.com 域名

                用于标识和定位互联网上特定的计算机或网站的名称。它是由一串用点分隔的字符组成，例如“example.com”。域名主要作为人类可读的标识符，用于代替IP地址来访问网站。

                在域名系统（Domain Name System，DNS）中，域名被映射到相应的IP地址。当用户在浏览器中输入一个域名时，浏览器会向DNS服务器发送请求，获取该域名对应的IP地址，然后使用该IP地址与网站建立连接，并获取网页内容。

                域名通常由多个级别的标签组成，从右到左依次表示不同级别的名称。例如，在域名“www.example.com”中，com是顶级域名，example是二级域名，而www是子域。

        4、80 端口 port

                端口号（Port Number）是在计算机网络中用于标识特定服务或应用程序的数字。它是一个16位的整数，范围从0到65535。端口号与IP地址组合在一起，用于唯一标识网络中的每个应用程序或服务。

        5、/path/to/myfile.html 资源路径
        6、?key1=value1&key2=value2 参数 & 表示多个参数的拼接
        7、#    锚点

                锚点（Anchor）是用于网页内部导航的一种技术。它是通常在HTML文档中添加的一个标记，用于将浏览器的视口定位到页面的特定位置。

                当页面较长或包含大量内容时，使用锚点可以方便用户直接跳转到页面中感兴趣的部分，而无需手动滚动页面。锚点通常与超链接（<a>标签）结合使用，用户点击超链接时，浏览器会自动滚动到与锚点对应的位置。

四、前端代码

主要构成标签

<!DOCTYPE html> 声明为 HTML5 文档
<html>..</html> 是网页的根元素
<head>..</head> 元素包含了文档的元（meta）数据，如 <meta charset="utf-8"> 定义网页编码格式为 utf-8。
<title>..<title> 元素描述了文档的标题
<body>..</body> 表示用户可见的内容
<div>..</div> 表示框架
<p>..</p> 表示段落
<ul>..</ul> 定义无序列表
<ol>..</ol>定义有序列表
<li>..</li>表示列表项
<img src="" alt="">表示图片
<h1>..</h1>表示标题
<a href="">..</a>表示超链接

        有如下前段代码

<!DOCTYPE html>
<html><head><!-- 内嵌样式 --><style type="text/css">body{background-color:yellow;}p{font-size: 30px;color: springgreen;}</style><meta charset="utf-8"><title>兰智数加学院</title></head><body><a href="www.anhuisjxy.com">点击访问</a><h1>兰智数加www.anhuisjxy.com</h1><h2>Python爬虫</h2><div><p>认识网页结构</p><ul><li>HTML</li><li>CSS</li></ul></div></body>
</html>
  • <!DOCTYPE html>：声明文档类型为HTML。
  • <html>：HTML文档的根元素。
  • <head>：文档的头部，用于定义文档的元数据和引入外部资源。
    • <style>：内嵌样式，用于定义页面的样式。
    • <meta charset="utf-8">：字符编码设置为UTF-8，以支持显示中文字符。
    • <title>：定义页面的标题。
  • <body>：文档的主体部分，包含了页面的实际内容。
    • <a href="www.anhuisjxy.com">点击访问</a>：超链接标签，点击时会打开链接目标为"www.anhuisjxy.com"的页面。
    • <h1>：级别最高的标题标签，显示文本"兰智数加www.anhuisjxy.com"。
    • <h2>：次级标题标签，显示文本"Python爬虫"。
    • <div>：分割页面的容器。
      • <p>：段落标签，显示文本"认识网页结构"。
      • <ul>：无序列表标签。
        • <li>：列表项标签，显示文本"HTML"和"CSS"。

五、爬虫安装request

1、安装request包

计算机长按win+R，输入cmd，将以下代码输入进去即可

pip install requests

2、pip 永久更换信号源，pip安装模块速度太慢可以更换镜像源使用国内别人下载好的资源

pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/
pip config set install.trusted-host pypi.mirrors.ustc.edu.cn

六、get、post请求

  1. GET请求：

    用于从服务器获取数据，通过将参数附加到URL的末尾传递数据。在GET请求中，参数以键值对的形式出现在URL中，例如：http://example.com/path?param1=value1&param2=value2。GET请求的特点包括：
    1. GET请求可被浏览器缓存，可以被浏览器历史记录记录下来。
    2. GET请求可以被缓存，可以被收藏为书签。
    3. 参数有长度限制，一般不超过URL的最大长度限制（通常为2048个字符）。
    4. 数据通过URL传递，可见于URL地址栏。

  2. POST请求：

    1. 用于向服务器提交数据，通过请求体传递数据。在POST请求中，参数以键值对的形式出现在请求体中，而不是URL中。POST请求的特点包括：
      1. POST请求不会被缓存，不会被浏览器历史记录记录。
      2. 参数没有长度限制，可以传递大量数据。
      3. 数据不会出现在URL中，对安全性要求较高。

如下图查看URL、get请求\post请求，以及content-type，具体过程联系本文最上面一张图

content-type：

        Content-Type字段由一个主类型（比如"text"、"image"、"application"等）和一个子类型（如"plain"、"html"、"json"等）组成，用斜杠分隔。常见的Content-Type类型包括：

  • text/plain：纯文本
  • text/html：HTML文档
  • text/css：CSS样式表
  • application/json：JSON数据
  • application/x-www-form-urlencoded：表单数据
  • multipart/form-data：通过表单上传文件
  • image/jpeg：JPEG图片
  • audio/mp3：MP3音频
  • video/mp4：MP4视频

UA伪装

        User-Agent：UA伪装是一种技术手段，用于欺骗服务器或网站，使其认为请求来自于不同的设备或浏览器。UA指的是用户代理，是HTTP请求头部中的一个字段，用于标识发送请求的客户端信息，包括设备类型、操作系统、浏览器等。

可以从下列图片查看：即将右侧滚轮拉到最底下，然后在最后一条就是User-Agent

相关文章：

《0基础》学习Python——第十八讲__爬虫/＜1＞

一、什么是爬虫 爬虫是一种网络数据抓取的技术。通过编写程序&#xff08;通常使用Python&#xff09;&#xff0c;爬虫可以自动化地访问网页&#xff0c;解析网页内容并提取出所需的数据。爬虫可以用于各种用途&#xff0c;如搜索引擎的索引&#xff0c;数据分析和挖掘&#x…...

编程日记 2024/7/26 3:24:34

NFTScan 浏览器现已支持 .mint 域名搜索功能！

近日&#xff0c;NFT 数据基础设施 NFTScan 浏览器现已支持用户输入 .mint 域名进行 Mint Blockchain 网络钱包地址的搜索查询&#xff0c; NFTScan 用户能够轻松地使用域名追踪 NFT 交易&#xff0c;为 NFT 钱包地址相关的搜索查询功能增加透明度和便利性。 NFTScan explorer…...

编程日记 2024/7/26 3:23:33

Git基本原理讲解、常见命令、Git版本回退、Git抛弃本地分支拉取仓库最新分支

借此机会写篇博客汇总一下自己去公司实习之后遇到的一些常见关于Git的操作。 Git基本认识 Git把数据看作是对小型文件系统的一组快照&#xff0c;每次提交更新&#xff0c;或在Git中保存项目状态时&#xff0c;Git主要对当时的全部文件制作一个快照并保存这个快照的索引。同时…...

编程日记 2024/7/26 3:22:32

前端网页打开PC端本地的应用程序实现方案

最近开发有一个需求&#xff0c;网页端有个入口需要跳转三维大屏&#xff0c;而这个大屏是一个exe应用程序。产品需要点击这个入口&#xff0c;并打开这个应用程序。这个就类似于百度网盘网页跳转到PC端应用程序中。 这里我们采用添加自定义协议的方式打开该应用程序。一开始可…...

编程日记 2024/7/26 3:21:30

遇到not allow unquoted fieldName怎么办

前言 Exception in thread "main" com.alibaba.fastjson2.JSONException: not allow unquoted fieldName, offset 2, character , line 1, column 3, fastjson-version 2.0.25 { "data":null, "code":200, "msg":"成功"…...

编程日记 2024/7/26 3:19:27

IDEA安装并使用通义灵码

IDEA安装并使用通义灵码 通义灵码介绍安装通义灵码 通义灵码介绍 在数字革命的前沿&#xff0c;阿里云技术团队匠心独运&#xff0c;倾力打造“通义灵码”——一个融合尖端科技的智能编码助手&#xff0c;旨在革新软件工程的未来。 实时代码扩展 通义灵码具备深度理解代码脉络的…...

编程日记 2024/7/26 3:18:27

＜数据集＞AffectNet表情识别数据集＜目标检测＞

数据集格式&#xff1a;VOCYOLO格式 图片数量&#xff1a;29752张 标注数量(xml文件个数)&#xff1a;29752 标注数量(txt文件个数)&#xff1a;29752 标注类别数&#xff1a;7 标注类别名称&#xff1a;[anger,contempt,disgust,fear,happy,neutral,sad,surprise] 序号类…...

编程日记 2024/7/26 3:17:25

ThinkPHP对接易联云打印

引入composer包 composer require yly-openapi/yly-openapi-sdk <?phpnamespace app\common\library;use app\admin\model\yp\Order; use App\Api\PrintService; use App\Config\YlyConfig; use App\Oauth\YlyOauthClient; use think\Cache; use think\Config;class Yly {…...

编程日记 2024/7/26 3:14:21

JavaScript轮播图

HTML部分 <div class"box" onmouseover"over()" onmouseout"noover()"><img src"./img/zuo.png" alt"" class"left_arrow" onclick"left_last()"><img src"./img/yy.png" al…...

编程日记 2024/7/26 3:13:20

修复SteamUI.dll加载失败的指南，快速修复failed to load steamui.dll

在使用Steam平台进行游戏下载、安装和运行时&#xff0c;可能会遇到一些系统错误&#xff0c;比如“failed to load steamui.dll”。这个错误通常意味着Steam的用户界面库文件steamui.dll出现了问题。本文将详细介绍steamui.dll文件的相关信息以及如何修复这一问题。 一.什么是…...

编程日记 2024/7/26 3:11:18

PCL Local Surface Patches 关键点提取

目录 一、算法原理1、算法原理2、 参考文献二、代码实现三、结果展示本文由CSDN点云侠原创，原文链接。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫与GPT。 一、算法原理 1、算法原理 主曲率是某一点局部形状的体现，Local Surface Patches 关键点检测法…...

编程日记 2024/7/26 3:09:15

Vue与ASP.NET Core Web Api设置localhost与本地ip地址皆可访问

Vue的设置 我们创建并启动一个Vue项目&#xff0c;如下所示&#xff1a; 打开cmd&#xff0c;输入ipconfig查询本地ip地址&#xff1a; 想通过本地ip地址访问&#xff0c;把localhost改成本地ip地址&#xff0c;发现打不开&#xff1a; 这是因为Vue项目默认只有localhost&…...

编程日记 2024/7/26 3:08:13

Android 线程池的面试题 线程线程池面试题

1.为什么要用线程池 降低资源消耗&#xff1a;通过复用线程&#xff0c;降低创建和销毁线程的损耗。 提高响应速度&#xff1a;任务不需要等待线程创建就能立即执行。 提高线程的可管理性&#xff1a;使用线程池可以进行统一的分配、调优和监控。 2. 线程池执行流程&#xff08…...

编程日记 2024/7/26 3:06:11

Flink时间和窗口

目录 时间语义 水位线&#xff08;Watermarks&#xff09; 并行流中的水位线 窗口 滚动窗口—Tumbling Windows 滑动窗口—Sliding Windows 会话窗口—Session Windows 全局窗口—Global Windows 例子 时间语义 如图所示&#xff0c;由事件生成器&#xff08;Event Pr…...

编程日记 2024/7/26 3:00:05

LLaMA模型量化方法优化:提高性能与减小模型大小

LLaMA模型量化方法优化:提高性能与减小模型大小 LLaMA模型量化方法优化:提高性能与减小模型大小引言新增量化方法性能评估7B模型13B模型 结果分析结论 LLaMA模型量化方法优化:提高性能与减小模型大小 引言 在大型语言模型(LLM)的应用中,模型大小和推理速度一直是关键的挑战。…...

编程日记 2024/7/26 2:54:59

前端CSS实现卡片抽奖效果

引言 在网页设计中&#xff0c;互动元素能够显著提升用户体验&#xff0c;吸引用户的注意力。其中&#xff0c;卡片抽奖效果常用于营销活动、游戏或娱乐场景&#xff0c;通过随机展示不同的卡片来增加趣味性和参与度。本文将详细介绍如何使用HTML和CSS来实现一个简单的卡片抽奖…...

编程日记 2024/7/26 2:52:58

Java在for循环中修改集合

前天看到一篇文章什么&#xff1f;for循环也会出问题&#xff1f;&#xff0c;里面涉及到在for循环中修改集合&#xff0c;想起来自己刚入行的时候就碰到过类似的问题&#xff0c;于是复现了一下文章中的问题&#xff0c;并试验了其它在循环中修改集合的方法。 底层原理参考什…...

编程日记 2024/7/26 2:49:55

Java小白入门到实战应用教程-运算符详解

Java小白入门到实战应用教程-运算符 上节回顾 在上节的内容中我们了解了变量和基本数据类型的内容&#xff0c;现在回顾一下上节课的内容。 声明变量的语法为&#xff1a; 数据类型 变量名&#xff1b; 其中在java中一共有8中基本数据类型&#xff0c;分别是&#xff1a;b…...

编程日记 2024/7/26 2:46:51

secureCRT同时在所有已打开窗口执行命令、mac-os下使用的SecureCRT版本 以及 SecureCRT一段时间不操作没有响应的问题

一、secureCRT命令行工具一次性同时在所有已打开窗口执行命令 公司的服务器比较多&#xff0c;最近因为opcache&#xff0c;上线发布后&#xff0c;需要重启所有的WEB服务器上的php。目前使用的jenkins发布&#xff0c;不过账号安全问题&#xff0c;给jenkins的账号权限受限不能…...

编程日记 2024/7/26 2:44:49

增材制造与智能制造关系

在撰写的增材制造技术与装备书籍中有着明确的描述&#xff0c;增材制造是智能制造的典型范例&#xff0c;是智能制造“类”的实例化过程。这种借助于计算机编程面向对象思想的解释可以更全面的理解增材制造和智能制造的关系。增材制造实例具备了智能制造类的属性&#xff0c;智…...

编程日记 2024/7/26 2:42:47

使用VSCode开发Django指南

使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架&#xff0c;专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用&#xff0c;其中包含三个使用通用基本模板的页面。在此…...

编程新知 2025/9/14 10:33:45

超短脉冲激光自聚焦效应

前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应&#xff0c;这是一种非线性光学现象&#xff0c;主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场&#xff0c;对材料产生非线性响应&#xff0c;可能…...

编程新知 2025/9/15 5:16:46

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误&#xff0c;它们的含义、原因和解决方法都有显著区别。以下是详细对比&#xff1a; 1. HTTP 406 (Not Acceptable) 含义&#xff1a; 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/9/16 1:45:34

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框&#xff0c;很难让人不联想到SQL注入&#xff0c;但提示都说了不是SQL注入&#xff0c;所以就不往这方面想了 ​ 先查看一下网页源码&#xff0c;发现一段JavaScript代码&#xff0c;有一个关键类ctfs…...

编程新知 2025/9/16 1:45:49

Opencv中的addweighted函数

一.addweighted函数作用 addweighted&#xff08;&#xff09;是OpenCV库中用于图像处理的函数&#xff0c;主要功能是将两个输入图像&#xff08;尺寸和类型相同&#xff09;按照指定的权重进行加权叠加&#xff08;图像融合&#xff09;&#xff0c;并添加一个标量值&#x…...

编程新知 2025/9/11 8:42:09

《用户共鸣指数（E）驱动品牌大模型种草：如何抢占大模型搜索结果情感高地》

在注意力分散、内容高度同质化的时代&#xff0c;情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现&#xff0c;消费者对内容的“有感”程度&#xff0c;正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中&#xff0…...

编程新知 2025/9/14 12:35:12

Android第十三次面试总结（四大 组件基础）

Activity生命周期和四大启动模式详解 一、Activity 生命周期 Activity 的生命周期由一系列回调方法组成&#xff0c;用于管理其创建、可见性、焦点和销毁过程。以下是核心方法及其调用时机&#xff1a; ​onCreate()​​ ​调用时机​&#xff1a;Activity 首次创建时调用。​…...

编程新知 2025/9/13 10:07:19

算法岗面试经验分享-大模型篇

文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer &#xff08;1&#xff09;资源 论文&a…...

编程新知 2025/9/3 16:32:53

在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案

这个问题我看其他博主也写了&#xff0c;要么要会员、要么写的乱七八糟。这里我整理一下&#xff0c;把问题说清楚并且给出代码&#xff0c;拿去用就行&#xff0c;照着葫芦画瓢。 问题 在继承QWebEngineView后&#xff0c;重写mousePressEvent或event函数无法捕获鼠标按下事…...

编程新知 2025/6/11 3:07:32

MyBatis中关于缓存的理解

MyBatis缓存 MyBatis系统当中默认定义两级缓存&#xff1a;一级缓存、二级缓存 默认情况下&#xff0c;只有一级缓存开启&#xff08;sqlSession级别的缓存&#xff09;二级缓存需要手动开启配置&#xff0c;需要局域namespace级别的缓存 一级缓存&#xff08;本地缓存&#…...

编程新知 2025/9/9 10:08:24