当前位置： 首页 > news >正文

爬虫基础（下）

news 2026/5/20 8:52:27

requests模块可以用来获取网络数据；

那么对于爬虫来说，要获取下图网页中的内容，就需要网页的URL。

复制链接方法是，打开网页，点击链接框，右键选择复制。

requests.get()函数可用于模拟浏览器请求网页的过程，在Python语言中使用该函数，就能够获取网页数据。

get()函数中传入要访问网页的URL，就像浏览器打开URL一样。

（1）获取网页内容的步骤

（2）代码实现

# 使用import导入requests模块
import requests# 将网页链接赋值给url
url = "https://*****************/"# 使用requests.get()方法获取url的内容，将结果赋值给response
response = requests.get(url)# 输出response
print(response)

返回的response对象，就是响应消息；

（3）获取状态码

在浏览器中查看Response Headers中的信息就能够找到status:200，状态码200代表此次请求执行成功。

使用.status_code属性就可以查看状态码，这里输出的状态码数据类型是整型

import requestsurl = "https://nocturne-spider.baicizhan.com/2020/07/29/example-post-3/"response = requests.get(url)statusCode = response.status_codeprint(statusCode)

而只有状态码返回为200时，才能够成功获取到网页内容。

为满足上面的运行逻辑，我们要使用条件判断语句if..else先判断状态码，当状态码等于200时，再进行下一步操作。


if response.status_code == 200:print(response.status_code)else:print("请求数据失败")

（4）提取信息，获取内容

通过请求URL，获取到了Web服务器返回的信息，

要用.text属性，该属性能够将获取到的信息提取出来。

网页内容多，我们可以用切片（遵循左闭右开，将字符串进行分割）方法，输出前1000个字符；

if response.status_code == 200:content = response.text[:1000]print(content)else：print("请求数据失败")

（5）HTML

刚刚输出的内容是HTML语言，它是由许多的标签组成，这些标签构成网页的内容；

这个就是类似输出的HTML语言

<!DOCTYPE html>
<html lang="zh-CN">
<head><meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 5.1.1"><link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png"><link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png"><link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png"><link rel="mask-icon" href="/images/logo.svg" color="#222"><link rel="stylesheet" href="/css/main.css"><link rel="stylesheet" href="/lib/font-awesome/css/all.min.css">

（5）总结

HTML是构成网页的标记语言。

URL指定了要访问文档的具体地址。

HTTP协议规定了文档的传递方式。

爬虫就是根据URL，通过HTTP协议去获取HTML内容。

相关文章：

爬虫基础（下）

requests模块可以用来获取网络数据&#xff1b; 那么对于爬虫来说&#xff0c;要获取下图网页中的内容&#xff0c;就需要网页的URL。 复制链接方法是&#xff0c;打开网页&#xff0c;点击链接框&#xff0c;右键选择复制。 requests.get()函数可用于模拟浏览器请求网页的过…...

编程日记 2024/2/23 5:13:45

【八股文面试】Java基础常见面试题总结(上)

Java基础常见面试题总结(上) Java有哪些特性 简单易学&#xff1b;面向对象&#xff08;封装&#xff0c;继承&#xff0c;多态&#xff09;&#xff1b;平台无关性&#xff08; Java 虚拟机实现平台无关性&#xff09;&#xff1b;支持多线程&#xff08; C 语言没有内置的多…...

编程日记 2024/2/23 5:12:43

c++:蓝桥杯的基础算法2（构造，模拟）+练习巩固

目录 构造 构造的基础概念&#xff1a; 模拟 练习1&#xff1a;扫雷 练习2&#xff1a;灌溉 练习3&#xff1a;回文日期 构造 构造的基础概念&#xff1a; 构造算法是一种用于解决特定问题的算法设计方法。在C语言中&#xff0c;构造算法通常涉及到创建一个函数或类来实…...

编程日记 2024/2/23 5:11:41

C++ 和 C#的区别

如是我闻&#xff1a; C#&#xff08;发音为 “C sharp”&#xff09;和C是两种流行的编程语言&#xff0c;它们各有特点和用途。下面是这两种语言的一些主要区别&#xff1a; 设计理念和用途: C: 是一种多范式编程语言&#xff0c;支持过程化编程、面向对象编程、泛型编程等。…...

编程日记 2024/2/23 5:08:36

2.14日学习打卡----初学Zookeeper(一)

2.14日学习打卡 目录: 2.14日学习打卡Zookeeper概念一. 集中式到分布式单机架构集群架构什么是分布式三者区别 二. CAP定理分区容错性一致性可用性一致性和可用性的矛盾一致性和可用性如何选择 三. 什么是Zookeeper分布式架构Zookeeper从何而来Zookeeper介绍 四. 应用场景数据发…...

编程日记 2024/2/23 5:07:35

SkyWalking之APM无侵入可观测原理分析

一、 简介&#xff08;为什么需要用到可观测能力&#xff09; 随着微服务的开发模式的兴起&#xff0c;早期的单体架构系统已拆分为很多的子系统&#xff0c;各个子系统封装为微服务&#xff0c;各服务间通过HTTP协议RESET API或者RPC协议进行调用。 在单体服务或者微服务较少的…...

编程日记 2024/2/23 5:04:30

Missing artifact org.yaml:snakeyaml:jar:1.29

关于导入本地maven项目pom.xml出现missing artifact org....报错处理 环境变量配置maven&#xff0c;eclipse中配置maven&#xff0c;重启eclipse。...

编程日记 2024/2/23 5:03:29

三opencv源码解压及环境变量配置

1.双击opencv-3.4.6-vc14-vc15.exe 2.选择解压的路径&#xff0c;点击【extract】 3.设计环境变量...

编程日记 2024/2/23 5:01:27

vue实时监控视频播放的进度，并在播放80%位置触发相应操作

video标签&#xff1a;播放时触发canplay事件 <video:src"filePath"controlsv-if"filePrefix mp4 || filePrefix avi"canplay"getVideoDur()"id"myVideo"class"preview"></video>canplay触发的方法&#xff…...

编程日记 2024/2/23 5:00:26

HTML+CSS滚动条样式如何单独给firefox设置 scrollbar-width: none；，而不影响其他浏览器

要在Firefox中单独设置滚动条样式，你可以使用​​@-moz-document​​规则。这个规则允许你为特定的浏览器或浏览器引擎应用样式。 下面是一个例子，演示如何在Firefox中隐藏滚动条： @-moz-document url-prefix() {/* 在这里添加只对Firefox生效的样式 */body {scrollbar-wi…...

编程日记 2024/2/23 4:50:16

《Go 简易速速上手小册》第2章：控制结构与函数（2024 最新版）

文章目录 2.1 条件语句：决策的艺术2.1.1 基础知识讲解2.1.2 重点案例：用户角色权限判断实现用户角色权限判断扩展功能实现代码功能扩展：添加或删除用户2.1.3 拓展案例 1：成绩等级判断实现成绩等级判断功能实现代码扩展功能：详细反馈...

编程日记 2024/2/23 4:49:15

基于EasyCVR视频汇聚系统的公安网视频联网共享视频云平台建设思路分析（一）

随着社会的发展和科技的进步&#xff0c;视频监控系统在各个领域的应用越来越广泛&#xff0c;视频云平台建设已经成为了行业数字化转型的重要一环。公安网视频汇聚联网共享云的建设需要充分考虑技术、架构、安全、存储、计算等多方面因素&#xff0c;以确保平台的稳定性和可用…...

编程日记 2024/2/23 4:48:14

HQYJ 2024-2-21 作业

复习课上内容&#xff08;已完成&#xff09;结构体字节对齐&#xff0c;64位没做完的做完&#xff0c;32位重新都做一遍&#xff0c;课上指定2字节对齐的做一遍&#xff0c;自己验证&#xff08;已完成&#xff09;两种验证大小端对齐的代码写一遍复习指针内容&#xff08;已完…...

编程日记 2024/2/23 4:45:11

LeetCode每日一题【283. 移动零】

题目&#xff1a; 思路&#xff1a; 双指针&#xff0c;i和j。当i和j所指元素都不为0时&#xff0c;他们同时向后走&#xff0c;当j所指元素为0时&#xff0c;只走j&#xff0c;i固定。这样下来&#xff0c;i就指向最后一个非0元素的下一个位置&#xff0c;j就指向那些0元素之…...

编程日记 2024/2/23 4:44:10

CF1200E Compress Words

题目描述 Amugae has a sentence consisting of n words. He want to compress this sentence into one word. Amugae doesnt like repetitions, so when he merges two words into one word, he removes the longest prefix of the second word that coincides with a suffix…...

编程日记 2024/2/23 4:42:09

ip https证书推荐

公网IP地址是每个连接到互联网的设备所必需的标识。公网IP地址是用于在互联网上唯一标识一个设备的IP地址&#xff0c;它由一组由四个数字组成的字符串组成&#xff0c;每个数字在0到255之间。随着互联网的发展&#xff0c;只有公网IP地址的站点也开始重视传输信息安全&#xf…...

编程日记 2024/2/23 4:40:07

大气颗粒物与VOCs PMF源解析技术应用

目前&#xff0c;大气颗粒物和臭氧污染成为我国亟待解决的环境问题。颗粒物和臭氧污染不仅对气候和环境有重要影响&#xff0c;而且对人体健康有严重损害。而臭氧的前体物之一为挥发性有机物&#xff08;VOCs&#xff09;。为了高效、精准地治理区域大气颗粒物和臭氧污染&#…...

编程日记 2024/2/23 4:39:06

VSCODE中使用Vue3教程

VUE介绍 Vue.js is a popular JavaScript library for building web application user interfaces and Visual Studio Code has built-in support for the Vue.js building blocks of HTML, CSS, and JavaScript. For a richer Vue.js development environment, you can insta…...

编程日记 2024/2/23 4:37:04

Mac M2芯片配置PHP环境

Mac M2芯片配置PHP环境 1. XAMPP2. PHPBrew(PHP版本管理)安装php7.4.33版本 3. 直接使用homebrew 安装php环境参考 1. XAMPP 官网地址 https://www.apachefriends.org/ 安装 安装完成 web server打开后&#xff0c;在打开localhost 成功&#xff01; 2. PHPBrew(PHP版本管…...

编程日记 2024/2/23 4:36:04

[嵌入式系统-25]：RT-Thread -12- 内核组件编程接口 - 网络组件 - HTTP编程

目录 一、HTTP编程概述 1.1 概述 1.2 HTTP 服务器和 HTTP 客户端 二、HTTP Client 2.1 如何配置HTTP Client 2.2 HTTP Client代码实例1&#xff1a;socket发送http报文 2.3 HTTP Client代码实例2&#xff1a;httpc_xx接口收发HTTP报文 2.3.1 接口函数描述 2.3.2 代码实…...

编程日记 2024/2/23 4:35:03

告别COM Server！用Python+UDP给CANoe CAPL脚本开个“外挂”

突破CAPL封闭性&#xff1a;Python与CANoe的轻量级UDP通信实战 在汽车电子测试领域&#xff0c;CANoe作为行业标准工具&#xff0c;其内置的CAPL脚本语言为测试工程师提供了强大的自动化能力。然而&#xff0c;当我们需要将外部复杂算法&#xff08;如机器学习模型&#xff09…...

编程新知 2026/5/20 8:41:47

Windows安卓子系统终极指南：5步打造完美移动应用体验

Windows安卓子系统终极指南&#xff1a;5步打造完美移动应用体验 【免费下载链接】WSA Developer-related issues and feature requests for Windows Subsystem for Android 项目地址: https://gitcode.com/gh_mirrors/ws/WSA 想在Windows电脑上流畅运行手机应用吗&…...

编程新知 2026/5/20 8:12:41

Windows 11终极优化指南：使用Win11Debloat实现专业级系统调校

Windows 11终极优化指南&#xff1a;使用Win11Debloat实现专业级系统调校 【免费下载链接】Win11Debloat A simple, lightweight PowerShell script that allows you to remove pre-installed apps, disable telemetry, as well as perform various other changes to declutter…...

编程新知 2026/5/20 7:22:55

EEG情感分析入门：如何用DEAP数据集里的脑电波区分‘开心’和‘平静’？

EEG情感分析实战&#xff1a;从DEAP数据集解码快乐与平静的脑电密码 当你听到最喜欢的歌曲时&#xff0c;大脑会产生怎样的电信号变化&#xff1f;神经科学研究表明&#xff0c;不同的情绪状态会在大脑活动中留下独特的"指纹"。本文将带你探索如何利用DEAP数据集中的…...

编程新知 2026/5/20 6:31:04

微信协议逆向工程：从模拟操作到Hook技术的安全检测架构演进

微信协议逆向工程&#xff1a;从模拟操作到Hook技术的安全检测架构演进 【免费下载链接】WechatRealFriends 微信好友关系一键检测&#xff0c;基于微信ipad协议&#xff0c;看看有没有朋友偷偷删掉或者拉黑你 项目地址: https://gitcode.com/gh_mirrors/we/WechatRealFriend…...

编程新知 2026/5/20 6:05:42

NLP-Models-Tensorflow在情感分析中的应用：79种分类器的全面评估

NLP-Models-Tensorflow在情感分析中的应用&#xff1a;79种分类器的全面评估 【免费下载链接】NLP-Models-Tensorflow Gathers machine learning and Tensorflow deep learning models for NLP problems, 1.13 < Tensorflow < 2.0 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/5/20 4:28:09

3分钟学会：免费飞书文档转Markdown终极指南

3分钟学会&#xff1a;免费飞书文档转Markdown终极指南 【免费下载链接】cloud-document-converter Convert Lark Doc to Markdown 项目地址: https://gitcode.com/gh_mirrors/cl/cloud-document-converter 想象一下&#xff0c;你花了好几个小时在飞书上精心排版的技术…...

编程新知 2026/5/20 4:01:08

电弧故障检测与定位片上系统【附程序】

✨ 长期致力于电弧故障采集、电弧故障检测、电弧故障定位、片上系统、全数字锁相环、逐次逼近型模数转换器、低功耗、低成本研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &…...

编程新知 2026/5/20 1:12:32

别再被0.1+0.2≠0.3搞懵了！用Python和Java代码手把手拆解IEEE-754浮点数存储

浮点数精度之谜&#xff1a;用代码揭开0.10.2≠0.3的真相 当你在Python控制台输入0.1 0.2时&#xff0c;得到的不是预期的0.3&#xff0c;而是0.30000000000000004。这个看似简单的数学运算为何会出现如此"诡异"的结果&#xff1f;本文将带你用Python和Java代码深入…...

编程新知 2026/5/20 1:01:40

【独家逆向分析】：Perplexity招聘页埋点数据如何被提取？附Python自动化脚本（限24小时领取）

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;Perplexity薪资数据查询 Perplexity 作为一家以 AI 原生搜索和研究工具著称的科技公司&#xff0c;其薪酬结构长期未公开披露&#xff0c;但可通过多源交叉验证方式获取合理估算。目前主流可信渠道包括 Levels…...

编程新知 2026/5/20 1:01:39