当前位置： 首页 > news >正文

04、Python 爬取免费小说思路

news 2026/4/18 2:30:05

目录

  • Python 爬取免费小说思路
    • 代码解析
      • 爬取东西基本的四行代码：
        • user-agent
      • 安装模块
      • 从 bs4 导入 BeautifulSoup ，
      • 查询某个标签开头的数据
      • 筛选
      • 遍历
        • 获取小说的章节名称
        • 每章小说的链接
        • 获取请求网址的响应
        • 获取小说的内容
      • 筛选内容
        • 整理内容
      • 爬取下载到指定文件夹
  • 完整代码：

Python 爬取免费小说思路

代码解析

爬取东西基本的四行代码：

在这里插入图片描述

user-agent

在这里插入图片描述

安装模块

cmd 打开小黑窗，执行安装模块命令

模块的作用：完成具体的某一个功能

pip install bs4 -i https://mirrors.aliyun.com/pypi/simple/pip install lxml -i https://mirrors.aliyun.com/pypi/simple/

在这里插入图片描述

从 bs4 导入 BeautifulSoup ，

把 res.text 解析成 ‘lxml’ ， 相当于把文本原本 text的格式 整理成 lxml格式
在这里插入图片描述

查询某个标签开头的数据

解释这行代码的作用：

soup.find_all('x')-->  参数: 'x'   -->   就能查找获取所有 <x> xxxxxx </x> 的数据

在这里插入图片描述

相关文章：

04、Python 爬取免费小说思路

目录 Python 爬取免费小说思路代码解析爬取东西基本的四行代码：user-agent安装模块从 bs4 导入 BeautifulSoup ，查询某个标签开头的数据筛选遍历获取小说的章节名称每章小说的链接获取请求网址的响应获取小说的内容筛选内容整理内容爬取下载到指定文件夹完整代码：Python 爬取…...

编程日记 2023/10/23 3:21:08

【前端vue面试】vue2

目录 computed和watchv-show和v-ifkey 的重要性v-for 和 v-if 不能一起使用&#xff01;click的event修饰符事件修饰符表单项修饰符 父子组件通讯生命周期父子组件生命周期顺序 $nextTickslot 插槽动态组件异步组件keep-alivemixin computed和watch computed 有缓存&#xff0…...

编程日记 2023/10/23 3:20:06

自然语言处理---Transformer机制详解之GPT模型介绍

1 GPT介绍 GPT是OpenAI公司提出的一种语言预训练模型.OpenAI在论文<< Improving Language Understanding by Generative Pre-Training >>中提出GPT模型.OpenAI后续又在论文<< Language Models are Unsupervised Multitask Learners >>中提出GPT2模型.…...

编程日记 2023/10/23 3:19:05

【论文阅读】点云地图动态障碍物去除基准 A Dynamic Points Removal Benchmark in Point Cloud Maps

【论文阅读】点云地图动态障碍物去除基准 A Dynamic Points Removal Benchmark in Point Cloud Maps 终于一次轮到了讲自己的paper了 hahaha&#xff0c;写个中文的解读放在博客方便大家讨论 Title Picture Reference and prenotes paper: https://arxiv.org/abs/2307.07260 …...

编程日记 2023/10/23 3:18:04

2023年传媒行业中期策略 AIGC从三个不同层次为内容产业赋能

基本面和新题材共振&#xff0c;推动传媒互联网行情上涨 AIGC 概念带动&#xff0c;传媒板块领涨 A 股 2023 年第一个交易日&#xff08;1 月 3 日&#xff09;至 6 月 2 日&#xff0c;申万传媒指数区间涨幅高达 48.38%&#xff0c;同时期沪深 300 跌幅为 0.25%&#xff0c;…...

编程日记 2023/10/23 3:17:03

iOS上架App Store的全攻略

iOS上架App Store的全攻略 第一步&#xff1a;申请开发者账号 在开始将应用上架到App Store之前&#xff0c;你需要申请一个开发者账号。 1.1 打开苹果开发者中心网站&#xff1a;https://developer.apple.com/ 1.2 使用Apple ID和密码登录&#xff08;如果没有账号则需要注册…...

编程日记 2023/10/23 3:16:02

操作系统——多个类别产品的生产者-消费者问题（王道视频p33、课本ch6）

1.问题解剖——得到的是 1个“互斥信号量” 3个“同步信号量” 其中特别注意&#xff0c;对于盘子plate可以清空的设计4个对象的&#xff0c;但是只用这一个同步信号量就可以实现 2.代码—— 3.由于这里的同步信号量的初值都是1&#xff0c;所以&#xff0c;即使不设置互斥信…...

编程日记 2023/10/23 3:15:00

uniapp(uncloud) 使用生态开发接口详情5(云公共模块)

1.uniCloud官网 云对象中云公共模块: 网站: https://uniapp.dcloud.net.cn/uniCloud/cf-common.html // 官网介绍 cloudfunctions├─common // 云函数公用模块目录| └─hello-common // 云函数公用模块| ├─package.json| └─index.js // 公用模块代码&#xff0…...

编程日记 2023/10/23 3:13:59

Oracle数据中如何在 where in() 条件传参

一、问题场景描述 在sql 条件中&#xff0c;如何在 where in()中想传入参数&#xff0c;如果直接 where in(:seqList)&#xff0c;当传入单个值&#xff0c;seqList: ‘80’ 是没问题的&#xff0c;但是初入多个值时&#xff0c;seqList: ‘80,90’ &#xff0c;因缺少单引号&…...

编程日记 2023/10/23 3:12:58

Python：函数篇(每周练习)

编程题&#xff1a; Python第四章作业&#xff08;初级&#xff09; (educoder.net) 题一&#xff1a;无参无返回值函数 def print_hi_human(): # 函数名用小写字母print("人类&#xff0c;你好&#xff01;")if __name__ __main__:print_hi_human() 题二&#…...

编程日记 2023/10/23 3:11:57

为Element Plus封装业务组件FormDialog，将所有需要填写表单的弹窗组件封装，方便快速配置

使用FormDialog组件能够对表单弹窗进行快速配置&#xff0c;不用每次单独写弹窗表单业务组件&#xff0c;快速实现表单弹窗业务功能。 调用页面demo.vue validateRules.js引用 <script setup lang"ts"> import FormDialog from /components/FormDialog/index…...

编程日记 2023/10/23 3:10:55

ubuntu 设置和取消代理

背景 因为国内环境限制&#xff0c;在 linux 上安装一些软件的时候&#xff0c;因为限制就安装不了&#xff0c; 此时就可以通过设置代理的方式来规避这种问题&#xff0c;下面是具体的设置方式 步骤 sudo vim /etc/profile.d/proxy.sh添加以下内容到文件中 export http_pro…...

编程日记 2023/10/23 3:09:55

YOLOv7-PTQ量化部署

目录 前言一、PTQ量化浅析二、YOLOv7模型训练1. 项目的克隆和必要的环境依赖1.1 项目的克隆1.2 项目代码结构整体介绍1.3 环境安装 2. 数据集和预训练权重的准备2.1 数据集2.2 预训练权重准备 3. 训练模型3.1 修改模型配置文件3.2 修改数据配置文件3.3 训练模型3.4 mAP测试 三、…...

编程日记 2023/10/23 3:08:54

【网络协议】聊聊ICMP与ping是如何测试网络联通性

ICMP协议格式 ping是基于iCMP协议工作的&#xff0c;ICMP全称Internet Control Message Protocol&#xff0c;就是互联网控制报文协议。其实就是有点类似于古代行军打仗&#xff0c;哨探进行前方探明具体情况。 IMCP本身处于网络层&#xff0c;将报文封装在IP包里&#xff0c;…...

编程日记 2023/10/23 3:07:52

nginx tomcat 动静分离

动静分离&#xff1a; 访问静态和动态页面分开 实现动态和静态页面负载均衡。 五台虚拟机 实验1&#xff0c;动静分离 思路&#xff1a; 需要设备&#xff1a;三台虚拟机 一台nginx 代理又是静态 两台tomcat 请求动态页面 在全局模块中配置upstream tomcat 新建location…...

编程日记 2023/10/23 3:06:51

java读取指定文件夹下的全部文件，并输出文件名，文件大小，文件创建时间

import java.io.IOException; import java.nio.file.*; import java.nio.file.attribute.*; import java.util.ArrayList; import java.util.List; public class Main { public static void main(String[] args) { try { Path startingDir Paths.get("你的目…...

编程日记 2023/10/23 3:05:50

leetcode 105. 从前序与中序遍历序列构造二叉树

2023.10.21 本题需要根据前序遍历序列和中序遍历序列来构造出一颗二叉树。类似于从中序与后序遍历序列构造二叉树 。使用递归&#xff0c; java代码如下&#xff1a; /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* …...

编程日记 2023/10/23 3:04:50

【试题039】 多个逻辑或例题

题目&#xff1a;设int n;,执行表达式(n0)||(n1)||(n2)||(n3)后,n的值是&#xff1f;代码分析&#xff1a; //设int n; , 执行表达式(n 0) || (n 1) ||(n 2) ||(n 3)后, n的值是?int n;printf("n%d\n", (n 0) || (n 1) || (n 2) || (n 3));//分析&#xff1…...

编程日记 2023/10/23 3:03:49

打卡go学习第一天

8.1 下面展示一些 代码。 package mainimport ("fmt""net""os""time" )type Clock struct {Name stringAddr string &#xff5d; func main() {clocks : []Clock{{Name: "New York", Addr: "localhost:8000"…...

编程日记 2023/10/23 3:02:48

julia 笔记： 流程控制

1 复合表达式 用一个表达式有序地计算若干子表达式&#xff0c;并返回最后一个子表达式的值 1.1 begin代码块 z beginx 1y 2x yend z #3begin x 1; y 2; x y end #3 1.2 ;链 (x 1; y 2; x y) #3(x 1; y 2; x y) 3 2 条件表达式 x1 y2if x < yprintln(&q…...

编程日记 2023/10/23 3:01:47

Python脚本驱动：AutoCAD Plant 3D中槽式垂直三通参数化建模实战

1. 为什么需要参数化建模槽式垂直三通&#xff1f; 在管道工程设计领域&#xff0c;槽式垂直三通是最常见的管件之一。传统手动建模方式需要反复绘制草图、拉伸实体、布尔运算&#xff0c;一个简单的三通模型可能要花费设计师半小时。当遇到非标尺寸或批量修改时&#xff0c;这…...

编程新知 2026/4/17 23:06:23

Supersonic音乐播放器深度解析：自托管音乐服务的现代化桌面客户端架构

Supersonic音乐播放器深度解析&#xff1a;自托管音乐服务的现代化桌面客户端架构 【免费下载链接】supersonic A lightweight and full-featured cross-platform desktop client for self-hosted music servers 项目地址: https://gitcode.com/gh_mirrors/sup/supersonic …...

编程新知 2026/4/17 22:55:13

别再搞混了！Verilog里数组、向量和存储器的赋值与读写，新手避坑指南

Verilog数据存储结构深度解析&#xff1a;从位操作到存储器建模实战 刚接触Verilog的工程师常会被其灵活的数据存储结构所困扰——什么时候用向量&#xff1f;什么时候用数组&#xff1f;存储器又该如何正确建模&#xff1f;这些看似基础的概念一旦混淆&#xff0c;就会在仿真和…...

编程新知 2026/4/17 22:10:27

基于VSCode+PlatformIO+SDCC的51单片机PWM调光实战（STC89C52RC）

1. 环境搭建&#xff1a;从零配置开发工具链 搞单片机开发最头疼的就是环境配置&#xff0c;特别是对于刚入门的新手。这次我们用VSCodePlatformIOSDCC这套组合拳来玩转51单片机&#xff0c;完全避开Keil这类商业软件。先说说为什么选这套方案&#xff1a;第一是完全免费&#…...

编程新知 2026/4/17 21:42:06

从‘新建’到‘流转’：手把手教你用JIRA问题单驱动敏捷开发全流程

从‘新建’到‘流转’&#xff1a;手把手教你用JIRA问题单驱动敏捷开发全流程 在敏捷开发的世界里&#xff0c;工具只是载体&#xff0c;流程才是灵魂。JIRA作为业界领先的项目管理工具&#xff0c;其真正价值往往被低估——大多数团队仅仅用它来记录任务和缺陷&#xff0c;却…...

编程新知 2026/4/17 20:19:23

C语言struct使用避坑指南：从‘declaration does not declare anything‘报错说起

C语言struct使用避坑指南&#xff1a;从declaration does not declare anything报错说起 在C语言开发中&#xff0c;结构体(struct)是最基础也最常用的复合数据类型之一。但正是这种看似简单的语法特性&#xff0c;却隐藏着不少容易踩坑的细节。许多开发者在代码审查或调试过程…...

编程新知 2026/4/17 20:15:09

MATLAB 2020b 中文版安装避坑指南：断网、杀软、中文路径，一个都不能错

MATLAB 2020b 中文版安装避坑指南&#xff1a;断网、杀软、中文路径&#xff0c;一个都不能错 每次打开MATLAB都卡在启动界面&#xff1f;安装进度条走到99%就再也不动了&#xff1f;这些让人抓狂的问题&#xff0c;很可能是因为忽略了几个关键安装细节。作为一款功能强大的数学…...

编程新知 2026/4/17 20:00:23

SAP接口集成-PO/PI-SLD配置实战：从系统格局到集成目录

1. 理解SAP接口集成与PO/PI的核心组件 第一次接触SAP接口集成的开发者&#xff0c;往往会被PO/PI、SLD、ESR这些缩写搞得晕头转向。其实简单来说&#xff0c;这就是一套SAP用来连接不同系统的"桥梁工具"。想象一下你负责的电商平台需要实时获取SAP系统中的库存数据&a…...

编程新知 2026/4/17 19:28:50

生产刮刮卡定制制造商推荐

在当今的商业活动中&#xff0c;刮刮卡作为一种集抽奖、防伪与票务功能于一体的营销利器&#xff0c;被广泛应用于促销活动、刮奖卡、景区门票等众多场景。然而&#xff0c;市面上刮刮卡的质量参差不齐&#xff0c;存在防伪性差、可变数据印刷错位或重复、色差大等诸多问题。今…...

编程新知 2026/4/17 19:28:39

Calibre路径本地化技术解析：告别拼音目录，拥抱原生中文路径

Calibre路径本地化技术解析&#xff1a;告别拼音目录&#xff0c;拥抱原生中文路径 【免费下载链接】calibre-do-not-translate-my-path Switch my calibre library from ascii path to plain Unicode path. 将我的书库从拼音目录切换至非纯英文&#xff08;中文&#xff09;命…...

编程新知 2026/4/17 18:40:51