当前位置： 首页 > news >正文

python爬虫实战(1)--爬取新闻数据

news 2026/5/20 0:55:11

想要每天看到新闻数据又不想占用太多时间去整理，萌生自己抓取新闻网站的想法。

1. 准备工作

使用python语言可以快速实现，调用BeautifulSoup包里面的方法
安装BeautifulSoup

pip install BeautifulSoup

完成以后引入项目

2. 开发

定义请求头，方便把请求包装成正常的用户请求，防止被拒绝

headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
}

定义被抓取的url，并请求加上请求头

    response = requests.get(url=url, headers=headers)

BeautifulSoup解析

    soup = BeautifulSoup(response.text, "html.parser")

分析网站需要提取数据的标签![在这里插入图片描述](https://img-blog.csdnimg.cn/b687fdc39a0d4f1999a5492b70fda4a5.png在这里插入图片描述
因为获取的对象是li标签的第一个，即

        divs = soup.find(class_="js-item item")

这样默认就是第一个，如果需要获取全部，则需要find_all，遍历集合
防止获取到的新闻是当天的做一个日期判断

        a = first_div.find(class_="title")if a.getText().__contains__(datetime.date.today().strftime("%#m月%#d日")):

日期存在title里面所以为了判断单独取一下信息
然后要取到最新日期的新闻自己的url，并get请求这个url
在这里插入图片描述

            b = a.get('href')response = requests.get(url=b, headers=headers)soup = BeautifulSoup(response.text, "html.parser")

打开新的网址后分析网站标签信息

在这里插入图片描述
取这个标签，获取到p标签的值

            body = soup.find(class_="post_body")p = body.find_all('p')

获取到的是个数组，去掉第一个元素，从第二个开始即是我们需要的结果

            p_id_tag = p[1].__str__()

输出的信息带有元素标记，使用正则处理一下

            raw_text = re.findall(r'<p[^>]*>(.*?)</p>', p_id_tag).__str__()# 去掉 HTML 标签并换行显示clean_text = raw_text.replace('<br/>', '\n').replace('<p>', '').replace('</p>', '').replace("']","").replace("['", "").replace(r"\u200b", "")

然后把抓取的信息写入txt

            file = open("C:\\Users\\Administrator\\Desktop\\每日新闻" + '.txt','w', encoding='utf-8')file.write(clean_text)file.close()

最后使用定时任务每天定时抓取，这样就可以每天更新了

    schedule.every().day.at("08:00").do(getNews)while True:schedule.run_pending()time.sleep(1)

运行效果
在这里插入图片描述

相关文章：

python爬虫实战(1)--爬取新闻数据

想要每天看到新闻数据又不想占用太多时间去整理&#xff0c;萌生自己抓取新闻网站的想法。 1. 准备工作 使用python语言可以快速实现&#xff0c;调用BeautifulSoup包里面的方法 安装BeautifulSoup pip install BeautifulSoup完成以后引入项目 2. 开发 定义请求头&#xf…...

编程日记 2023/8/10 3:14:18

React Hooks 详细使用介绍

useState 状态管理 useState 是 React 中的一个基础 Hook&#xff0c;允许你在不使用 class 组件的情况下管理组件状态。 参数 初始值 你可以直接传递状态的初始值给 useState&#xff1a; const [name, setName] useState("John");使用函数设置初始值 当初始…...

编程日记 2023/8/10 3:13:17

python版《羊了个羊》游戏开发第一天

Python小型项目实战教学课《羊了个羊》 一、项目开发大纲&#xff08;初级&#xff09; 版本1.0&#xff1a;基本开发 课次 内容 技术 第一天 基本游戏地图数据 面向过程 第二天 鼠标点击和移动 面向对象 第三天 消除 设计模式&#xff1a;单例模式 第四天 完整…...

编程日记 2023/8/10 3:12:14

【uniapp】原生子窗体subNvue的使用与踩坑

需求 最近接到个需求, 需要在video组件上弹出弹窗, 也就是覆盖video这个原生组件 未播放时, 弹窗可以覆盖, 但是当video播放时, 写的弹窗就覆盖不了了 因为video是原生组件, 层级非常高, 普通标签是覆盖不了的, map标签同理 覆盖原生组件, 官方给出解决办法一. 使用cover-view…...

编程日记 2023/8/10 3:11:13

浅析 C 语言的共用体、枚举和位域

前言 最近在尝试阅读一些系统库的源码&#xff0c;但是其中存在很多让我感到既熟悉又陌生的语法。经过资料查阅&#xff0c;发现是 C 语言中的共用体和位域。于是&#xff0c;趁着课本还没有扔掉&#xff0c;将一些相关的知识点记录在本文。 文章目录 前言共用体 (union)枚举…...

编程日记 2023/8/10 3:10:11

TartanVO: A Generalizable Learning-based VO 论文阅读

论文信息 题目:TartanVO: A Generalizable Learning-based VO 作者&#xff1a;Wenshan Wang&#xff0c; Yaoyu Hu 来源&#xff1a;ICRL 时间&#xff1a;2021 代码地址&#xff1a;https://github.com/castacks/tartanvo Abstract 我们提出了第一个基于学习的视觉里程计&…...

编程日记 2023/8/10 3:09:11

单例模式-java实现

介绍 单例模式的意图&#xff1a;保证某个类在系统中有且仅有一个实例。 我们可以看到下面的类图&#xff1a;一般的单例的实现&#xff0c;是属性中保持着一个自己的私有静态实例引用&#xff0c;还有一个私有的构造方法&#xff0c;然后再开放一个静态的获取实例的方法给外界…...

编程日记 2023/8/10 3:08:10

篇八：装饰器模式：动态增加功能

篇八&#xff1a;“装饰器模式&#xff1a;动态增加功能” 开始本篇文章之前先推荐一个好用的学习工具&#xff0c;AIRIght&#xff0c;借助于AI助手工具&#xff0c;学习事半功倍。欢迎访问&#xff1a;http://airight.fun/。 另外有2本不错的关于设计模式的资料&#xff0c…...

编程日记 2023/8/10 3:07:08

算法通关村第五关——n数之和问题解析

1. 两数之和问题 力扣第1题就是两数之和问题&#xff0c;给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那两个整数&#xff0c;并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一…...

编程日记 2023/8/10 3:06:07

小白到运维工程师自学之路 第七十集 （Kubernetes集群部署）

一、概述 Kubernetes&#xff08;简称K8S&#xff09;是一个开源的容器编排和管理平台&#xff0c;是由Google发起并捐赠给Cloud Native Computing Foundation&#xff08;CNCF&#xff09;管理的项目。它的目标是简化容器化应用的部署、扩展、管理和自动化操作。 以下是Kube…...

编程日记 2023/8/10 3:05:06

docker 部署mysql 5.6集群

docker搭建mysql的集群&#xff08;一主双从&#xff09; 1.拉取镜像 docker pull mysql:5.6 2.启动master容器 docker run -it -d --name mysql_master -p 3306:3306 --ip 192.168.162.100 \ -v /data/mysql_master/mysql:/var/lib/mysql \ -v /data/mysql_master/conf.d…...

编程日记 2023/8/10 3:04:04

mysql基本信息查询

1.查看mysql表的数据量 select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables order by data_length des…...

编程日记 2023/8/10 3:03:03

C语言初学者必读：使用for循环将数字从大到小排序并输出

在学习C语言编程的过程中&#xff0c;了解数组的输入和排序是非常基础且重要的一部分。本文将以通俗易懂的方式&#xff0c;教你如何使用for循环实现将输入的n个数字按照从大到小的顺序输出&#xff0c;帮助你逐步掌握数组的使用和排序算法。 第一步&#xff1a;获取用户输入 …...

编程日记 2023/8/10 3:02:00

【Vue+Element-plus】记录后台首页多echart图静态页面

一、页面效果 二、完整代码 Index.vue <template><div><div><DateTime /><!-- {{username}} --></div><el-row :gutter"20"><el-col :span"8"><div class"grid-content bg-purple"><P…...

编程日记 2023/8/10 3:00:59

BM5 合并k个已排序的链表 javascript

描述 合并 k 个升序的链表并将结果作为一个升序的链表返回其头节点。 数据范围&#xff1a; 示例1 输入&#xff1a; [{1,2,3},{4,5,6,7}] 返回值&#xff1a; {1,2,3,4,5,6,7}示例2 输入&#xff1a; [{1,2},{1,4,5},{6}] 返回值&#xff1a; {1,1,2,4,5,6}解题思路 利用两个…...

编程日记 2023/8/10 2:59:57

1.利用matlab建立符号表达式（matlab程序）

1.简述 、 1. 使用sym命令创建符号变量和表达式 语法&#xff1a; sym(‘变量’,参数) %把变量定义为符号对象 说明&#xff1a;参数用来设置限定符号变量的数学特性&#xff0c;可以选择为’positive’、’real’和’unreal’&#xff0c; ’positive’ 表示为“正、实”符…...

编程日记 2023/8/10 2:58:56

LVS工作环境配置

一、LVS-DR工作模式配置 模拟环境如下&#xff1a; 1台客户机 1台LVS负载调度器 2台web服务器 1、环境部署 &#xff08;1&#xff09;LVS负载调度器 yum install -y ipvsadm # 在LVS负载调度器上进行环境安装 ifconfig ens33:200 192.168.134.200/24 # 配置LVS的VIP…...

编程日记 2023/8/10 2:57:55

金蝶，「起舞」在大模型时代

在过去的几年时间里&#xff0c;基于EBC的平台能力&#xff0c;金蝶已经走出了一个新的进化之路&#xff0c;这条路是对自身产品竞争力的重新构建&#xff0c;也更是对企业数字化转型需求的更大程度满足。 如今&#xff0c;苍穹GPT大模型更是让这种竞争力和服务力更向前一步。…...

编程日记 2023/8/10 2:56:54

解决Vs Code工具开发时 保存React文件时出现乱码情况

Vs Code工具开发时 保存React文件时出现乱码情况 插件库搜索:JS-CSS-HTML Formatter 把这个插件禁用或者卸载就解决保存时出现乱码的问题了; 如果没有解决,再看下面方案! 出现乱码问题通常是因为文件的编码格式不正确。您可以尝试以下解决方法&#xff1a; 确认文件编码格式&a…...

编程日记 2023/8/10 2:55:53

Fastjson 使用指南

文章目录 Fastjson 使用指南0 简要说明为什么要用JSON&#xff1f;用JSON的好处是什么&#xff1f;为什么要用JSON&#xff1f;JSON好处 1 常用数据类型的JSON格式值的范围 2 快速上手2.1 依赖2.2 实体类2.3 测试类 3 常见用法3.1 序列化操作核心操作对象转换为JSON串list转换J…...

编程日记 2023/8/10 2:54:51

效率翻倍！深度挖掘CANoe那些被忽略的宝藏功能：Layout同步、Favorites收藏与Write窗口妙用

效率翻倍&#xff01;深度挖掘CANoe那些被忽略的宝藏功能&#xff1a;Layout同步、Favorites收藏与Write窗口妙用 在汽车电子测试领域&#xff0c;CANoe作为行业标杆工具&#xff0c;其核心功能如总线仿真、诊断测试等早已被工程师们熟练掌握。但鲜为人知的是&#xff0c;那些隐…...

编程新知 2026/5/20 0:42:31

【数字对调】信息学奥赛一本通C语言解法（题号2070）

自留or欢迎大佬纠错【题目描述】输入一个三位数&#xff0c;要求把这个数的百位数与个位数对调&#xff0c;输出对调后的数。【输入】三位数。【输出】如题述结果。【输入样例】123【输出样例】321#include<stdio.h> int main(){int a;scanf("%d",&a);int …...

编程新知 2026/5/20 0:32:08

初次使用 Taotoken 控制台的快速浏览与核心功能导引

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 初次使用 Taotoken 控制台的快速浏览与核心功能导引 当你注册并登录 Taotoken 平台后&#xff0c;首先进入的就是用户控制台。这个…...

编程新知 2026/5/19 23:50:06

从PyCharm到ArcGIS工具箱：把你的Python地理处理脚本‘打包’成专业工具的保姆级指南

从PyCharm到ArcGIS工具箱&#xff1a;Python地理处理脚本的专业化封装实战 当你在PyCharm中完成了一个完美运行的地理处理脚本&#xff0c;接下来最自然的想法就是让它能被更多非技术同事直接使用。本文将带你跨越开发环境与生产环境的鸿沟&#xff0c;将一个孤立的Python脚本转…...

编程新知 2026/5/19 22:51:35

告别GUI框架：在嵌入式Linux上用framebuffer手撸一个简易绘图库（附完整代码）

告别GUI框架&#xff1a;在嵌入式Linux上用framebuffer手撸一个简易绘图库 在资源受限的嵌入式Linux环境中&#xff0c;图形界面开发往往面临两难选择&#xff1a;要么使用Qt、SDL等重型框架消耗宝贵的内存和CPU资源&#xff0c;要么放弃图形功能转向纯命令行交互。本文将为开发…...

编程新知 2026/5/19 22:16:52

嵌入式学习的第八天

字符指针常见错误 核心&#xff1a;字符串常量存只读内存&#xff0c;不可修改&#xff01; #include <stdio.h> int main() {// 错误写法&#xff1a;指针指向字符串常量&#xff08;只读&#xff09;&#xff0c;不能修改内容char *p "hello"; // *(p0) e…...

编程新知 2026/5/19 22:12:21

测试岗真的是“青春饭”吗？40岁资深测试专家的职业复盘

在IT行业的诸多岗位中&#xff0c;软件测试岗常常被贴上“青春饭”的标签。不少从业者&#xff0c;尤其是刚入行的年轻人&#xff0c;总会在某个深夜陷入焦虑&#xff1a;“我到了35岁、40岁&#xff0c;还能在这个岗位上立足吗&#xff1f;”作为一名在测试领域深耕20年&#…...

编程新知 2026/5/19 22:09:45

独立开发者如何借助Taotoken透明计费精细控制多个副业项目成本

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 独立开发者如何借助Taotoken透明计费精细控制多个副业项目成本 对于独立开发者或小型工作室而言&#xff0c;同时维护多个AI驱动的…...

编程新知 2026/5/19 20:50:56

告别复制粘贴！用Automa浏览器插件把网页数据自动存进MySQL数据库（保姆级图文教程）

告别复制粘贴&#xff01;用Automa浏览器插件实现网页数据自动入库全攻略 每天重复从网页复制数据到Excel再导入数据库&#xff1f;运营周报、竞品监控、市场分析等场景下&#xff0c;这种低效操作正在吞噬职场人的宝贵时间。本文将带你用Automa这款可视化自动化工具&#xff0…...

编程新知 2026/5/19 20:10:31

推理服务为什么一上模型压缩组合就开始精度雪崩：从量化-剪枝-蒸馏的叠加效应到恢复策略的工程实战

一、精度雪崩的生产现场 &#x1f525; 某团队部署 LLaMA-2-7B 推理服务时&#xff0c;为降低显存、提升吞吐&#xff0c;同时对模型做 W4A16 量化、30% 结构化剪枝与层蒸馏。单独测试时&#xff0c;量化版困惑度上升 8%&#xff0c;剪枝版上升 12%&#xff0c;蒸馏版上升 15%。…...

编程新知 2026/5/19 19:59:35