爬虫与反爬虫实现全流程
我选取的网页爬取的是ppt nba版
需要的工具:pycharm,浏览器
爬虫需要观察它的网页信息,然后开始首先爬取它的html,可以看到有人气,标题,日期,咨询
可以看到用get方法
import requests
url="https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.ptt.cc%2Fbbs%2FNBA%2Findex.html&pos_id=lJ5YB9Tu"
respone=requests.get(url)
print(respone.text)接下来把它下载下来
with open('output.html','w',encoding='utf-8')as f:f.write(respone.text)反爬虫使用header方法,观察User-Agent: AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36
放入header
import requests
url="https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=https%3A%2F%2Fwww.ptt.cc%2Fbbs%2FNBA%2Findex.html&pos_id=lJ5YB9Tu"
headers={'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'}
respone=requests.get(headers=headers)
# print(respone.text)
with open('output.html','w',encoding='utf-8')as f:f.write(respone.text)接下来正式开始爬取自己想要的资料
去终端机安一下beautifulsoup
pip install beautifulsoup4解析获得文章列表parser
soup beautifulSoup(respone.text,"html.parser" )接下来把我们需要的值一个一个取出来
标题: div a title.text
人气:div class=nrec span
日期:div date
相关文章：
爬虫与反爬虫实现全流程
我选取的网页爬取的是ppt nba版 需要的工具:pycharm,浏览器 爬虫需要观察它的网页信息,然后开始首先爬取它的html,可以看到有人气,标题,日期,咨询 可以看到用get方法 import requests url"https://img-home.csdnimg.cn/images/20230724024159.png?origin_urlhttps%3A%2…...
Kimi进行学术方向选择精讲！
目录 1.文献搜索 2.辅助选题 3.选题判断 在我们之前的文章中，小编都强调了选题在文章价值中的核心作用。一篇优秀的文章背后，肯定有一个精心挑选的选题。选题的好坏直接影响着文章能够发表的期刊等级。许多宝子们却采取了相反的做法，将大量…...
湖北产教融合教育研究院重庆分院揭牌成立
百年大计，教育为本。为积极响应重庆市人才培养的迫切需求，充分发挥中国同等学力申硕综合服务领航者的专业优势，12月26日，湖北产教融合教育研究院重庆分院启动仪式在渝北区龙山一路278号祈年悦城4栋24层隆重举行。 湖北产教融合教育…...
探索CSS Houdini：下一代样式与动画技术
随着前端开发对用户体验的要求不断提高，传统的CSS在某些场景下难以满足开发者的高阶需求。在这种背景下，CSS Houdini 技术应运而生，为开发者提供了更高自由度和更强大的功能，开创了现代Web动画与样式的新可能。 什么是CSS Houdin…...
winserver搭建域环境
域环境的搭建 7.1理论知识 Windows Server 2008网络类型 工作组（Work Group） 在安装Windows系统的时候 ，工作组名一般为“workgroup”,也可以任意起个名字，在同一工作组或不同工作组在访问时也没有什么分别，在使用时&a…...
鸿蒙开发工程师成长的五个阶段
在科技日新月异的今天，鸿蒙（HarmonyOS）作为华为自主研发的操作系统，正以其独特的魅力和广阔的应用前景吸引着越来越多的开发者加入。鸿蒙不仅承载着华为对未来智能设备互联互通的愿景，也为开发者提供了一个充满挑战与机…...
Redis集成到SpingBoot 的数据结构常见操作
一.环境配置 1.依赖注入 2.yaml文件配置 3.启动本地Redis服务 (或在虚拟机上启动,这里为了方便演示在本地启动) 4.启动成功案例 5.创建一个Controller我们开始演示 RestController public class MyController {Autowiredprivate StringRedisTemplate redisTemplate;} 二 …...
输入输出（I/O）：熟悉 Java 的 I/O 类库，尤其是 NIO 和文件操作
输入输出（I/O）：熟悉 Java 的 I/O 类库，尤其是 NIO 和文件操作 在 Java 中，I/O（输入输出）操作是开发中非常重要的一部分，用于与文件、网络和其他数据流交互。Java 提供了传统的 I/O&…...
mysql建立主从集群
mysql建立主从集群需要多个mysql服务器，主从数据库是通过log日志来进行同步的，所以需开启log-bin。本地安装多个mysql参考底部 主数据库配置 打开主数据库my.ini配置文件，给其配置server_id1 [mysqld] port3306 basedirD:/phpstudy_pro/1/…...
Python AI 教程之四：无监督学习
什么是无监督学习？ 无监督学习是机器学习的一个分支，用于处理未标记的数据。与监督学习（其中数据被标记为特定类别或结果）不同，无监督学习算法的任务是在不了解数据含义的情况下寻找数据中的模式和关系。这使得无监督学习成为探索性数据分析的强大工具，其目标是了解数据…...
ReactiveStreams、Reactor、SpringWebFlux
注意： 本文内容于 2024-12-28 21:22:12 创建，可能不会在此平台上进行更新。如果您希望查看最新版本或更多相关内容，请访问原文地址：ReactiveStreams、Reactor、SpringWebFlux。感谢您的关注与支持！ ReactiveStreams是…...
Qt 的信号槽机制详解：之信号槽引发的 Segmentation Fault 问题拆析（下）
Qt 的信号槽机制详解：之信号槽引发的 Segmentation Fault 问题拆析（下） 前言一. 信号槽的误用导致崩溃的常见原因1.信号和槽连接的对象被提前释放案例解决方法 2.参数类型不匹配案例解决方法 3. 多线程信号槽使用不当案例解决方法 4. 信号重复…...
 Mat使用总结)
opencv(cpp) Mat使用总结
opencv访问矩阵的通道数 #include <opencv2/opencv.hpp> #include <iostream>int main() {// 创建一个3通道的彩色图像（例如，BGR格式）cv::Mat colorImage cv::Mat::zeros(100, 100, CV_8UC3);// 创建一个单通道的灰度图像cv::M…...
【Hackthebox 中英 Write-Up】Web Request | 分析 HTTP 请求和响应
欢迎来到我的writeup分享！我希望大家不要只关注结果或答案，而是通过耐心阅读，尝试逆向工程理解背后的运作原理。在这里，你不仅能找到解题的思路，还能学到更多与Hack The Box等平台相关的技术和技巧，期待与你…...
c#多线程之生产者-消费者模型
在 C# 中实现 生产者-消费者模式，通常需要多个线程来处理数据的生产和消费。我们可以使用 Queue<T> 来作为存储数据的队列，并使用 Thread、Mutex 或 Monitor 来确保线程安全。BlockingCollection<T> 是 C# 提供的一个线程安全的集合…...
Spring Boot中幂等性的应用
在 Spring Boot 中，幂等性是实现分布式系统设计和接口调用的一个重要概念，尤其在高并发、分布式环境下，确保接口重复调用不会引发系统数据异常至关重要。 幂等性概念 幂等性（Idempotence）是指一次请求和重复多次请求…...
【机器学习】分类
文章目录 1. 能否用回归解决分类问题2. 生成模型（概率生成）3. 判别模型（逻辑回归）4. 多分类问题 1. 能否用回归解决分类问题 二元分类 数据分布不规律，回归函数会尽量减少误差，导致不合理的偏移离分界较远…...
5.若依的角色权限控制
RBAC 基于角色的访问控制，通过角色来分配和管理用户的菜单权限。 修改课程管理的菜单到主类目下 新建角色并分配菜单 新建用户并分配角色 添加一个根菜单，父级为主类目...
Lumos学习王佩丰Excel第二十三讲：饼图美化与PPT图表
一、双坐标柱形图的补充知识 1、主次坐标设置 2、主次坐标柱形避让（通过增加两个系列，挤压使得两个柱形挨在一起） 增加两个系列 将一个系列设置成主坐标轴，另一个设成次坐标轴 调整系列位置 二、饼图美化 1、饼图美化常见设置 …...
安装winserver2008R2虚拟机步骤
一、服务器系统介绍 1.1什么是服务器？ 服务器英文名称为“Server”，指的是网络环境下为客户机(Client)提供某种服务的专用计算机，服务器安装有网络操作系统(如Windows 2000 Server、Linux、Unix等)和各种服务器应用系统软件(如Web服务、电子…...
使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式
一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明：假设每台服务器已…...
云计算——弹性云计算器（ECS）
弹性云服务器：ECS 概述 云计算重构了ICT系统，云计算平台厂商推出使得厂家能够主要关注应用管理而非平台管理的云平台，包含如下主要概念。 ECS（Elastic Cloud Server）：即弹性云服务器，是云计算…...
通过Wrangler CLI在worker中创建数据库和表
官方使用文档：Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后，会在本地和远程创建数据库： npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库： 现在，您的Cloudfla…...
无法与IP建立连接，未能下载VSCode服务器
如题，在远程连接服务器的时候突然遇到了这个提示。 查阅了一圈，发现是VSCode版本自动更新惹的祸！！！ 在VSCode的帮助->关于这里发现前几天VSCode自动更新了，我的版本号变成了1.100.3 才导致了远程连接出…...
可靠性+灵活性：电力载波技术在楼宇自控中的核心价值
可靠性灵活性：电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中，电力载波技术（PLC）凭借其独特的优势，正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据，无需额外布…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...
04-初识css
一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...
QT3D学习笔记——圆台、圆锥
类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体（对象或容器）QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质（定义颜色、反光等）QFirstPersonC…...
scikit-learn机器学习
# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...