Python爬虫（1） --基础知识
爬虫
- 爬虫是什么？ spider
是一种模仿浏览器上网过程的一种程序，可以获取一些网页的数据
基础知识
- URL
统一资源定位符 uniform resource locator
http: 超文本传输协议 HyperText Transfer Protocol 默认端口 80
https: 安全的超文本传输协议 security 默认端口 443
www.example.com 域名
80 端口 port
/path/to/myfile.html 资源路径
?key1=value1&key2=value2 参数 & 表示多个参数的拼接
# 锚点
- 前端代码
<!DOCTYPE html> 声明为 HTML5 文档
<html>..</html> 是网页的根元素
<head>..</head> 元素包含了文档的元（meta）数据，如 <meta charset="utf-8"> 定义网页编码格式为 utf-8。
<title>..<title> 元素描述了文档的标题
<body>..</body> 表示用户可见的内容
<div>..</div> 表示框架
<p>..</p> 表示段落
<ul>..</ul> 定义无序列表
<ol>..</ol>定义有序列表
<li>..</li>表示列表项
<img src="" alt="">表示图片
<h1>..</h1>表示标题
<a href="">..</a>表示超链接
<!DOCTYPE html>
<html><head><!-- 内嵌样式 --><style type="text/css">body{background-color:yellow;}p{font-size: 30px;color: springgreen;}</style><meta charset="utf-8"><title>兰智数加学院</title></head><body><a href="www.anhuisjxy.com">点击访问</a><h1>兰智数加www.anhuisjxy.com</h1><h2>Python爬虫</h2><div><p>认识网页结构</p><ul><li>HTML</li><li>CSS</li></ul></div></body>
</html>
<!DOCTYPE html>
<html><head><style type="text/css">body{background-color: rgb(220, 226, 226);}</style><meta charset="utf-8"><title>兰智数加学院</title></head><body><h1 style="color: blue;">兰智数加www.anhuisjxy.com</h1><h2>Python爬虫</h2><p>点击下方按钮获取当前时间</p><button onclick="DisplayDate()">点击这里</button><p id="time" style="color: red;"></p><!-- script标签内部编写js代码 --><script>function DisplayDate(){document.getElementById("time").innerHTML=Date()}</script></div></body>
</html>
爬虫代码
- 安装requests包
pip install requests
- pip 换源
pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/
pip config set install.trusted-host pypi.mirrors.ustc.edu.cn
- User-Agent： 身份标识 表示你是哪个浏览器
相关文章：
Python爬虫（1） --基础知识
爬虫 爬虫是什么？ spider 是一种模仿浏览器上网过程的一种程序，可以获取一些网页的数据 基础知识 URL 统一资源定位符 uniform resource locator http: 超文本传输协议 HyperText Transfer Protocol 默认端口 80 https: 安全的超文本传输协议 security…...
云原生系列 - Jenkins
Jenkins Jenkins，原名 Hudson，2011 年改为现在的名字。它是一个开源的实现持续集成的软件工具。 官方网站（英文）：https://www.jenkins.io/ 官方网站（中文）：https://www.jenkins.io…...
django踩坑（四）：终端输入脚本可正常执行，而加入crontab中无任何输出
使用crontab执行python脚本时，有时会遇到脚本无法执行的问题。这是因为crontab在执行任务时使用的环境变量与我们在终端中使用的环境变量不同。具体来说，crontab使用的环境变量是非交互式(non-interactive)环境变量，而终端则使用交互式(inter…...
计算机网络入门 -- 常用网络协议
计算机网络入门 – 常用网络协议 1.分类 1.1 模型回顾 计算机网络细分可以划为七层模型，分别是物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。而上三层可以划为应用层中。 1.2 分类 1.2.1 应用层 为用户的应用进程提供网络通信服务࿰…...
【LabVIEW作业篇 - 4】：属性节点赋值和直接节点赋值的区别体现
文章目录 属性节点赋值和直接节点赋值的区别体现 属性节点赋值和直接节点赋值的区别体现 创建5个圆形指示灯，然后循环点亮，先给圆形指示灯赋值假变量，然后再进行循环。 运行结果，观察结果，发现刚开始运行时࿰…...
【数据库系列】Parquet 文件介绍
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
A Survey on Multimodal Large Language Models综述
论文题目：A Survey on Multimodal Large Language Models 论文地址：https://arxiv.org/pdf/2306.13549 话题：多模态LLMs综述 MLLMs Paper: https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models 1. 摘要 近期，以GPT-4V为代表的跨模态大型语言模型（MLLM…...
Leetcode3208. 交替组 II
Every day a Leetcode 题目来源：3208. 交替组 II 解法1：环形数组 把数组复制一份拼接起来，和 3101 题一样，遍历数组的同时，维护以 i 为右端点的交替子数组的长度 cnt。 如果 i ≥ n 且 cnt ≥ k，那么 i…...
汇编教程2
本教程主要教大家如何安装32位Linux虚拟机，为后续实验拆炸弹做准备 下载系统映像文件 以Ubuntu14.04.6系统为例 官方网站：下载地址 点击下载图中32位系统 如果官网进不去可以使用镜像网站 清华镜像网站：下载地址 进入之后找到下图中链接…...
使用 git 和 GitHub 互动
本文根据《GitHub入门与实践》整理 创建账户 要想使用GitHub那就必须先有GitHub账号，账号自行注册，不作介绍。 本地生成 SSH Key SSH 提供了一种安全的方式来通过不安全的网络进行通信。当你使用SSH key连接到GitHub时，你的身份是通过密钥对（一个公钥和一个私钥）来验…...
【Spring Boot 中的 `banner.txt` 和 `logback-spring.xml` 配置】
文章目录 一、banner.txt1. 创建自定义 banner.txt2. 配置 banner.txt 的内容 二、logback-spring.xml1. 创建 logback-spring.xml2. 配置 logback-spring.xml 一、banner.txt banner.txt 是 Spring Boot 项目启动时显示的自定义横幅内容。用来展示项目名称、版本信息或者其他…...
Python Linux环境（Centos8）安装minicoda3+jupyterlab
文章目录 安装miniconda安装python环境启动 最近服务器检查，我下面的服务器有漏洞，不得已重装了，正好记录下怎么从零到python写代码。 安装miniconda miniconda是anconda的精简版，就是管理python环境的得力助手。 # 创建一个名…...
Python PDF Magic：合并和拆分随心所欲
大家好！小编今天要为大家带来一篇关于Python操作PDF的秘籍——无论是要将PDF合并成一份整体，还是将一个庞大的PDF文件拆分成多个小伙伴，都轻松hold住！你准备好了吗？让我们开始这场奇妙的PDF操作之旅吧！ 准…...
Gmsh应用程序编程接口
Gmsh应用程序编程接口（API）允许将Gmsh库集成到使用C、C、Python、Julia或Fortran编写的外部应用程序中。从设计上讲，Gmsh API是纯粹功能性的，并且仅使用目标语言的基本类型。 API的结构反映了底层的Gmsh数据模型（也请参…...
DP 203 学习笔记
考试内容总览 Learning Objects: 工具 Designing and implementing data storage 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store …...
SQLite 事务
SQLite 事务 SQLite 是一种轻量级的数据库管理系统，广泛用于各种应用程序中，特别是在移动设备和嵌入式系统中。它支持标准的 SQL 语法，包括事务处理。事务是数据库管理系统中的一个重要概念，它允许将一系列操作作为一个单独的工作单元来处理，以确保数据库的一致性和可靠性…...
LabVIEW和Alicat Scientific质量流量计实现精确流量控制
在现代工业自动化和科研实验中，精确的气体流量控制至关重要。这里将介绍一个使用LabVIEW与Alicat Scientific公司的质量流量计实现流量控制的项目。项目采用Alicat Scientific的质量流量计（型号：M-200SCCM-D），通过LabV…...
2024-07-19 Unity插件 Odin Inspector10 —— Misc Attributes
文章目录 1 说明2 其他特性2.1 CustomContextMenu2.2 DisableContextMenu2.3 DrawWithUnity2.4 HideDuplicateReferenceBox2.5 Indent2.6 InfoBox2.7 InlineProperty2.8 LabelText2.9 LabelWidth2.10 OnCollectionChanged2.11 OnInspectorDispose2.12 OnInspectorGUI2.13 OnIns…...
Go操作Redis详解
文章目录 Go操作Redis详解来源介绍Redis支持的数据结构Redis应用场景Redis与Memcached比较准备Redis环境go-redis库 安装连接普通连接连接Redis哨兵模式连接Redis集群基本使用set/get示例zset示例Pipeline事务WatchGo操作Redis详解 来源 https://www.liwenzhou.com/posts/Go/…...
钡铼Modbus TCP耦合器BL200实现现场设备与SCADA无缝对接
前言 深圳钡铼技术推出的Modbus TCP耦合器为SCADA系统与现场设备之间的连接提供了强大而灵活的解决方案，它不仅简化了设备接入的过程，还提升了数据传输的效率和可靠性，是工业自动化项目中不可或缺的关键设备。本文将从Modbus TC、SCADA的简要…...
联想ThinkPad声卡驱动安装避坑指南：从E470到X1 Carbon的通用解法
ThinkPad声卡驱动安装全攻略：从型号识别到疑难排解 ThinkPad作为商务笔记本的代表，其稳定性和兼容性一直备受推崇。但即便是这样成熟的产品线，声卡驱动问题依然困扰着不少用户——从经典的E470到高端的X1 Carbon，不同机型可能面临…...
新手福音：免安装claude code，在快马平台开启你的ai编程第一课
作为一个刚接触编程的新手，最近想尝试用AI辅助写代码，但光是安装本地工具就让我头疼不已。直到发现了InsCode(快马)平台，才发现原来AI编程可以这么简单——不用配环境、不用解决依赖冲突，打开网页就能直接开玩。今天就把我的入门体…...
OpenAI Triton项目中的相关技术对比：多面体编译与调度语言
OpenAI Triton项目中的相关技术对比：多面体编译与调度语言 【免费下载链接】triton Development repository for the Triton language and compiler 项目地址: https://gitcode.com/GitHub_Trending/tri/triton 引言 在深度学习编译器领域，OpenA…...
别再为版本兼容头疼了！手把手教你搞定Matlab R2014b与NI VeriStand的联合仿真环境
别再为版本兼容头疼了！手把手教你搞定Matlab R2014b与NI VeriStand的联合仿真环境 在硬件在环（HIL）测试领域，Matlab与NI VeriStand的联合仿真环境搭建是许多工程师的必经之路。然而，版本兼容性问题常常成为拦路虎&…...
高通平台USB充电背后的秘密：从SBL1阶段到Kernel的电池ID识别全解析
高通平台USB充电与电池ID识别的深度技术解析 在Android设备开发中，电源管理系统的稳定性直接影响用户体验。作为底层驱动工程师，理解高通平台从硬件到软件的完整充电流程至关重要。本文将深入剖析从XBL阶段到Kernel层的电池识别机制，揭示BATT…...
Wan2.2-I2V-A14B部署教程：系统盘50GB+数据盘40GB最小化配置实操
Wan2.2-I2V-A14B部署教程：系统盘50GB数据盘40GB最小化配置实操 1. 镜像概述与核心特性 Wan2.2-I2V-A14B是一款专为文生视频任务优化的私有部署镜像，特别针对RTX 4090D 24GB显存显卡进行了深度优化。这个镜像最大的特点是开箱即用，内置了完整…...
uniapp圆环进度条组件实战：从零到一打造个性化数据展示
Uniapp圆环进度条组件实战：从零到一打造个性化数据展示 在移动应用开发中，数据可视化是提升用户体验的关键因素之一。圆环进度条作为一种直观的数据展示方式，广泛应用于健身追踪、学习进度、任务完成度等场景。Uniapp作为跨平台开发框架&…...
LeetCode 2946. 循环移位后的矩阵相似检查【数学周期性+原地比较】简单
本文属于「征服LeetCode」系列文章之一，这一系列正式开始于2021/08/12。由于LeetCode上部分题目有锁，本系列将至少持续到刷完所有无锁题之日为止；由于LeetCode还在不断地创建新题，本系列的终止日期可能是永远。在这一系列刷题文章…...
AlertDialog高斯模糊进阶指南：Android12新特性与兼容方案对比
AlertDialog高斯模糊进阶指南：Android12新特性与兼容方案对比 在移动应用设计中，视觉层次的营造往往决定了用户体验的优劣。当用户与AlertDialog交互时，背景的高斯模糊效果能够有效聚焦注意力，同时保持界面连贯性。Android 12引入…...
LFM2.5-1.2B-Thinking-GGUF基础教程：单页Web界面交互逻辑与后处理机制
LFM2.5-1.2B-Thinking-GGUF基础教程：单页Web界面交互逻辑与后处理机制 1. 模型与平台介绍 LFM2.5-1.2B-Thinking-GGUF是Liquid AI推出的轻量级文本生成模型，专为低资源环境优化设计。这个镜像采用内置GGUF模型文件和llama.cpp运行时，提供了…...