爬虫技术初步自学
目的
本篇文章实际上自学爬虫技术的学习一份学习笔记，希望可以对后学的小白起到帮助，也希望得到大佬的指点，若有错漏希望大佬指出。
初步认知
爬虫实际上是一个计算机程序。开发爬虫程序的常用语言是Python。（Python我已经在五六年前就感觉很火热了，感觉这个语言应该非常好用，后续要提上学习计划了。）
它的行为看起来就像是蜘蛛在网上面爬行一样，顺着互联网这个“网”，一条线一条线地“爬行”。所以爬虫在英文中又叫作“Spider”，正是蜘蛛这个单词。（Spider man就是蜘蛛侠了，说不定爬虫技术到高深处做好事的话咱也是一名行走在夜之城的侠客也未可知啊）
主要是用于爬取网站的数据，并且效率极高，比起人工收集数据的效率高出很多倍。
爬虫技术的应用
数据收集
由于网页模板大多都是一样的，所以针对一个页面写出了一个爬虫程序就可以通过这个程序获取大量相同的网页数据。
刷流量和秒杀活动
刷流量是爬虫天然自带的功能。当爬虫访问了一个网站时，如果这个爬虫隐藏得很好，网站不能识别这一次访问来自于爬虫，那么就会把它当成正常访问。于是，爬虫就“不小心”地刷了网站的访问量。除了刷流量外，爬虫也可以参与各种秒杀活动，包括但不限于在各种电商网站上抢商品等等。（我想着现在这种防止爬虫的技术基本上大厂的网站已经做过很好的防护程序了，就算要用也只能去小地方看看了）
参考文章：
链接: 何为爬虫技术（感谢大佬的技术分享）
相关文章：
爬虫技术初步自学
目的 本篇文章实际上自学爬虫技术的学习一份学习笔记，希望可以对后学的小白起到帮助，也希望得到大佬的指点，若有错漏希望大佬指出。 初步认知 爬虫实际上是一个计算机程序。开发爬虫程序的常用语言是Python。（Python我已经在五…...
【力扣 | SQL题 | 每日三题】力扣175， 176， 181
1. 力扣175：组合两个表 1.1 题目： 表: Person ---------------------- | 列名 | 类型 | ---------------------- | PersonId | int | | FirstName | varchar | | LastName | varchar | ---------------------- personId 是该…...
SpringBoot使用hutool操作FTP
项目场景： SpringBoot使用hutool操作FTP，可以实现从FTP服务器下载文件到本地，以及将本地文件上传到FTP服务器的功能。 实现步骤： 1、引入依赖 <dependency><groupId>commons-net</groupId><artifactId>…...
如何防止SQL注入攻击
SQL注入攻击是一种常见的网络安全威胁，攻击者通过在用户输入中插入恶意的SQL代码，从而可以执行未经授权的数据库操作。为了防止SQL注入攻击，我们可以采取一系列有效的措施来保护数据库和应用程序的安全性。以下是一些关键的防范策略ÿ…...
Java List类
欢迎来到Cefler的博客😁 🕌博客主页：折纸花满衣 🏠个人专栏：Java 目录 👉🏻List1. 接口与实现2. 特性3. 常用方法4. 示例代码5. 遍历6. 线程安全 👉🏻List Java的 List …...
使用 Internet 共享 (ICS) 方式分配ip
设备A使用dhcp的情况下，通过设备B分配ip并共享网络的方法。 启用网络共享（ICS）并配置 NAT Windows 自带的 Internet Connection Sharing (ICS) 功能可以简化 NAT 设置，允许共享一个网络连接给其他设备。 打开网络设置࿱…...
SMTP/IMAP服务发在线邮件时要用到
SMTP/IMAP服务 require PHPMailerAutoload.php; // 或 require class.phpmailer.php;// 创建实例 $mail new PHPMailer();// 设定邮件服务器 $mail->isSMTP(); $mail->Host smtp.example.com; // 邮件服务器地址 $mail->SMTPAuth true; $mail->Username your…...
Threejs绘制圆锥体
上一章节实现了胶囊体的绘制，这节来绘制圆锥体，圆锥体就是三角形旋转获得的，如上文一样，先要创建出基础的组件，包括场景，相机，灯光，渲染器。代码如下： initScene() {this…...
速通LLaMA3：《The Llama 3 Herd of Models》全文解读
文章目录 概览论文开篇IntroductionGeneral OverviewPre-TrainingPre-Training DataModel ArchitectureInfrastructure, Scaling, and EfficiencyTraining Recipe Post-TrainingResultsVision ExperimentsSpeech Experiments⭐Related WorkConclusionLlama 3 模型中的数学原理1…...
Python网络爬虫获取Wallhaven壁纸图片(源码)
** 话不多说，直接附源码，可运行！ ** import requests from lxml import etree from fake_useragent import UserAgent import timeclass wallhaven(object):def __init__(self):# yellow# self.url "https://wallhaven.cc/search?co…...
智能化引领等保测评新时代：AI与大数据的深度融合
随着信息技术的飞速发展，等级保护测评（简称“等保测评”）作为保障信息系统安全的重要手段，正迎来前所未有的变革。在这一背景下，人工智能（AI）与大数据技术的深度融合，正引领等保测评…...
深入解析：HTTP 和 HTTPS 的区别
网络安全问题正变得日益重要，而 HTTP 与 HTTPS 对用户数据的保护十分关键。本文将深入探讨这两种协议的特点、工作原理，以及保证数据安全的 HTTPS 为何变得至关重要。 认识 HTTP 与 HTTPS HTTP 的工作原理 HTTP，全称超文本传输协议…...
《动手学深度学习》笔记1.11——实战Kaggle比赛：预测房价+详细代码讲解
目录 0. 前言 原书正文 1. 下载和缓存数据集 1.1 download() 下载数据集 1.2 download_extract() 解压缩 2. Kaggle 简介 3. 访问和读取数据集 4. 数据预处理 5. 训练（核心难点） 5.1 get_net() 定义模型-线性回归 5.2 log_rmse() 对数均方根…...
数据结构：单链表实现信息管理
一、函数声明部分 #ifndef __LINK_H__ #define __LINK_H__ #include <myhead.h> typedef struct Link1 {union{int len;//用于头结点，统计节点个数int data;//用于正常节点，存储数据};struct Link1 *next;//指针域 }Link,*Plink;/**********函数声…...
【Linux】解锁文件描述符奥秘，高效缓存区的实战技巧
fd和缓冲区 1. 文件描述符fd1.1. 概念与本质1.2. 打开文件的管理1.3. 一切皆文件的理解1.4. 分配规则1.5. 重定向的本质1.5.1. dup2 2. FILE中的缓冲区2.1. 概念2.2. 存在的原因2.3. 类型(刷新方案)2.4. 存放的位置2.4.1. 代码证明、现象解释 2.5. 模拟C标准库中的方法 1. 文件…...
EmguCV学习笔记 VB.Net 11.9 姿势识别 OpenPose
版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的。 EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。 教程VB.net版本请访问…...
2024.9.26 Spark学习
资料： Spark基础入门-第一章-1.1-Spark简单介绍_哔哩哔哩_bilibili （1）基础知识 Apache Spark 是用于大规模数据（large-scale data）处理的统一分析引擎。 分布式处理数据 PySpark模块 Spark 和 Hadoop 有区别&…...
我与Linux的爱恋：进程地址空间
🔥个人主页：guoguoqiang. 🔥专栏：Linux的学习 文章目录 1.来段代码2.引入最基本的理解3.尝试理解 1.来段代码 #include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h&g…...
C++的哲学思想
C的哲学思想 文章目录 C的哲学思想💡前言💡C的哲学思想☁️C底层不应该基于任何其他语言（汇编语言除外）☁️只为使用的东西付费（不需要为没有使用到的语言特性付费）☁️以低成本提供高级抽象（更…...
IO(输入输出流)
1.IO a.介绍 i.IO是指Input和Output，即输入和输出，以内存为中心： 1.Input是指从外部读入数据到内存。 2.Output是指把数据从内存输出到外部。 ii.IO流是一种顺序读写数据的模式，它的特点是单向流动。数据类似自…...
VB.net复制Ntag213卡写入UID
本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...
黑马Mybatis
Mybatis 表现层：页面展示 业务层：逻辑处理 持久层：持久数据化保存 在这里插入图片描述 Mybatis快速入门 
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...
线程与协程
1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指：像函数调用/返回一样轻量地完成任务切换。 举例说明： 当你在程序中写一个函数调用： funcA() 然后 funcA 执行完后返回&…...
如何在看板中有效管理突发紧急任务
在看板中有效管理突发紧急任务需要：设立专门的紧急任务通道、重新调整任务优先级、保持适度的WIP（Work-in-Progress）弹性、优化任务处理流程、提高团队应对突发情况的敏捷性。其中，设立专门的紧急任务通道尤为重要，这能…...
关键领域软件测试的突围之路：如何破解安全与效率的平衡难题
在数字化浪潮席卷全球的今天，软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件，这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下，实现高效测试与快速迭代？这一命题正考验着…...
PHP 8.5 即将发布：管道操作符、强力调试
前不久，PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5！作为 PHP 语言的又一次重要迭代，PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是，借助强大的本地开发环境 ServBay&am…...
关于easyexcel动态下拉选问题处理
前些日子突然碰到一个问题，说是客户的导入文件模版想支持部分导入内容的下拉选，于是我就找了easyexcel官网寻找解决方案，并没有找到合适的方案，没办法只能自己动手并分享出来，针对Java生成Excel下拉菜单时因选项过多导…...
libfmt: 现代C++的格式化工具库介绍与酷炫功能
libfmt: 现代C的格式化工具库介绍与酷炫功能 libfmt 是一个开源的C格式化库，提供了高效、安全的文本格式化功能，是C20中引入的std::format的基础实现。它比传统的printf和iostream更安全、更灵活、性能更好。 基本介绍 主要特点 类型安全：…...
在 Spring Boot 中使用 JSP
jsp？ 好多年没用了。重新整一下 还费了点时间，记录一下。 项目结构： pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...