当前位置: 首页 > news >正文

Python零基础---爬虫技术相关

python 爬虫技术,关于数据相关的拆解:

1.对页面结构的拆解

2.数据包的分析(是否加密了参数)(Md5 aes)难易程度,价格

3.对接客户(433,334)

# 数据库  CSV

4.结单(发一部分数据)截图,录视频

举例如下:分析拆解过程

数据结构分析:

如下:

写爬虫技术

1.确定网址

2.请求(难度在这个过程)

3.刷选数据

4,保存

import requests


#1.确定网址
Url = 'https://liak,envsc,cn/0utInterface/GetpSList,ashx?regionCode=0&psname=&SystemType=C16A8820480E678F&sgn=4a4f94d86e81fc:b99170851369&ts=1698041764795&tc=92501981


ua ={'User-Agent':Mozilla/5.0(windows NT 10.0: Win64,t/537.36(KHTMLlike Gecko)Chrome/119.0.0.0 Safari/537.36'}


# 2.请求
json _data =requests.get(url,headers=ua).json()

print(json_data)

# 3.筛选数据
for res data in json data:
g_name = res_data['ps_name']
x_zheng = res_data['region_iame']
fa_ren = res_data['corporation_name']
shuLiang = res_data['link_info']


# 4.保存
with open('fadianchang2.csv','a+') as file:
file.write(f'ig_name},{x_zheng},ffa_ren},{shuLiang}\n')

相关文章:

Python零基础---爬虫技术相关

python 爬虫技术,关于数据相关的拆解: 1.对页面结构的拆解 2.数据包的分析(是否加密了参数)(Md5 aes)难易程度,价格 3.对接客户(433,334) # 数据库 CSV 4.结单(发一部分数据&a…...

利用 STM32 TIMER 触发 ADC 实现分组转换

1、问题描述 使用 STM32G4 系列芯片开发产品,用到其中一个 ADC 模块的多个通道,他希望使 用 TIMER 来定时触发这几个通道的转换。不过他有两点疑惑。第一,他期望定时器触发这几个 通道是每触发一次则只转换一个通道,这样依次触发…...

2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛——B 题:基于多模态特征融合的图像文本检索完整思路与源代码分享

一、问题背景 随着近年来智能终端设备和多媒体社交网络平台的飞速发展,多媒体数据呈现海量增长 的趋势,使当今主流的社交网络平台充斥着海量的文本、图像等多模态媒体数据,也使得人 们对不同模态数据之间互相检索的需求不断增加。有效的信…...

Java12~14 switch语法

JDK8以后的语法没学习了,现在时代发展这么快,所以得加紧时间学习了。JDK12只有一个特性就是switch语法,算是比较容易学习的一个版本吧。总体来说就是三部分内容。具体内容可以看JEP-325的内容。 箭头语法 每个case可以放箭头了。以下是一个例…...

小狐狸ChatGPT智能聊天系统源码v2.7.6全开源Vue前后端+后端PHP

测试环境包括Linux系统的CentOS 7.6,宝塔面板,PHP 7.4和MySQL 5.6。网站的根目录是public, 使用thinkPHP进行伪静态处理,并已开启SSL证书。 该系统具有多种功能,包括文章改写、广告营销文案创作、编程助手、办公达人…...

The Rise and Potential of Large Language Model Based Agents: A Survey

OpenAI AI的应用研究主管Lilian Weng发布了关于AI Agents的《大语言模型(LLM)支持的自主代理》,在文章中她定义了基于LLM构建AI Agents的应用框架:AgentLLM(大型语言模型)记忆(Memory&#xff0…...

【GPT-SOVITS-06】特征工程-HuBert原理

说明:该系列文章从本人知乎账号迁入,主要原因是知乎图片附件过于模糊。 知乎专栏地址: 语音生成专栏 系列文章地址: 【GPT-SOVITS-01】源码梳理 【GPT-SOVITS-02】GPT模块解析 【GPT-SOVITS-03】SOVITS 模块-生成模型解析 【G…...

ros小问题之差速轮式机器人轮子不显示(rviz gazebo)

在rviz及gazebo练习差速轮式机器人时,很奇怪,只有个机器人的底板及底部的两个万向轮,如下图, 后来查看相关.xacro文件,里面是引用包含了轮子的xacro文件,只需传入不同的参数即可调用生成不同位置的轮子&…...

网络安全实训Day5

写在前面 昨天忘更新了......讲的内容不多,就一个NAT。 之前记的NAT的内容:blog.csdn.net/Yisitelz/article/details/131840119 网络安全实训-网络工程 NAT 公网地址与私网地址 公网地址 可以在互联网上被寻址,由运营商统一分配全球唯一的I…...

【Unity入门】详解Unity中的射线与射线检测

目录 前言一、射线的创建方法二、射线检测1、Raycast()Raycast()不使用射线RayRaycast()使用射线Ray 2、RaycastAll()使用射线RayRaycastAll() 不使用射线Ray 3、射线的碰撞信息 三、示例四、具体使用场景射线的调试方法1、Debug.DrawLine()2、Debug.DrawRay利用Gizmos 前言 碰…...

实验11-2-5 链表拼接(PTA)

题目: 本题要求实现一个合并两个有序链表的简单函数。链表结点定义如下: struct ListNode {int data;struct ListNode *next; }; 函数接口定义: struct ListNode *mergelists(struct ListNode *list1, struct ListNode *list2); 其中lis…...

Mybatis Plus + Spring 分包配置 ClickHouse 和 Mysql 双数据源

目录 一、背景 二、各个配置文件总览(文件位置因人而异) 2.1 DataSourceConfig 2.2 MybatisClickHouseConfig (ClickHouse 配置类) 2.3 MybatisMysqlConfig(Mysql 配置类) 2.4 application.propertie…...

27-3 文件上传漏洞 - 文件类型绕过(后端绕过)

环境准备:构建完善的安全渗透测试环境:推荐工具、资源和下载链接_渗透测试靶机下载-CSDN博客 导语 后端校验由开发决定是检测文件后缀,还是文件内容。 文件类型绕过(Content-Type) 1)MIME 类型 定义:MIME(Multipurpose Internet Mail Extensions)类型是一种标准,…...

widget一些控件的使用

QRadioButton使用 先使用ui界面拖拽创建radio button #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);ui->male->setChecked(true);//选中按钮ui->o…...

Python基础(七)之数值类型集合

Python基础(七)之数值类型集合 1、简介 集合,英文set。 集合(set)是由一个或多个元素组成,是一个无序且不可重复的序列。 集合(set)只存储不可变的数据类型,如Number、…...

电脑充电器能充手机吗?如何给手机充电?

电脑充电器可以给手机充电吗? 电脑充电器可以给手机充电,但前提是电脑充电器的功率输出与手机的功率匹配且接口匹配。 假设电脑充电器的输出功率为5V/2A,手机也支持5V/2A的输入功率。 只要接口匹配,就可以使用电脑充电器给手机充…...

矩阵中移动的最大次数

文章目录 所属专栏:BFS算法 题目链接 思路如下: 1.首先我们需要从第一列开始遍历,寻找每一个都能够满足条件的位置,将它插入到数组里面 2.第一列遍历完了后我们先判断第一列的数是否都满足条件插入到数组里面,如果数组为空&#…...

Linux:系统初始化,内核优化,性能优化(3)

优化系统的文件句柄数(全局) 也就是系统的最大文件数量 查看最大数量 cat /proc/sys/fs/file-max 当我们的服务器有非常大的一个数据并发的时候十几二十万的文件需要去配置,可能这个是远远不够的,我们就要去修改 vim /etc/sy…...

使用 GitHub Actions 通过 CI/CD 简化 Flutter 应用程序开发

在快节奏的移动应用程序开发世界中,速度、可靠性和效率是决定项目成功或失败的关键因素。持续集成和持续部署 (CI/CD) 实践已成为确保满足这些方面的强大工具。当与流行的跨平台框架 Flutter 和 GitHub Actions 的自动化功能相结合时,开发人员可以创建无…...

微软 CEO Satya Nadella 的访谈

Nicolai: 大家好。我刚经历了人生中最不可思议的事情,我有幸采访了微软的 CEO、Satya Nadella。微软现在是全球市值最高的公司。真是太棒了,请继续关注。 第一章 微软的发展与平台转变 Nicolai: Satya,你是全球市值最高公司的 CEO&#xff…...

Claude Code 常用操作指南:命令速查 + 上下文管理 + 高效工作流,中文开发者一站式参考

目录 背景:Claude Code 用久了都会遇到什么问题? 这个项目是什么? 核心技巧一:上下文管理三件套 /rewind — 方案跑偏了别纠正,直接回退 /fork — 分叉新会话验证新思路 /btw — 临时提问不污染对话历史 核心技…...

大模型---MetaGPT

目录 1.MetaGPT 2.SOP工作流 3.总结 1.MetaGPT 参考论文: [2308.00352] MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework MetaGPT将Standardized Operating Procedures(SOPs)编码进prompt sequence,让不同角色的Agent像流水线一样处理复杂任务…...

AI写论文神器合集!4款AI论文写作工具,解决你的论文烦恼!

AI写论文工具测评 在2025年,学术写作正在经历一场智能化的浪潮,越来越多的人开始尝试使用AI写论文工具。尽管这些工具的数量众多,但在撰写硕士或博士论文等长篇学术作品时,它们往往面临很多挑战。许多AI写论文工具缺乏必要的理论…...

C盘告急别慌!保姆级教程:把WSL2的Ubuntu 20.04完整搬家到D盘(附恢复普通用户权限)

C盘告急别慌!保姆级教程:把WSL2的Ubuntu 20.04完整搬家到D盘(附恢复普通用户权限)当C盘空间不足的红色警告频繁弹出,而你的WSL2 Ubuntu系统正占用着宝贵空间时,这篇文章将成为你的救星。不同于常规安装教程…...

ABAP 关键用户版本语句白名单全解析:从语法限制到实战案例

在很多 SAP S/4HANA Cloud 项目里,业务关键用户已经不再满足于只提需求、等 IT 做开发。通过 Custom Fields and Logic 这类 Fiori 应用,关键用户可以直接在浏览器里写 ABAP 代码,自助实现校验、默认值、计算逻辑等扩展。这背后真正跑的,就是一个专门为关键用户设计的受限语…...

FinML-Chain:融合链上链下数据,构建可信金融机器学习数据集

1. 项目概述:当区块链数据遇见机器学习 在金融科技这个日新月异的领域,我们每天都在和数据打交道。无论是高频交易、风险评估还是市场预测,机器学习模型早已成为我们手中不可或缺的“利器”。但干这行久了,你一定会遇到一个绕不开…...

JMeter深度实战:从HTTP接口测试到性能根因分析

1. 这不是“点点按钮就能出报告”的玩具,而是接口质量的显微镜很多人第一次打开JMeter,以为它就是个带图形界面的curl增强版——填个URL、点下“启动”,等几秒看个响应码,再导出个Excel就完事了。我刚接手电商中台接口测试时也这么…...

ARMv9 SME指令集:FDOT浮点点积操作深度解析

1. SME指令集与浮点点积操作概述在当代处理器架构设计中,向量化计算能力已成为衡量芯片性能的关键指标。作为ARMv9架构的重要扩展,SME(Scalable Matrix Extension)指令集专门针对矩阵运算进行了深度优化,其中多向量浮点…...

Gemini 3.5破解50年数学猜想,数学家紧急复核

AI 攻克人类智慧高地?Gemini 3.5 传出“破解 50 年数学猜想”重大突破,数学家:正在紧急复核!2026年伊始,科技界与学术界共同迎来了一场堪称“地震级”的重磅新闻。据权威学术预印本网站及谷歌 DeepMind 团队透露&#…...

VMware17装CentOS踩过的那些坑:从镜像选择、密码设置到登录失败的完整避雷指南

VMware17安装CentOS实战避坑指南:从镜像选择到登录失败的深度解析第一次在VMware17上安装CentOS时,我像大多数新手一样,以为只要跟着教程一步步操作就能顺利完成。然而现实给了我一记响亮的耳光——从镜像下载到最终登录,几乎每个…...