写爬虫代码抓取Asterank中小行星数据
2024年5月4日
问题来源
解决方案
回顾2023年7月14日自己写的爬虫代码
import requests
import re
import pandas as pd
texts=[]
def getData(page):#每页评论的网址url='https://item.jd.com/51963318622.html#comment'#添加headers，伪装成浏览器headers={'User-Agent':''}#获取响应信息response=requests.get(url,headers)page_text=response.text#通过requests获得了网页的源代码，就可以对源代码字符串使用正则表达式来提取文本信息#定义正则，获取商品信息,py的正则表达式模块为re(regular expression)ex='"guid":.*?,"content":"(.*?)"'result=re.findall(ex,page_text)#把获取到的评论放入之前创建的空列表中texts.extend(result)#创建一个空的数据表，保存成exceldf=pd.DataFrame()#导入数据到excel并保存df['评论']=textsdf.to_excel('京东商品评论.xlsx')#爬第一页和第二页,重复执行主函数中的gatData函数
if __name__=="_main_":for i in range(0,3):getData(i)数据处理（设计器和python ）基本都会遇到的知识点：（实训笔记）
1.循环：设计器：计次循环=for i in range（在计次之前需要设置一个变量）
2.变量
通过re和？？进行数据解析，解析的方法是正则表达式
正则表达式会隐藏在文件中的对应请求中
respons就是一个字典，根据键获取对应的值
写入excel或者数据库，
创建游标的方式执行SQL语句，就是insert INto、、插入
尝试根据去年的代码实现小行星数据抓取:BS4-
Beautiful Soup4是Python第三方库，用来从HTML和XML中提取数据
from bs4 import BeautifulSoup#解析源代码生成BeautifulSoup对象：
soup=BeautifulSoup(网页源代码，'解析器')
#eg: soup=BeautifulSoup(source，'html.parser')
# soup=BeautifulSoup(source，'lxml')查找内容
info=soup.find(class='test')plus:HTML基础
HTML 就是网页源代码，是一种结构化的标记语言。HTML可以描述一个网页的结构信息。
HTML与CSS（层叠样式表），JavaScript一起构成了现代互联网的基石。
来看一段html的示例代码：
<html><head><title>测试</title></head><body><div class="useful"><ul><li class="info">我需要的信息1</li><li class="info">我需要的信息2</li><li class="info">我需要的信息3</li></ul></div><div class="useless"><ul><li class="info">垃圾1</li><li class="info">垃圾2</li></ul></div></body></html>html的层级关系
使用BeautifulSoup4爬取网站
https://www.damai.cn/projectlist.do中的的演出信息，将结果保存到CSV文件
我的目标是抓取当Name='Inputname'时 ，Est.profit那一列的数据
晚上试了很久，都没有成功运行。(GTP不太行)
第二天早上继续尝试。
爬爬爬（一）——网页表格（四种方法） - 知乎 (zhihu.com)
每行是一个tr标签，每一个内容是tr下的td标签
在 soup 里循环遍历所有的元素并存储在变量中
写了两天爬虫代码，没弄出来。好想寺
相关文章：
写爬虫代码抓取Asterank中小行星数据
2024年5月4日 问题来源 解决方案 回顾2023年7月14日自己写的爬虫代码 import requests import re import pandas as pd texts[] def getData(page):#每页评论的网址urlhttps://item.jd.com/51963318622.html#comment#添加headers，伪装成浏览器headers{User-Agent:…...
leetCode81. 搜索旋转排序数组 II
leetCode81. 搜索旋转排序数组 II 题目思路 可以二分后的具体思路见我的上篇博客 搜索旋转排序数组 代码 class Solution { public:bool search(vector<int>& nums, int target) {if(nums.empty()) return false;int R nums.size() - 1;while(R > 0 &&…...
在Ubuntu上怎么查看安装了哪些包？
2024年5月3日，周五晚上 在Ubuntu上，你可以使用以下命令来查看系统中已安装的包： 使用dpkg命令：dpkg --list这个命令将列出系统中所有已安装的软件包，包括名称、版本号和描述等信息。你可以使用 grep 命令来过滤结果&a…...
Navicat连接远程数据库时，隔一段时间不操作出现的卡顿问题
使用 Navicat 连接服务器上的数据库时，如果隔一段时间没有使用，再次点击就会出现卡顿的问题。 如：隔一段时间再查询完数据会出现： 2013 - Lost connection to MySQL server at waiting for initial communication packet, syste…...
修改页签标题 + 页签图表
修改图标 在App.vue下的created()里或者路由守卫中输入 var link document.querySelector("link[rel*icon]") || document.createElement("link"); link.type "image/x-icon"; link.rel "shortcut icon"; link.href require(l…...
QT---day5，通信
1、思维导图 2、TCp 服务器 #ifndef MYWIDGET_H #define MYWIDGET_H #include <QWidget> #include <QTcpServer> #include <QList> #include <QTcpSocket> #include <QMessageBox> #include <QDebug> #include <QTcpServer> QT_B…...
设计模式: 工厂模式
工厂模式（Factory Pattern）是 Java 中最常用的设计模式之一，这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。 工厂模式提供了一种创建对象的方式，而无需指定要创建的具体类。 工厂模式属于创建型…...
Java 多线程补充
线程池 Java线程池是一种能够有效管理线程资源的机制，它可以显著提高应用性能并降低资源消耗。 线程池的主要优点包括： 资源利用高效：通过重用已存在的线程，减少了频繁创建和销毁线程带来的系统开销。响应速度提升：…...
【Java基础】Maven继承
1. 前言 Maven 在设计时，借鉴了 Java 面向对象中的继承思想，提出了 POM 继承思想。 2. Maven继承 当一个项目包含多个模块时，可以在该项目中再创建一个父模块，并在其 POM 中声明依赖，其他模块的 POM 可通过继承父模…...
java技术总结
1.java基本数据类型？ byte 1，short 2 ，int 4，long 8 ，float 4，double 8，boolean 1，char 2 2.java为什么要有包装类型？ 前 6 个类派生于公共的超类 Number，而 Character 和 Boolean 是 Object 的直接子类。 被 final 修饰， Java 内置的包装类是无法被继承的。 包装…...
C# WinForm —— 12 ListBox绑定数据
ListBox加载大量数据时，避免窗体闪烁的方法： 在加载语句的前后分别加上 BeginUpdate()方法 和 EndUpdate()方法 指定一个集合为绑定的数据源 1. 首先，右键项目，添加类 2. 在新建的类文件中添加属性值信息 3. 构建初始化的对象…...
自动驾驶主流芯片及平台架构（二）特斯拉自动驾驶芯片平台介绍
早期 对外采购mobileye EyeQ3 芯片摄像头半集成方案，主要是为了满足快速量产需求，且受制于研发资金不足限制； 中期 采用高算力NVIDIA 芯片平台其他摄像头供应商的特斯拉内部集成方案，mobileye开发节奏无法紧跟特斯拉需求ÿ…...
powershell@管道符过滤的顺序问题@powershell管道符如何工作
文章目录 select 和 where谁先执行powershell管道符stop-service 为例查看文档中的典型参数介绍stop-process为例介绍管道符传参是怎么工作的Id参数InputObject 参数Name参数额外的试验反面例子应用:get-process 和stop-process配合 select 和 where谁先执行 在执行筛选时&…...
SMI接口
目录 SMI 接口帧格式读时序写时序 IP 设计IP 例化界面IP 接口IP 验证 SMI 接口 SMI（Serial Management Interface）串行管理接口，也被称作 MII 管理接口（MII Management Interface），包括 MDC 和 MDIO 两条信…...
【C++】转换构造函数和类型转换函数
目录 转换构造函数转换构造函数调用 类型转换函数类型转换函数定义形式应用 转换构造函数 转换构造函数就是一种构造函数，将一个其他类型的数据转换成一个类的对象的构造函数。 类型->类对象 转换构造函数调用 （1）显式强制类型转换&…...
全栈开发之路——前端篇（5）组件间通讯和接口等知识补充
全栈开发一条龙——前端篇 第一篇：框架确定、ide设置与项目创建 第二篇：介绍项目文件意义、组件结构与导入以及setup的引入。 第三篇：setup语法，设置响应式数据。 第四篇：数据绑定、计算属性和watch监视 辅助文档&…...
4.【Orangepi Zero2】Linux定时器(signal、setitimer)，软件PWM驱动舵机（SG90）
Linux定时器（signal、setitimer），软件PWM驱动舵机（SG90） signalsetitimer示例 软件PWM驱动舵机（SG90） signal 详情请看Linux 3.进程间通信（shmget shmat shmdt shmctl 共享内存、si…...
K8S哲学 - 资源调度 HPA （horizontal pod autoScaler-sync-period）
kubectl exec： kubectl exec -it pod-name -c container-name -- /bin/sh kubectl run 通过一个 deployment来 演示 apiVersion: apps/v1 kind: Deployment metadata:name: deploylabels: app: deploy spec: replicas: 1selector: matchLabels:app: deploy-podt…...
uniapp/微信小程序实现加入购物车点击添加飞到购物车动画
1、预期效果 2、实现思路 每次点击添加按钮时，往该按钮上方添加一个悬浮元素，通过位移动画将元素移到目标位置。 1. 为每个点击元素设置不同的class，才能通过uni.createSelectorQuery来获取每个元素的节点信息； 2. 添加一个与…...
电商大数据的采集||电商大数据关键技术【基于Python】
.电商大数据采集API 什么是大数据？ 1.大数据的概念 大数据即字面意思，大量数据。那么这个数据量大到多少才算大数据喃？通常，当数据量达到TB乃至PB级别时，传统的关系型数据库在处理能力、存储效率或查询性能上可能会遇…...
从取证到防御：实战解析BadUSB攻击与USB流量异常检测（Wireshark实战）
从取证到防御：实战解析BadUSB攻击与USB流量异常检测（Wireshark实战） 在企业内网安全防护中，USB设备带来的威胁往往被低估。去年某金融机构遭遇的供应链攻击事件中，攻击者通过伪装成键盘的BadUSB设备，在3分钟…...
别再手动点啦！用Android无障碍服务+讯飞语音，5分钟实现App语音操控（保姆级教程）
用Android无障碍服务打造语音操控神器：5分钟实现"可见即可说" 你是否厌倦了在手机上反复点击屏幕的操作？想象一下，只需对着手机说出"打开微信"、"点击朋友圈"、"返回主页"，设备就能自动完…...
高效智能转换方案：B站缓存视频一键处理实战指南
高效智能转换方案：B站缓存视频一键处理实战指南 【免费下载链接】m4s-converter 一个跨平台小工具，将bilibili缓存的m4s格式音视频文件合并成mp4 项目地址: https://gitcode.com/gh_mirrors/m4/m4s-converter 在B站视频频繁下架的当下，…...
开发者的第二曲线：2026年最赚钱的5个技术副业
在技术范式加速重构的2026年，软件质量保障的重要性已从“成本中心”跃升为“价值中心”。对于敏锐的软件测试从业者而言，这不仅是职业的深化，更是将专业壁垒转化为财富增长的绝佳契机。传统的“接私活”模式正在被更具复利效应和杠杆价值的“…...
新手福音：用快马AI生成带详解注释的Arduino交通灯实验代码
作为一个刚接触单片机的新手，第一次看到Arduino开发板时既兴奋又迷茫。那些闪烁的LED灯和蜂鸣器背后到底藏着什么秘密？今天我就用InsCode(快马)平台来探索一个有趣的交通灯模拟项目，整个过程比想象中简单多了。 项目构思 我想做一个能模拟真实…...
小白也能学会：MogFace透明蒙版可视化，人脸检测不再难
小白也能学会：MogFace透明蒙版可视化，人脸检测不再难 1. 为什么需要透明蒙版可视化？ 想象一下这样的场景：你拍了一张全家福，想用AI工具检测照片中有多少人。传统的检测工具会在每个人脸上画一个绿色的方框࿰…...
DeepSeek-R1-Distill-Qwen-7B优化升级：提升推理速度的技巧
DeepSeek-R1-Distill-Qwen-7B优化升级：提升推理速度的技巧 1. 模型概述 DeepSeek-R1-Distill-Qwen-7B是基于Qwen架构的7B参数蒸馏模型，由DeepSeek团队开发。该模型通过知识蒸馏技术从更大的DeepSeek-R1模型中提取关键知识，在保持较高推理能…...
Windows驱动管理与系统优化：DriverStore Explorer全方位解决方案
Windows驱动管理与系统优化：DriverStore Explorer全方位解决方案 【免费下载链接】DriverStoreExplorer Driver Store Explorer [RAPR] 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer 设备驱动维护是保障Windows系统稳定运行的核心环节&…...
突破B站缓存限制：m4s-converter视频格式转换完全指南
突破B站缓存限制：m4s-converter视频格式转换完全指南 【免费下载链接】m4s-converter 一个跨平台小工具，将bilibili缓存的m4s格式音视频文件合并成mp4 项目地址: https://gitcode.com/gh_mirrors/m4/m4s-converter 当旅行途中想离线观看缓存视频却…...
OpenClaw数据安全：Qwen3.5-4B-Claude本地处理敏感合同
OpenClaw数据安全：Qwen3.5-4B-Claude本地处理敏感合同 1. 为什么法律行业需要本地化AI处理 去年我参与了一个法律科技项目，团队最初尝试用公有云API处理合同文本时，遭遇了客户对数据出海的强烈抵触。某次演示中，当法务总监看到合…...