当前位置： 首页 > news >正文

结合kimi chat的爬虫实战思路

news 2026/1/13 18:30:27

背景

想钻研一下项目组件，找找之后的学习方向。不能自以为是，所以借着网开源项目网站上公布的项目内容看一下，那些是我可以努力去学习的（入门的）。首先需要获取相关内容，于是爬取整理。

任务1：爬一个项目网站上的项目列表。

展示

在这里插入图片描述

过程：

  1. 开始是想着借助kimi chat去解析前端页面然后编写代码，但是发现生成的代码，总是跑不起来。
    前端的目录层级

  2. 去b站上学习了一下。gpt辅助爬虫
    学习了一下 爬虫常用的几个属性

  • curl（包含所有信息，header啥的） 和 har（所有操作记录）
  • 还了解到一个curl convert
    在这里插入图片描述
  1. 看到评论区，选择直接确实，直接调爬取后端api好了
    在这里插入图片描述
    在这里插入图片描述
  2. 复制粘贴完整的curl指令，
    在这里插入图片描述
  3. 喂给kimi chat（不登录网站没有cookie的话，请求访问就是空。）
    在这里插入图片描述
  4. 进一步的需求在这里插入图片描述
  5. 出现报错，给他说一下
    在这里插入图片描述
  6. 爬取效果
    在这里插入图片描述

任务2：补充项目详情

内容展示

在这里插入图片描述

过程

那这个和上面，过程大同（爬取请求）小异（从之前的csv文件中读取 项目ID，然后请求）

  1. 粘贴curl请求在这里插入图片描述
  2. 突然想到我这样的请求是不是要加个间隔，要不 算什么恶意访问。
import timetime.sleep(0.5)  # 休眠500毫秒
  1. 效果如下

在这里插入图片描述

相关文章：

结合kimi chat的爬虫实战思路

背景 想钻研一下项目组件，找找之后的学习方向。不能自以为是，所以借着网开源项目网站上公布的项目内容看一下，那些是我可以努力去学习的（入门的）。首先需要获取相关内容，于是爬取整理。 任务1&#xff1a…...

编程日记 2024/5/10 23:12:22

UnsupportedClassVersionError异常如何解决？

下面是异常报错的详细描述 java -version java version "17.0.11" 2024-04-16 LTS Java(TM) SE Runtime Environment (build 17.0.117-LTS-207) Java HotSpot(TM) 64-Bit Server VM (build 17.0.117-LTS-207, mixed mode, sharing) 环境变量已经是jdk17，但…...

编程日记 2024/5/10 23:11:20

LeetCode热题100｜动态规划Part.1｜70.爬楼梯、118.杨辉三角、198.打家劫舍

70.爬楼梯 代码随想录原题，看这篇文章：C动态规划Part.1|动态规划理论基础、509.斐波那契数、70.爬楼梯、746.使用最小花费爬楼梯 118.杨辉三角 题目链接：118.杨辉三角 一刷代码 时间复杂度和空间复杂度都造到 O ( n u m R o w s 2 ) O(num…...

编程日记 2024/5/10 23:10:19

python 根据网址和关键词批量下载影像

最近用到了GLASS的LAI产品，但这个产品的文件夹分得很细，我需要的影像又有8个瓦片，一个一个点击很麻烦，于是探索了批量下载的方法 一、下载1幅 import requests import re import os import requests import re# 网页URLurl &…...

编程日记 2024/5/10 23:06:15

爬虫-无限debug场景 解决方式

解决无限debug 场景1 1. 鼠标右键 选择 continue to here（此处不停留）2. 鼠标右键 选择 edite breakpoint 设置 10 保证条件不成立 这行永远不执行3.方法置空 1. 方法调用加断点2. 控制台 setInterval function name() {}4. 替换文件 5. hoo…...

编程日记 2024/5/10 23:04:13

[链表专题]力扣206, 203, 19

1. 力扣206 : 反转链表 (1). 题 : 图略 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。示例 1：输入：head [1,2,3,4,5] 输出：[5,4,3,2,1] 示例 2：输入：head [1,2] 输出&#x…...

编程日记 2024/5/10 23:03:11

秋招后端开发面试题 - MySQL基础

目录 MySQL基础前言面试题MySQL 基础篇Mysql 的基础架构？MySQL 的长连接和短连接长连接引起的异常重启问题？说一下 MySQL 执行一条查询语句的内部执行过程？MySQL 查询缓存的功能有何优缺点？MySQL 的常用引擎都有哪些？I…...

编程日记 2024/5/10 23:01:09

力扣每日一题113：路径总和||

题目 中等 给你二叉树的根节点 root 和一个整数目标和 targetSum ，找出所有 从根节点到叶子节点 路径总和等于给定目标和的路径。 叶子节点 是指没有子节点的节点。 示例 1： 输入：root [5,4,8,11,null,13,4,7,2,null,null,5,1], targetSu…...

编程日记 2024/5/10 23:00:07

Thinkphp5 中常见的session 操作方法

在 ThinkPHP 框架中，session 是用于在多个页面或请求之间存储用户信息的机制。以下是在 ThinkPHP 中进行 session 常见操作的一些示例： 启动 Session 在 ThinkPHP 中，通常不需要手动启动 Session，因为框架会在应用启动时自动处理…...

编程日记 2024/5/10 22:57:04

inBuilder 低代码平台新特性推荐 - 第十八期

今天来给大家带来的是inBuilder低代码平台特性推荐系列第十八期——表单设计器集成预约日历组件。 一、场景介绍 项目上希望用日历的形式展示某地点在一段时间内的预约记录，表单设计器新增支持创建日历预约视图，并配置预约属性。 二、运行效果 三、前…...

编程日记 2024/5/10 22:55:02

部署xwiki服务需要配置 hibernate.cfg.xml如何配置？

1. 定位 hibernate.cfg.xml 文件 首先，确保您可以在 Tomcat 的 XWiki 部署目录中找到 hibernate.cfg.xml 文件： cd /opt/tomcat/latest/webapps/xwiki/WEB-INF ls -l hibernate.cfg.xml如果文件存在，您可以继续编辑它。如果不存在&#xff…...

编程日记 2024/5/10 22:51:59

1376：信使(msner)

【解题思路】 每个哨所是一个顶点，哨所与哨所之间的通信线路为边，两哨所间通讯花费的时间为边的权值。记第一个哨所为顶点s，信息从第一个哨所传递到表示为顶点x的某哨所可能有多条路径，每条传送路径有一个花费的时间&…...

编程日记 2024/5/10 22:50:58

Hadoop3：HDFS的架构组成

一、官方文档 我这里学习的是Hadoop3.1.3版本，所以，查看的也是3.1.3版本的文档 Architecture模块最下面 二、HDFS架构介绍 HDFS架构的主要组成部分，是一下四个部分 1、NameNode(NN) 就是Master节点，它是集群管理者。 1、管…...

编程日记 2024/5/10 22:49:56

P2910 [USACO08OPEN] Clear And Present Danger S

Problem: P2910 [USACO08OPEN] Clear And Present Danger S 文章目录 思路解题方法复杂度Code 思路 这是一个图论问题，我们需要找到从一个城市到另一个城市的最短路径。我们可以使用Floyd-Warshall算法来解决这个问题。首先，我们需要构建一个距离矩阵&am…...

编程日记 2024/5/10 22:48:55

ES6 对象方面的新特性

ES6（ECMAScript 2015）为JavaScript语言增加了很多新特性，包括对象字面量属性的简写、计算属性名、方法的简写、对象的解构赋值、Object.assign()方法复制对象属性、Object.is()比较两个值等。以下是一些在ES6中经常使用的对象方法&#xff1a…...

编程日记 2024/5/10 22:47:54

GO语言核心30讲 进阶技术 (第一部分)

原站地址：Go语言核心36讲_Golang_Go语言-极客时间 一、数组和切片 1. 两者最大的不同：数组的长度是固定的，而切片的长度是可变的。 2. 可以把切片看成是对数组的一层封装，因为每个切片的底层数据结构中，一定会包含一…...

编程日记 2024/5/10 22:46:52

[力扣题解]225. 用队列实现栈

题目：225. 用队列实现栈 思路 用一个队列模拟栈； 假设有数字：1，2，3； pop 队列里是这样的存的：3，2，1； 作为一个栈，应该弹出最后进来的那一个3&…...

编程日记 2024/5/10 22:42:48

Leetcode—2105. 给植物浇水 II【中等】

2024每日刷题&#xff08;131&#xff09; Leetcode—2105. 给植物浇水 II 实现代码 class Solution { public:int minimumRefill(vector<int>& plants, int capacityA, int capacityB) {int size plants.size();int i 0;int j size - 1;int capA capacityA;in…...

编程日记 2024/5/10 22:40:45

wordpress外贸建站公司歪建站新版网站上线

wordpress外贸建站公司 歪猫建站 歪猫WordPress外贸建站&#xff0c;专业从事WordPress多语言外贸小语种网站建设与外贸网站海个推广、Google SEO搜索引擎优化等服务。 https://www.waimaoyes.com/dongguan...

编程日记 2024/5/10 22:39:43

关于二手车系统学习--登录模块

1.样式1-17行 <div class="cheader"><div style="width: 80%;margin: 0 auto;line-height: 50px;padding-top: 10px"><el-row><el-col:span="5"style="font-size: 20px;cursor: pointer;color: #00ae66;font-weight: …...

编程日记 2024/5/10 22:37:40

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用&#xff0c;操作系统&#xff1a;Ubuntu24.04&#xff0c;Neofj版本&#xff1a;2025.04.0。 Apt安装 Neofj可以进行官网安装&#xff1a;Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2026/1/13 12:58:41

STM32+rt-thread判断是否联网

一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

编程新知 2025/9/23 20:06:08

关于nvm与node.js

1 安装nvm 安装过程中手动修改 nvm的安装路径&#xff0c; 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解&#xff0c;但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后&#xff0c;通常在该文件中会出现以下配置&…...

编程新知 2026/1/10 5:15:40

聊聊 Pulsar：Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台&#xff0c;以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中&#xff0c;Producer&#xff08;生产者&#xff09; 是连接客户端应用与消息队列的第一步。生产者…...

编程新知 2026/1/5 5:43:58

django filter 统计数量 按属性去重

在Django中&#xff0c;如果你想要根据某个属性对查询集进行去重并统计数量&#xff0c;你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求&#xff1a; 方法1&#xff1a;使用annotate()和Count 假设你有一个模型Item&#xff0c;并且你想…...

编程新知 2026/1/11 2:37:51

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2025/12/28 0:07:12

在web-view 加载的本地及远程HTML中调用uniapp的API及网页和vue页面是如何通讯的？

uni-app 中 Web-view 与 Vue 页面的通讯机制详解 一、Web-view 简介 Web-view 是 uni-app 提供的一个重要组件&#xff0c;用于在原生应用中加载 HTML 页面&#xff1a; 支持加载本地 HTML 文件支持加载远程 HTML 页面实现 Web 与原生的双向通讯可用于嵌入第三方网页或 H5 应…...

编程新知 2025/8/6 2:19:46

PAN/FPN

import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

编程新知 2025/10/20 4:39:36

MySQL 主从同步异常处理

阅读原文&#xff1a;https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主&#xff0c;遇到的这个错误&#xff1a; Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一&#xff0c;通常表示&#xff…...

编程新知 2025/11/7 10:02:17

ubuntu22.04有线网络无法连接，图标也没了

今天突然无法有线网络无法连接任何设备&#xff0c;并且图标都没了 错误案例 往上一顿搜索&#xff0c;试了很多博客都不行&#xff0c;比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动&#xff0c;重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...

编程新知 2026/1/13 4:31:23