当前位置： 首页 > news >正文

这世上又多了一只爬虫（spiderflow）

news 2026/2/8 18:52:44

让我们一起默念：
爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫

接着大声喊出来：
一！只！爬！虫！呀！爬！呀！爬！
爬！到！南！山！就！不！爬！啦！

怎么样，没想到吧？ 这样的爬虫怕不怕？
在这里插入图片描述
好了，言归正传，到底又多了一只什么爬虫呢？

一、目标

为了分析国内上市公司的财务表现，需抓一批财务报告。

二、调研

上市公司财报哪家强？ 要钱的统统走开，咱们只看以下几个source：

  • 巨潮资讯
  • 同花顺
  • 东方财富

通过比较，博主选择了同花顺（仅供学习，别无它途哦）

三、实施

在正式实施前，强调一点，博主依然使用spiderflow作为利器，完成本次实践。

1. 打开财报页面

在这里插入图片描述
在这里插入图片描述

2. 分析财报页面

通过简单分析可知，财报数据是动态数据渲染而成。进一步抓包，可知来源于一个json文件：在这里插入图片描述
如此，遍简单了。爬起来~

3. 新建一个爬虫

爬虫大致长这样：
在这里插入图片描述
其中，关键一步是找json，需要指定类似以下的路径https://basic.10jqka.com.cn/api/stock/finance/600327_debt.json，红色数字代表上市公司代码，可作为一个变量进行替换。这样就能满足批量下载了。

在这里插入图片描述
在这里插入图片描述

到此，大功告成。值得一提，本文仅用于学习交流，切勿他用。

在这里插入图片描述

相关文章：

这世上又多了一只爬虫（spiderflow）

让我们一起默念： 爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫爬虫 接着大声喊出来： 一！只！爬！虫！呀！爬！呀！爬&#xf…...

编程日记 2024/6/15 23:17:46

SpringMVC框架学习笔记（七）：处理 json 和 HttpMessageConverter 以及文件的下载和上传

1 处理 JSON-ResponseBody 说明: 项目开发中，我们往往需要服务器返回的数据格式是按照 json 来返回的 下面通过一个案例来演示SpringMVC 是如何处理的 （1） 在web/WEB-INF/lib 目录下引入处理 json 需要的 jar 包，注意 spring5.x…...

编程日记 2024/6/15 23:16:45

八、BGP

目录 一、为何需要BGP？ 二、BGP 2.1、BGP邻居 2.2、BGP报文 2.3、BGP路由 2.4、BGP通告遵循原则 2.5、BGP实验 第一步：建立邻居 第二步：引入路由 BGP路由黑洞 路由黑洞解决方案 1、IBGP全互联 2、路由引入 3、MPLS 多协…...

编程日记 2024/6/15 23:15:44

有监督学习——支持向量机、朴素贝叶斯分类

1. 支持向量机 支持向量机（Support Vector Machine, SVM）最初被用来解决线性问题，加入核函数后能够解决非线性问题。主要优点是能适应小样本数量 高维度特征的数据集，甚至是特征维度数高于训练样本数的情况。 先介绍几个概念&am…...

编程日记 2024/6/15 23:14:43

自动化测试文档

自动化测试文档的类型 自动化测试方案： 目的：描述自动化测试的目标、范围、方法、资源等。内容：通常包含测试计划、测试用例设计、测试环境配置、测试执行策略、预期结果、风险评估等。自动化测试脚本： 目的：用于执行…...

编程日记 2024/6/15 23:13:42

vue-i18n使用步骤详解（含完整操作步骤）

开篇 下面是从创建vue项目开始，完整使用i18n实现国际化功能的步骤，希望对您有所帮助。 完整步骤 创建项目 创建项目，并在创建项目的时候选择vuex,router 选择3.x版本 后面随意选即可，下面是完整的代码结构 安装vue-i18n,并封装…...

编程日记 2024/6/15 23:12:41

XXE漏洞修补：保护您的系统免受XML外部实体攻击

引言 XML外部实体（XXE）漏洞是一种常见的网络安全问题，它允许攻击者通过XML文档中的实体引用读取服务器上的文件或发起远程服务器请求。这种漏洞可能被用于数据泄露、拒绝服务攻击（DoS）甚至远程代码执行。本文将探讨XX…...

编程日记 2024/6/15 23:11:39

去除upload的抖动效果

title: 去除upload的抖动效果 date: 2024-06-15 20:16:51 tags: vue3 在使用vue3element-plus框架的时候，常常会使用到el-upload方法。其中如果做了翻页效果可以发现图片过度方式是集中到左上角进行的翻页，这种效果不是很好，我们还是想让这中…...

编程日记 2024/6/15 23:10:38

什么是 Linux ？（Linux）

系列文章目录 第一章 什么是Linux？ 文章目录 系列文章目录一、什么是 Linux ？二、Linux 的发行版本总结 一、什么是 Linux ？ Linux（Linux Is Not UniX），是一种免费使用和自由传播的类UNIX操作系统&#x…...

编程日记 2024/6/15 23:08:35

uni-app 怎么在tabbar使用阿里图标库

提示：微信小图标不支持使用字体图标的方式，只能下载png 方法一：直接下载png图片 我们首选打开阿里矢量图标库 链接在下方 👇 iconfont-阿里巴巴矢量图标库iconfont-国内功能很强大且图标内容很丰富的矢量图标库，提供矢…...

编程日记 2024/6/15 23:06:33

勒索病毒剖析

2016年不自己勒索了 卖病毒 让别人勒索 傻瓜式勒索 黑客用的是非对称加密 全世界只有黑客有那把私钥 反向解密不了 传统爆破容易被检测，黑客慢速爆破，利用超级多的僵尸进行试错，慢慢试出来账号密码 因为一般运维设备在防火墙的白名单里&…...

编程日记 2024/6/15 23:04:29

【C++11】第一部分(一万六千多字)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 C11简介 统一的列表初始化 ｛｝初始化 std::initializer_list 声明 auto decltype 右值引用和移动语义 左值引用和右值引用 左值引…...

编程日记 2024/6/15 23:03:28

FPGA专项课程即将开课，颁发AMD官方证书

社区成立以来，一直致力于为广大工程师提供优质的技术培训和资源，得到了众多用户的喜爱与支持。为了满足用户需求，我们特别推出了“基于Vitis HLS的高层次综合及图像处理开发”课程。 本次课程旨在帮助企业工程师掌握前沿的FPGA技术&#xff…...

编程日记 2024/6/15 23:02:27

C++ shared_ptr

shared_ptr共享它指向的对象，多个shared_ptr可以指向（关联）相同的对象，在内部采用计数机制来实现。 当新的shared_ptr与对象关联时，引用计数增加1。 当shared_ptr超出作用域时，引用计数减1。当引用计数变为…...

编程日记 2024/6/15 23:01:26

2024.6.15

2024.6.15 【夜幽幽&#xff0c;月优优&#xff0c;曲悠悠&#xff0c;吾忧忧。】 Saturday 五月初十 <theme oi-“DP”> 看几道DP基础题&#xff0c; 巩固一下DP思路和基础 Coin Combinations I //2024.6.15 //by white_ice //Coin Combinations I CSES - 1635 #i…...

编程日记 2024/6/15 22:59:23

堆栈溢出的攻击 -fno-stack-protector stack smash 检测

在程序返回的一条语句堆栈项目处&#xff0c;用新函数的起始地址覆盖&#xff0c;将会跳转到执行新函数。 现在系统对这个行为做了判断&#xff0c;已经无法实施这类攻击或技巧。 1&#xff0c;测试代码 #include <stdio.h> void cc() {printf("I am cc( )\n"…...

编程日记 2024/6/15 22:58:21

掌握特劳特定位理论核心，明晰企业战略定位之重

在当今瞬息万变的市场环境中&#xff0c;企业战略定位的重要性日益凸显。它不仅是企业在激烈竞争中保持优势的关键&#xff0c;更是企业实现长期可持续发展的基石。 哈佛大学战略学教授迈克尔波特&#xff08;Michael Porter&#xff09;指出战略就是形成一套独具的运营活动&a…...

编程日记 2024/6/15 22:57:19

RAGFlow 学习笔记

RAGFlow 学习笔记 0. 引言1. RAGFlow 支持的文档格式2. 嵌入模型选择后不再允许改变3. 干预文件解析​4. RAGFlow 与其他 RAG 产品有何不同&#xff1f; ​5. RAGFlow 支持哪些语言&#xff1f; ​6. 哪些嵌入模型可以本地部署&#xff1f; ​7. 为什么RAGFlow解析文档的时间比…...

编程日记 2024/6/15 22:54:14

使用Docker-Java监听Docker容器的信息

使用Docker-Java监听Docker容器的信息 Docker作为一种轻量级的容器化平台&#xff0c;极大地方便了应用的部署与管理。然而&#xff0c;在实际使用过程中&#xff0c;我们常常需要对运行中的容器进行监控&#xff0c;以确保其健康状态&#xff0c;并能及时响应各种异常情况。本…...

编程日记 2024/6/15 22:53:13

Spring Boot + Mybatis Plus实现登录注册

Spring Boot 实现登录注册 1. 注册 业务逻辑 客户端输入注册时需要的用户参数&#xff0c;比如&#xff1a;账户名、密码、确认密码、其他服务端接收到客户端的请求参数进行校验&#xff0c;然后判断是否有误&#xff0c;有误的地方就将错误信息抛出将密码进行加密之后存储到…...

编程日记 2024/6/15 22:52:11

挑战杯推荐项目

“人工智能”创意赛 - 智能艺术创作助手&#xff1a;借助大模型技术&#xff0c;开发能根据用户输入的主题、风格等要求&#xff0c;生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用&#xff0c;帮助艺术家和创意爱好者激发创意、提高创作效率。 ​ - 个性化梦境…...

编程新知 2025/11/6 5:46:16

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述&#xff0c;后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作&#xff0c;其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2026/1/24 6:44:11

ElasticSearch搜索引擎之倒排索引及其底层算法

文章目录 一、搜索引擎1、什么是搜索引擎？2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长，文件大。2.其次，树深，IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...

编程新知 2026/1/30 17:10:19

[ACTF2020 新生赛]Include 1(php://filter伪协议)

题目 做法 启动靶机&#xff0c;点进去 点进去 查看URL&#xff0c;有 ?fileflag.php说明存在文件包含&#xff0c;原理是php://filter 协议 当它与包含函数结合时&#xff0c;php://filter流会被当作php文件执行。 用php://filter加编码&#xff0c;能让PHP把文件内容…...

编程新知 2026/1/30 2:28:32

从面试角度回答Android中ContentProvider启动原理

Android中ContentProvider原理的面试角度解析&#xff0c;分为​​已启动​​和​​未启动​​两种场景&#xff1a; 一、ContentProvider已启动的情况 1. ​​核心流程​​ ​​触发条件​​&#xff1a;当其他组件&#xff08;如Activity、Service&#xff09;通过ContentR…...

编程新知 2025/10/2 19:46:59

CVPR2025重磅突破：AnomalyAny框架实现单样本生成逼真异常数据，破解视觉检测瓶颈！

本文介绍了一种名为AnomalyAny的创新框架&#xff0c;该方法利用Stable Diffusion的强大生成能力&#xff0c;仅需单个正常样本和文本描述&#xff0c;即可生成逼真且多样化的异常样本&#xff0c;有效解决了视觉异常检测中异常样本稀缺的难题&#xff0c;为工业质检、医疗影像…...

编程新知 2026/2/5 4:18:48

stm32wle5 lpuart DMA数据不接收

配置波特率9600时&#xff0c;需要使用外部低速晶振...

编程新知 2026/2/4 16:29:27

【深度学习新浪潮】什么是credit assignment problem？

Credit Assignment Problem（信用分配问题） 是机器学习，尤其是强化学习（RL）中的核心挑战之一，指的是如何将最终的奖励或惩罚准确地分配给导致该结果的各个中间动作或决策。在序列决策任务中，智能体执行一系列动作后获得一个最终奖励，但每个动作对最终结果的贡献程度往往…...

编程新知 2026/1/30 14:23:04

WEB3全栈开发——面试专业技能点P4数据库

一、mysql2 原生驱动及其连接机制 概念介绍 mysql2 是 Node.js 环境中广泛使用的 MySQL 客户端库&#xff0c;基于 mysql 库改进而来&#xff0c;具有更好的性能、Promise 支持、流式查询、二进制数据处理能力等。 主要特点&#xff1a; 支持 Promise / async-await&#xf…...

编程新知 2025/8/17 13:47:50

HTML中各种标签的作用

一、HTML文件主要标签结构及说明 1. <&#xff01;DOCTYPE html> 作用&#xff1a;声明文档类型&#xff0c;告知浏览器这是 HTML5 文档。 必须&#xff1a;是。 2. <html lang“zh”>. </html> 作用&#xff1a;包裹整个网页内容&#xff0c;lang"z…...

编程新知 2025/12/26 3:00:15