当前位置： 首页 > news >正文

[nodejs] 爬虫加入并发限制并发实现痞客邦网页截图

news 2026/5/25 17:25:34

今晚想给偶像的相册截个图,避免某一天网站挂了我想看看回忆都不行,用的是js的木偶师来爬虫台湾的部落格,效果图大概是这样,很不错

问题来了.我很贪心, 我想一次性把相册全爬了,也就是并发 ,这个人的相册有19个!!我一下子要开19个谷歌浏览器那个什么进程, 然后程序就崩了, 我就想能不能加入个限制? 每次只爬3个,3个完之后再继续.
ok,思路是这样:

1.假如有一个数组9个url(模拟9个相册的url),我按并发数切割,假如并发数是3

2.得到数据结构如下

3.然后循环这个数组, 再循环里面的小数组并添加进promiseChunk数组,用await Promise.all阻塞后面的其他切割的小数组运行,同时添加进AllChunksPromise数组,用来统计所有切割小数组完成后的时间，最后再Promise.all（把第二步的数据结构扁平为一维），在后面就可以计算得到代码执行时间
得到代码如下

结果还行,就是有点慢,毕竟后台调用浏览器...我的单核服务器cpu飙到100%

最后说下cheerio和puppeteer，这两个这两天都有用，cheerio解析静态网页很快，很适合抓数据。木偶可以执行js，这就很牛了，因为他是直接打开一个浏览器运行的，就是慢，各有优缺，优缺互补最好了

源代码已经上传github:https://github.com/DoctorTan/pixnetAlbumScreenshot

相关文章：

[nodejs] 爬虫加入并发限制并发实现痞客邦网页截图

今晚想给偶像的相册截个图,避免某一天网站挂了我想看看回忆都不行,用的是js的木偶师来爬虫台湾的部落格,效果图大概是这样,很不错 问题来了.我很贪心, 我想一次性把相册全爬了,也就是并发 ,这个人的相册有19个!!我一下子要开19个谷歌浏览器那个什么进程, 然后程序就崩了, 我就想…...

编程日记 2023/11/2 0:05:49

GEE——Publisher Data Catalogs发布者数据目录

发布者数据目录 发布者数据目录由数据集发布者策划，供更大范围的 Google 地球引擎社区使用，并作为地球引擎资产集公开共享。这些目录并非由 Google 编制。这里是GEE团队简政放权的一个过程，也就是说这些数据集的后续更新和维护并不由GEE团队负…...

编程日记 2023/11/2 0:04:48

计算10的阶乘

一、不好的写法 public static void main(String[] args) {long fun fun(10);System.out.println(fun);}public static long fun(long n) {if (n 1) {return 1;}return n * fun(n - 1);}使用递归完成需求，fun1方法会执行10次，并且第一次执行未完毕&…...

编程日记 2023/11/2 0:02:46

6.卷积神经网络

#pic_center R 1 R_1 R1​ R 2 R^2 R2 目录 知识框架No.1 卷积层一、从全连接到卷积二、卷积层三、代码四、QA No.2 卷积层里的填充和步幅一、填充和步幅二、D2L代码注意点三、QA No.3 卷积层里的多输入和多输出通道一、多输入和多输出通道二、D2L代码注意点三、QA No.4 池化层…...

编程日记 2023/11/2 0:01:45

postgresql|数据库|SQL语句冲突的解决

前言： postgresql数据库是比较复杂的一个关系型数据库，而有些时候，即使是简单的插入更新操作也是有很多复杂的机制。 那么，什么是冲突？什么时候会遇到冲突（也就是冲突的常见场景）？…...

编程日记 2023/11/1 23:59:44

overflow溢出属性、定位、前端基础之JavaScript

overflow溢出属性 值 描述 visible 默认值。内容不会被修剪，会呈现在元素框之外。 hidden 内容会被修剪，并且其余内容是不可见的。 scroll 内容会被修剪，但是浏览器会显示滚动条以便查看其余的内容。 auto 如果内容被修剪&#xff0…...

编程日记 2023/11/1 23:58:42

【JS】Chapter6-Dom 获取属性操作

站在巨人的肩膀上 黑马程序员前端JavaScript入门到精通全套视频教程，javascript核心进阶ES6语法、API、js高级等基础知识和实战教程 （六）Dom 获取&属性操作 以下的变量可以将 let 改为 const： let arr [red, green] arr.pu…...

编程日记 2023/11/1 23:57:41

太极培训机构展示服务预约小程序的作用如何

太极是适合男女老幼的，很多地方也有相关的学校或培训机构，由于受众广且不太受地域影响，因此对培训机构来说，除了线下经营外，线上宣传、学员获取和发展也不可少。 接下来让我们看下通过【雨科】平台制作太极教培服务预…...

编程日记 2023/11/1 23:56:40

node使用path模块的基本使用

文章目录 一、path.resolve(常用)二、path.sep三、path.parse其他 一、path.resolve(常用) 由于node 中使用 __dirname 获取的绝对路径是/ ,而我们拼接的路径为‘/’导致路径不统一。 作用：拼接规范的绝对路径 const fs require(fs) const path require(path)// 1…...

编程日记 2023/11/1 23:55:39

我和云栖大会有个约会

前言 云栖大会（Alibaba Cloud Computing Conference）是中国阿里巴巴集团旗下的云计算技术盛会，旨在推动云计算技术的发展和应用。该大会自2009年首次举办以来，已成为云计算行业内规模最大、影响力最广的会议之一。 云栖大会每年…...

编程日记 2023/11/1 23:54:38

Linux各个发行版之间的关系

Linux各个发行版之间的关系 可以查看链接：Linux Timeline 链接中可以下载PNG或者SVG图片...

编程日记 2023/11/1 23:53:37

第一章 第一行Android代码

一、Android简介 1.android系统架构 linux kernel（Linux内核层）：提供硬件底层驱动 libraries（系统运行库层）：提供了主要的特性支持，如SQLite库、Webkit库；还包含android runtime&…...

编程日记 2023/11/1 23:49:32

怎样利用 AI 大模型，辅助研发管理与效能提升？

AI 大模型已经逐渐渗透到各行各业的应用场景中，在软件研发领域也不例外。在软件研发领域，从需求分析到软件设计，从软件开发到测试，以及最后发布上线，AI 在各个环节都发挥着重要作用。10 月 21 日，思码逸首席…...

编程日记 2023/11/1 23:48:31

聊天室的创建

要创建一个聊天室，您需要： 确定聊天室的主题和目的。 选择一个适当的聊天室平台或应用程序，如Discord、Slack、Zoom等。 注册一个账户并创建一个聊天室。 添加您的朋友或家人或需要的人到聊天室中。 设置聊天室的规则和管理机制&#xff…...

编程日记 2023/11/1 23:47:30

大数据信息抽取

随着互联网的广泛应用和技术的不断进步，海量数据被产生、存储和共享。这些数据中包含着宝贵的的信息和知识，二大数据信息抽取是正是为了把这些数据中关键、有用的信息提取出来。 大数据信息抽取就是指通过自动化的方式，从大数据中提取有异议…...

编程日记 2023/11/1 23:46:30

驱动开发11-1 编写IIC驱动-读取温湿度数据

头文件 head.h #ifndef __HEAD_H__ #define __HEAD_H__ #define GET_HUM _IOR(m, 1, int) #define GET_TEM _IOR(m, 0, int) #endif 应用程序 si7006.c #include <stdlib.h> #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #inc…...

编程日记 2023/11/1 23:45:29

上海中优城市万豪酒店推出全新国际IP童趣主题房，独特住宿体验中国首秀

2023年10月30日&#xff0c;中国上海 – 近日&#xff0c;上海中优城市万豪酒店正式推出由全球品牌娱乐公司孩之宝官方授权打造的小马宝莉和变形金刚主题客房&#xff0c;以创意客房、新奇体验和丰富礼遇&#xff0c;为童游家庭或年轻的动漫迷们开启沉浸式入住之旅&#xff0c;…...

编程日记 2023/11/1 23:44:28

zsh和bash之间互相切换

zsh->bash exec bashbash->zsh exec zsh...

编程日记 2023/11/1 23:43:27

Java - window系统快捷键大全

Ctrl 快捷键 介绍 Ctrl F 在当前文件进行文本查找 &#xff08;必备&#xff09; Ctrl R 在当前文件进行文本替换 &#xff08;必备&#xff09; Ctrl Z 撤销 &#xff08;必备&#xff09; Ctrl Y 删除光标所在行 或 删除选中的行 &#xff08;必备&#xff09; Ctrl X …...

编程日记 2023/11/1 23:42:26

深入理解数据结构（1）—用链表实现栈

栈是一种数据结构&#xff0c;链表也是一种数据结构。它们都是由基础的语法实现的。 如果一个数据结构可以用另外的数据结构来实现&#xff0c;那么可以有力的证明——“数据结构是一种思想”&#xff0c;是一种讲语法组合起来实现某种功能的手段 一、栈的特点——要实现哪些功…...

编程日记 2023/11/1 23:41:25

PostgreSQL Merge Join 大白话详解

用生活中最直观的例子&#xff0c;彻底搞懂 Merge Join 是什么、为什么快、什么时候用。一、先从生活场景开始 场景一&#xff1a;两摞乱序试卷找同学 期末考试&#xff0c;老师手里有两摞试卷&#xff1a; A 摞&#xff1a;数学试卷&#xff0c;500 份&#xff0c;乱序堆放B 摞…...

编程新知 2026/5/25 16:42:12

Python到Android的魔法之旅：5步将你的代码变成移动应用

Python到Android的魔法之旅&#xff1a;5步将你的代码变成移动应用 【免费下载链接】python-for-android Turn your Python application into an Android APK 项目地址: https://gitcode.com/gh_mirrors/py/python-for-android 想象一下&#xff0c;你花了几个月时间精心…...

编程新知 2026/5/25 15:39:42

Claude Mythos Preview首月揪万余漏洞、拦截150万美元电诈，网络安全格局将变？

玻璃翼计划首战告捷A厂的玻璃翼计划首战告捷&#xff0c;Mythos 30天内就挖出1万个致命漏洞&#xff0c;甚至拦截了150万美元电诈。面对雪片式的报告&#xff0c;人类程序员崩溃求饶&#xff1a;「求别挖了&#xff0c;根本修不完啊&#xff01;」就在刚刚&#xff0c;Anthropi…...

编程新知 2026/5/25 15:25:56

完整解决方案：PL2303 Windows 10驱动快速安装指南

完整解决方案&#xff1a;PL2303 Windows 10驱动快速安装指南 【免费下载链接】pl2303-win10 Windows 10 driver for end-of-life PL-2303 chipsets. 项目地址: https://gitcode.com/gh_mirrors/pl/pl2303-win10 如果你正在Windows 10系统上使用PL-2303HXA或PL-2303XA芯…...

编程新知 2026/5/25 14:40:38

别再手动触发ADC了！用STM32CubeMX配置定时器触发+DMA搬运，实现精准采样（附F1/F4差异说明）

STM32CubeMX定时器触发ADCDMA全自动采样实战指南 在嵌入式数据采集系统中&#xff0c;ADC采样的精准度和效率直接影响整个系统的性能表现。传统的手动触发方式不仅占用CPU资源&#xff0c;还难以保证采样间隔的一致性。本文将深入解析如何利用STM32CubeMX配置定时器触发ADC配合…...

编程新知 2026/5/25 10:43:54

终极Gofile批量下载器深度解析：高效自动化文件获取的完整技术指南

终极Gofile批量下载器深度解析&#xff1a;高效自动化文件获取的完整技术指南 【免费下载链接】gofile-downloader Download files from https://gofile.io 项目地址: https://gitcode.com/gh_mirrors/go/gofile-downloader 在当今数字化工作流中&#xff0c;技术人员经…...

编程新知 2026/5/25 9:14:05

别再手动重写了！用Matlab R2020b把算法打包成DLL，在Visual Studio 2017里直接调用

从Matlab到C的无缝衔接&#xff1a;算法封装与DLL调用的高效实践 在工程开发中&#xff0c;我们常常面临一个经典困境&#xff1a;算法原型已经用Matlab验证通过&#xff0c;却需要在C项目中重新实现。这不仅浪费时间&#xff0c;还可能引入新的错误。本文将介绍一种更聪明的做…...

编程新知 2026/5/25 9:11:41

如何3步实现视频字幕精准提取：video-subtitle-extractor终极指南

如何3步实现视频字幕精准提取&#xff1a;video-subtitle-extractor终极指南 【免费下载链接】video-subtitle-extractor 视频硬字幕提取&#xff0c;生成srt文件。无需申请第三方API&#xff0c;本地实现文本识别。基于深度学习的视频字幕提取框架&#xff0c;包含字幕区域检测…...

编程新知 2026/5/25 8:32:54

Burp Suite Professional实战卡点解析：HTTPS抓包、代理拦截与Intruder失效根因

1. 这不是“点开就能用”的工具&#xff0c;而是Web安全工程师的呼吸节奏很多人第一次打开Burp Suite Professional&#xff0c;盯着那个灰色的拦截开关发呆——明明浏览器配置了代理&#xff0c;HTTPS网站也装了CA证书&#xff0c;可流量就是不进Intruder、Repeater里不动如山…...

编程新知 2026/5/25 7:31:19

避坑指南：UE球形遮罩材质边缘闪烁、接缝问题分析与修复（附完整节点图）

深度解析&#xff1a;UE球形遮罩材质边缘闪烁与接缝问题的终极解决方案在虚幻引擎中实现球形遮罩效果是许多项目中的常见需求&#xff0c;但开发者们往往会遇到一个棘手的问题——遮罩边缘出现闪烁、锯齿或明显的接缝。这种现象不仅影响视觉效果&#xff0c;还可能破坏场景的整…...

编程新知 2026/5/25 7:24:26