node.js 爬虫图片下载
主程序文件 app.js
运行主程序前需要先安装使用到的模块： npm install superagent --save
axios要安装指定版,安装最新版会报错：npm install axios@0.19.2 --save
const {default: axios} = require('axios');
const fs = require('fs');
const superagent = require('superagent');
const charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');
const express = require('express');
const app = express();var baseUrl = 'https://www.qqtn.com/'; //目标网站// 访问地址示例 http://127.0.0.1:8081/index?page=6
app.get('/index', function(req, res) {//设置请求头res.header("Access-Control-Allow-Origin", "*");res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');res.header("Access-Control-Allow-Headers", "X-Requested-With");res.header('Access-Control-Allow-Headers', 'Content-Type');//解析网址传递的类型var type = req.query.type;//解析网址传递的页码var page = req.query.page;//当网址没有传值的时候设置默认值type = type || 'weixin';page = page || '1';var route = `tx/${type}tx_${page}.html`//网页页面信息是gb2312，所以chaeset应该为.charset('gb2312')，一般网页则为utf-8,可以直接使用.charset('utf-8')superagent.get(baseUrl + route).charset('gb2312').buffer(true).end(function(err, sres) {var items = [];var titelStr = '';if (err) {console.log('ERR: ' + err);res.json({code: 400,msg: err,sets: items});return;}//使用JQuery风格定义$var $ = cheerio.load(sres.text);//遍历标签提取属性值$('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {var thumbImgSrc = $(element).find('img').attr('src');var oldtitle = $(element).attr('title');var title = oldtitle.replace(/\s*/g, ""); //去除字符串内所有的空格var href = $(element).attr('href');items.push({title: title,href: href,thumbSrc: thumbImgSrc});//标题拼接为html格式的字符串titelStr = '<li>'+title+'</li>' + titelStr//调用方法下载图片downloadFile(thumbImgSrc, title);});//发给前端//res.json({ code: 200, msg: "我是返回给前端的消息", data: items });//res.end();//读取html文件并替换内容，再发送给前端显示出来fs.readFile('./index.html',(err,data)=>{//报错则抛出错误if(err) throw err;//读取出来的内容转为字符var htmlStr = data.toString();//把 <li>%</li> 替换为拼接后的字符串var html = htmlStr.replace('<li>%</li>',titelStr);res.writeHead(200,{'Content-Type':'text/html'});res.end(html);})});
});// 下载图片的方法
async function downloadFile(uri, name) {let dir = "./imgs";//如果文件夹不存在就创建if (!fs.existsSync(dir)) {await fs.mkdirSync(dir)};//文件名let filePath = `${dir}/${name}.png`;//请求数据let res = await axios({url: uri,responseType: 'stream',});//文件流写入磁盘let ws = fs.createWriteStream(filePath);res.data.pipe(ws);res.data.on("close", () => {ws.close();});//console.log(`${name}... ...下载完成`);
};var server = app.listen(8081, function() {var host = "127.0.0.1" //server.address().addressvar port = server.address().portconsole.log(`应用实例，访问地址为 http://${host}:${port}`)
})
index.html 文件
后端爬到数据后，把结果写入index.html再返回给前端显示。
<!DOCTYPE html>
<html><head><meta charset="utf-8"><title>Nodejs爬虫</title><style>li{margin-top: 10px;}</style></head><body><div style="margin-left: 10%; margin-right: 10%;"><form action="http://127.0.0.1:8081/index" method="GET"><br> 页码：<input type="text" name="page"><input type="submit" value="Submit"></form><hr /><h3>查询结果：</h3><div><!-- 使用百分号做占位符，用于nodejs操作替换实际内容 --><ul><li>%</li></ul></div></div><script></script></body>
</html>
前端请求效果图
后端运行效果图
下载到文件夹的图片
相关文章：
node.js 爬虫图片下载
主程序文件 app.js 运行主程序前需要先安装使用到的模块： npm install superagent --save axios要安装指定版,安装最新版会报错：npm install axios0.19.2 --save const {default: axios} require(axios); const fs require(fs); const superagent r…...
VAE-根据李宏毅视频总结的最通俗理解
1.VAE的直观理解 先简单了解一下自编码器，也就是常说的Auto-Encoder。Auto-Encoder包括一个编码器（Encoder）和一个解码器（Decoder）。其结构如下： 自编码器是一种先把输入数据压缩为某种编码, 后仅通过该编…...
【LangChain】检索器之上下文压缩
LangChain学习文档 【LangChain】检索器(Retrievers)【LangChain】检索器之MultiQueryRetriever【LangChain】检索器之上下文压缩 上下文压缩 LangChain学习文档 概要内容使用普通向量存储检索器使用 LLMChainExtractor 添加上下文压缩(Adding contextual compression with an…...
uniapp 语音文本播报功能
最近uniapp项目上遇到一个需求 就是在接口调用成功的时候加上语音播报 ， ‘创建成功’ ‘开始成功’ ‘结束成功’ 之类的。 因为是固定的文本 ，所以我先利用工具生成了 文本语音mp3文件，放入项目中，直接用就好了。 这里用到的工…...
腾讯云高IO型云服务器CPU型号处理器主频性能
腾讯云服务器高IO型CVM实例CPU处理器主频性能说明，高IO型云服务器具有高随机IOPS、高吞吐量、低访问延时等特点，适合对硬盘读写和时延要求高的高性能数据库等I/O密集型应用，腾讯云服务器网分享高IO型云服务器IT5和IT3的CPU处理器说明…...
【数据结构】实验八：树
实验八 树 一、实验目的与要求 1）理解树的定义； 2）掌握树的存储方式及基于存储结构的基本操作实现； 二、 实验内容 题目一：采用树的双亲表示法根据输入实现以下树的存储，并实现输入给定结点的双亲结点…...
kafka消费者api和分区分配和offset消费
kafka消费者 消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力 拉取数据的问题在于，消费者可能会获得空数据 消费者组工作流程 Consumer Group（CG&#x…...
【驱动开发day4作业】
头文件代码 #ifndef __HEAD_H__ #define __HEAD_H__ typedef struct{unsigned int MODER;unsigned int OTYPER;unsigned int OSPEEDR;unsigned int PUPDR;unsigned int IDR;unsigned int ODR; }gpio_t; #define PHY_LED1_ADDR 0X50006000 #define PHY_LED2_ADDR 0X50007000 #…...
Ubuntu 20.04 Ubuntu18.04安装录屏软件Kazam
1.在Ubuntu Software里面输入Kazam，就可以找不到这个软件，直接点击install就可以了 2.使用方法： 选择Screencast（录屏） Fullscreen（全屏）-----Windows（窗口）--------Ar…...
ADC 的初识
ADC介绍 Q: ADC是什么？ A: 全称：Analog-to-Digital Converter，指模拟/数字转换器 ADC的性能指标 量程：能测量的电压范围分辨率：ADC能辨别的最小模拟量，通常以输出二进制数的位数表示，比如&am…...
MMdetection框架速成系列 第07部分：数据增强的N种方法
MMdetection框架实现数据增强的N种方法 1 为什么要进行数据增强2 数据增强的常见误区3 常见的六种数据增强方式3.1 随机翻转（RandomFlip）3.2 随机裁剪（RandomCrop）3.3 随机比例裁剪并缩放（RandomResizedCrop࿰…...
基于Kitti数据集的智能驾驶目标检测系统（PyTorch+Pyside6+YOLOv5模型）
摘要：基于Kitti数据集的智能驾驶目标检测系统可用于日常生活中检测与定位行人（Pedestrian）、面包车（Van）、坐着的人（Person Sitting）、汽车（Car）、卡车（Truck…...
4.4. 深拷贝 vs 浅拷贝
文章目录 浅拷贝：对基本数据类型进行值传递，对引用数据类型进行引用传递般的拷贝，此为浅拷贝。深拷贝：对基本数据类型进行值传递，对引用数据类型，创建一个新的对象，并复制其内容，此为…...
网络安全（黑客）自学建议笔记
前言 网络安全，顾名思义，无安全，不网络。现如今，安全行业飞速发展，我们呼吁专业化的 就职人员与大学生 ，而你，认为自己有资格当黑客吗？ 本文面向所有信息安全领域的初学者和从业人员…...
Linux CentOS快速安装VNC并开启服务
以下是在 CentOS 上安装并开启 VNC 服务的步骤： 安装 VNC 服务器软件包。运行以下命令： sudo yum install tigervnc-server 输出 $ sudo yum install tigervnc-server Loaded plugins: fastestmirror, langpacks Repository epel is missing name i…...
redis到底几个线程？
通常我们说redis是单线程指的是从接收客户端请求->解析请求->读写->响应客户端这整个过程是由一个线程来完成的。这并不意味着redis在任何场景、任何版本下都只有一个线程 为何用单线程处理数据读写？ 内存数据储存已经很快了 redis相比于mysql等数据库是…...
mysql修改UUID
mysql修改UUID 问题描述：集群搭建时克隆主服务的镜像导致所有节点的服务UUID都一致，此时在集群中添加节点时会提示UUID冲突报错。 解决方案 1、利用uuid函数生成新的uuid mysql> select uuid(); -------------------------------------- | uuid() …...
NoSQL之redis配置与优化
NoSQL之redis配置与优化 高可用持久化功能Redis提供两种方式进行持久化1.触发条件手动触发自动触发 执行流程优缺点缺点：优势AOF出发规则： AOF流程AOF缺陷和优点 NoSQL之redis配置与优化 mysql优化 1线程池优化 2硬件优化 3索引优化 4慢查询优化 5内…...
Python单例模式介绍、使用
一、单例模式介绍 概念：单例模式是一种创建型设计模式，它确保一个类只有一个实例，并提供访问该实例的全局访问点。 功能：单例模式的主要功能是确保在应用程序中只有一个实例存在。 优势： 节省系统资源：由…...
1334179-85-9，BTTAA，是各种化学生物学实验中生物偶联所需
资料编辑|陕西新研博美生物科技有限公司小编MISSwu BTTAA试剂 | 基础知识概述（部分）: 中文名称：2-[4-({双[(1-叔丁基-1H-1,2,3-三唑-4-基)甲基]氨基}甲基)-1H-1,2,3-三唑-1-基]乙酸 英文名称：BTTAA CAS号：1334179-8…...
3个高效网页资源捕获方案：猫抓插件技术解析与实战指南
3个高效网页资源捕获方案：猫抓插件技术解析与实战指南 【免费下载链接】cat-catch 猫抓 浏览器资源嗅探扩展 / cat-catch Browser Resource Sniffing Extension 项目地址: https://gitcode.com/GitHub_Trending/ca/cat-catch 猫抓（Cat-Catch&…...
javaweb计算机教学活动教室预约系统聊天机器人
目录同行可拿货,招校园代理 ,本人源头供货商功能模块划分智能聊天机器人功能系统集成设计技术实现要点项目技术支持源码获取详细视频演示 ：文章底部获取博主联系方式！同行可合作同行可拿货,招校园代理 ,本人源头供货商 功能模块划分 用户管理模块 实现…...
暗黑破坏神2存档全功能解决方案：d2s-editor高效修改与管理指南
暗黑破坏神2存档全功能解决方案：d2s-editor高效修改与管理指南 【免费下载链接】d2s-editor 项目地址: https://gitcode.com/gh_mirrors/d2/d2s-editor d2s-editor是一款专为《暗黑破坏神2》玩家设计的开源存档编辑工具，提供d2s格式（…...
基于单片机的无线病床呼叫系统（有完整资料）
资料查找方式：特纳斯电子（电子校园网）：搜索下面编号即可编号：T4092204C设计简介：本设计是基于单片机的无线病床呼叫系统，主要实现以下功能：1、按下呼叫按钮，液晶显示器显…...
Harness：AI Agent 走向生产级的关键基础设施
摘要随着大语言模型能力持续增强，AI Agent 正从概念验证和演示场景，逐步进入复杂任务交付与生产系统落地阶段。然而，在长周期、高复杂度任务中，Agent 仍普遍面临连贯性不足、自我评估失真、结果不可控等问题。实践表明，…...
基于n8n的春联生成模型自动化工作流设计
基于n8n的春联生成模型自动化工作流设计 春联作为传统文化的重要组成部分，每年春节都面临着巨大的创作需求。传统手工创作方式效率低下，而AI技术为这一场景带来了全新的解决方案。本文将介绍如何利用n8n构建春联生成模型的自动化工作流，实现从…...
保姆级教程：用sw_urdf_exporter插件将Solidworks机械臂模型转为ROS可用的URDF
从Solidworks到ROS：机械臂URDF转换全流程实战指南 机械臂作为工业自动化和服务机器人的核心部件，其运动仿真在ROS生态中占据重要地位。许多工程师习惯使用Solidworks进行机械结构设计，却苦于如何将设计成果无缝迁移到ROS环境。本文将彻底解决…...
快手无水印下载深度解析：从技术原理到商业应用的完整方案
快手无水印下载深度解析：从技术原理到商业应用的完整方案 【免费下载链接】KS-Downloader 快手（KuaiShou）视频/图片下载工具；数据采集工具 项目地址: https://gitcode.com/gh_mirrors/ks/KS-Downloader 在短视频内容管理日…...
从情感分析到舆情洞察：手把手教你用Stanford NLP搭建一个简易的评论分析系统
从情感分析到舆情洞察：手把手教你用Stanford NLP搭建评论分析系统 在电商平台或社交媒体上，用户评论是洞察消费者情绪的黄金矿脉。一条简单的"物流超快！"或"包装太差"背后，隐藏着产品改进的关键线索。传统人工…...
3大核心价值：Path of Building离线构建规划工具全解析
3大核心价值：Path of Building离线构建规划工具全解析 【免费下载链接】PathOfBuilding Offline build planner for Path of Exile. 项目地址: https://gitcode.com/GitHub_Trending/pa/PathOfBuilding Path of Building（简称PoB）是《…...