nodejs 爬虫 axios 异步爬虫 教程 【一】

axios 自定义headers

axios.defaults.headers.common["User-Agent"] ="Googlebot/2.1 (+http://www.google.com/bot.html)";

运行环境：

 node ：v18

const axios = require("axios");
axios.defaults.headers.common["User-Agent"] ="Googlebot/2.1 (+http://www.google.com/bot.html)";async function crawler() {try {let task = [];console.log(new Date().getTime());console.time("run");for (let i = 1; i < 100; i++) {const url = `https://licai.cofool.com/ask/new-${i}.html`;const response = await axios.get(url);task.push(response);}const result = await Promise.all(task);for (let item of result) {ret_obj = item.data.length;console.log(ret_obj);}console.timeEnd("run");console.log(new Date().getTime());} catch (error) {console.error(error);}
}
for (let j = 0;; j++) {crawler();
}

程序不断遍历翻页url，从第一页到100页。然后是一个死循环。 要控制次数，可以在最后一行修改：

for (let j = 0; j<100; j++) {crawler();
}

程序没有做解析html的功能，首先调试通过后，会输出获取的html的文档大小。

下一节课我们会带大家去解析html的内容。