亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源:
1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据;
2、数据采集时间段:2023年10月-2024年7月;
3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核实。
二、亚马逊爬虫(Amazonbot)主要有4个用户代理
| 序号 | 用户代理(UserAgebt) |
| 1 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 2 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot) |
| 3 | Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_10_1)+AppleWebKit/600.2.5+(KHTML,+like+Gecko)+Version/8.0.2+Safari/600.2.5+(Amazonbot/0.1;++https://developer.amazon.com/support/amazonbot)+WebOne/0.12.0.0 |
三、亚马逊爬虫(Amazonbot)IP地址:
| 107.180.112.120 | 172.70.34.182 | 172.71.190.94 |
| 116.202.114.170 | 172.70.34.213 | 172.71.194.75 |
| 116.202.238.183 | 172.70.34.63 | 172.71.222.147 |
| 116.202.238.184 | 172.70.34.82 | 172.71.222.167 |
| 116.202.238.188 | 172.70.35.110 | 172.71.222.236 |
| 132.148.120.131 | 172.70.35.114 | 172.71.222.48 |
| 136.0.111.243 | 172.70.35.121 | 172.71.222.66 |
| 139.162.59.178 | 172.70.35.77 | 172.71.222.84 |
| 142.171.178.55 | 172.70.35.82 | 172.71.222.87 |
| 144.217.215.90 | 172.70.38.10 | 172.71.223.166 |
| 148.135.83.86 | 172.70.38.113 | 172.71.223.17 |
| 158.69.170.92 | 172.70.38.118 | 172.71.223.185 |
| 161.97.174.214 | 172.70.38.124 | 172.71.223.28 |
| 162.0.217.123 | 172.70.38.126 | 172.71.223.35 |
| 162.158.78.102 | 172.70.38.127 | 172.71.223.36 |
| 162.158.78.32 | 172.70.38.176 | 172.71.223.63 |
| 162.158.78.64 | 172.70.38.177 | 172.71.223.77 |
| 162.158.79.167 | 172.70.38.182 | 182.50.135.77 |
| 162.158.79.183 | 172.70.38.188 | 183.157.160.84 |
| 167.99.38.231 | 172.70.38.197 | 185.165.46.140 |
| 172.105.212.14 | 172.70.38.211 | 185.50.71.199 |
| 172.70.134.120 | 172.70.38.215 | 185.57.242.32 |
| 172.70.134.122 | 172.70.38.217 | 185.57.242.41 |
| 172.70.134.130 | 172.70.38.32 | 192.3.12.183 |
| 172.70.134.146 | 172.70.39.160 | 194.233.72.170 |
| 172.70.134.212 | 172.70.39.164 | 195.201.34.52 |
| 172.70.134.47 | 172.70.39.169 | 195.90.215.186 |
| 172.70.134.90 | 172.70.39.170 | 198.2.253.78 |
| 172.70.135.225 | 172.70.39.177 | 210.158.71.88 |
| 172.70.174.112 | 172.70.39.19 | 211.62.57.46 |
| 172.70.174.15 | 172.70.39.207 | 23.101.10.141 |
| 172.70.174.171 | 172.70.39.52 | 23.22.35.162 |
| 172.70.174.186 | 172.70.42.118 | 23.224.102.175 |
| 172.70.174.254 | 172.70.42.13 | 3.224.220.101 |
| 172.70.174.26 | 172.70.42.181 | 35.163.208.129 |
| 172.70.174.29 | 172.70.42.195 | 45.32.76.94 |
| 172.70.174.80 | 172.70.42.199 | 51.79.117.220 |
| 172.70.175.122 | 172.70.42.219 | 52.70.240.171 |
| 172.70.175.124 | 172.70.42.53 | 61.160.247.8 |
| 172.70.175.127 | 172.70.42.62 | 61.164.42.140 |
| 172.70.175.18 | 172.70.42.81 | 66.96.183.55 |
| 172.70.175.200 | 172.70.42.9 | 74.208.124.146 |
| 172.70.175.201 | 172.70.42.92 | 74.208.57.233 |
| 172.70.175.215 | 172.70.43.10 | 74.208.59.24 |
| 172.70.175.54 | 172.70.43.108 | 75.87.100.223 |
| 172.70.175.89 | 172.70.43.123 | 77.48.21.22 |
| 172.70.175.93 | 172.70.43.13 | 85.10.214.210 |
| 172.70.175.94 | 172.70.43.208 | 91.134.247.202 |
| 172.70.34.143 | 172.70.43.63 | 91.134.248.245 |
| 172.70.34.172 | 172.71.190.178 |
四、亚马逊爬虫(Amazonbot)的一些特点:
1、对网站没什么危害,但抓取网站频繁,对资源消耗较大,如果不做境外业务,可能通过防火墙阻止。
五、EXECL格式数据下载
点击进入下载页面
相关文章:
亚马逊爬虫(Amazonbot)IP地址,真实采集数据
一、数据来源: 1、这批亚马逊爬虫(Amazonbot)IP来源于尚贤达猎头公司网站采集数据; 2、数据采集时间段:2023年10月-2024年7月; 3、判断标准:主要根据用户代理是否包含“Amazonbot”和IP核…...
Spring Boot(八十四):集成Thumbnailator来生成缩略图
1 Thumbnailator简介 Thumbnailator是一个用于Java的缩略图生成库。通过Thumbnailator提供的流畅接口(fluent interface)的方式可以完成复杂的缩略图处理任务,无需访问Image I/O API并通过Graphics2D对象手动操作BufferedImages。 2 代码示例 2.1 引入依赖 <dependency&g…...
MySQL基础操作全攻略:增删改查实用指南(上)
本节目标: NOT NULL - 指示某列不能存储 NULL 值。 UNIQUE - 保证某列的每行必须有唯一的值。 DEFAULT - 规定没有给列赋值时的默认值。 PRIMARY KEY - NOT NULL 和 UNIQUE 的结合。确保某列(或两个列多个列的结合)有唯一标 识&am…...
SAP MM学习笔记 - 豆知识02 - MR21 修改物料原价,MM02 修改基本数量单位/评价Class,MMAM 修改物料类型/评价Class
上一章讲了一些豆知识。比如 - MM50 批量扩张品目 - XK05/06 Block/消除供应商 - MM06/MM16 品目消除 - SE11/SE16/SE16/SE16N/SE16H/DB02 等查看常用的操作Table和数据的T-code SAP MM学习笔记- 豆知识01 - MM50 批量扩张,XK05/XK06 Block/消除供应商…...
谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存
文章目录 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存1,在Elasticsearch的配置类中增加通用设置2,索引数据3,验证 一,谷粒商城实战笔记-126-全文检索-ElasticSearch-整合-测试保存 1,在…...
flutter开发环境搭建与android studio 安装配置
flutter开发环境搭建与android studio 安装配置 安装 android studio 下载安装 Android Studio 开发工具 Android Studio官网安装的时看到配置路径就换成自己其他盘的路径即可,其他的一路下一步就ok安装完毕,运行打开缺少 android sdk 按照提示下载即可…...
postgresql 字符串 替换
postgresql 字符串 替换 在PostgreSQL中,可以使用replace()函数来替换字符串中的某个部分。该函数的语法如下: REPLACE(string text, from text, to text) 其中: string 是要进行替换操作的原始字符串。 from 是原始字符串中需要被替换掉的…...
如何强化学习神经网络
强化学习(Reinforcement Learning, RL)神经网络是一种通过奖励和惩罚机制来学习策略的方法,适用于各种复杂的决策问题。以下是强化学习神经网络的一些主要步骤和方法: 1. 了解基本概念 环境(Environment)…...
Hadoop未授权访问漏洞
Hadoop未授权访问漏洞 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除,下载,目…...
Python中json模块的编码和解码
在Python中,可以用json模块处理JSON的编码和解码问题。json的全程是 javascript object notation, 翻译一下就是javascritpt 对象表示法。json是一种轻量级的数据交换格式,容易阅读和编写,支持的数据类型有:字符串、数字、数组和对…...
【Linux】文件变身大作战:Linux下的文件重命名艺术
欢迎来到 CILMY23 的博客 🏆本篇主题为:文件变身大作战:Linux下的文件重命名艺术 🏆个人主页:CILMY23-CSDN博客 🏆系列专栏:Python | C | C语言 | 数据结构与算法 | 贪心算法 | Linux | 算法…...
字节的存储和字符的存储
字节的存储 内存中的存储 基本数据类型: 在Java中,byte 类型占用 1 个字节(8 位)。它的取值范围是从 -128 到 127。存储在内存中的 byte 数据可以直接操作,例如通过数组或变量访问。 数据结构: byte 数组…...
Markdown插入Base64格式的图片,无需图床,稳定保存
Markdown插入Base64格式的图片,无需图床,稳定保存 我是一个Markdown的爱好者,转存图片是MD经常出问题的地方,因为MD不像其他富文本编辑器,将图片内嵌到文件中,而是用链接的形式引用,或网络链接…...
weblogic 连接gaussdb测试数据源是否联通
文章目录 1. gaussdb创建远程连接用户和数据库2. weblogic构建GaussDB源数据库3. 测试结果查询注意 weblogic中jar包已经放入lib目录中gaussdb已经创建可以连接登录的用户和数据库1. gaussdb创建远程连接用户和数据库 新建用户和数据库连接客户端Gauss=# create user lily pas…...
如何成为全域运营商?掌握这2种申请方式就够了!
随着全域概念的兴起,全域运营商的职业前景和收益空间逐渐显现,并迅速成为了热门创业赛道中的一份子,连带着如何成为全域运营商等入局方式相关话题也成为了众多创业者热议的焦点。 不过,从市场现状来看,作为涵盖公域和私…...
@ConfigurationProperties加在方法上
ConfigurationProperties注解通常用于将外部配置文件(如application.properties或application.yml)中的属性映射到Java类中。它通常加在类上,但也可以加在方法上。加在方法上时,通常与Bean注解一起使用,以便将配置属性…...
使用CUBEMX配置的USB大容量存储设备主机库获取LUN数量的不严谨代码纠正
最近在使用usb主机库驱动U盘直接进行扇区读写。 发现MSC库中获取LUN相关代码有问题 代码如下 其中 status USBH_MSC_BOT_REQ_GetMaxLUN(phost, (uint8_t *)(void *)&MSC_Handle->max_lun); MSC_Handle->max_lun (MSC_Handle->max_lun > MAX_SUPPORTED_L…...
合并重叠的区间
这一题不能用差分数组,因为 [1 , 4] [5, 6] 这个就会被合并,正确的做法就是先排序 bool cmp(vector<int> a, vector<int> b) {if (a[0] < b[0]) return 1;if (a[0] b[0]) return a[1] < b[1];return 0; } class Solution { public:ve…...
docker和运维
创建服务 docker service create --name order --network my-net -p 8080:8080 -d xxx 加入swarm集群 docker swarm join --token xxx 更新结点名字为mysql docker node update --label-add servermysql ecs-82ec-0003 创建MySQL服务 docker service create --name mysql --con…...
苍穹外面day13(day10)---订单状态定时处理、来单提醒和客户催单
Spring Task 同学们可以看我这篇文章 Spring Task初学-CSDN博客 订单状态定时处理 新建OrderTask /*** 定时任务类,定时处理订单状态*/ Component Slf4j public class OrderTask {Autowiredprivate OrderMapper orderMapper;/*** 处理超时订单的方法*/Scheduled(c…...
如何分析和改善网站的SEO效果
如何分析和改善网站的SEO效果 在当今互联网时代,一个优秀的网站不仅需要内容丰富,还需要有良好的搜索引擎优化(SEO)效果。SEO是提升网站在搜索引擎中排名的关键手段,本文将详细探讨如何分析和改善网站的SEO效果&#…...
WebGLStudio.js实时反射技术终极指南:环境映射与反射探针完全解析
WebGLStudio.js实时反射技术终极指南:环境映射与反射探针完全解析 【免费下载链接】webglstudio.js A full open source 3D graphics editor in the browser, with scene editor, coding pad, graph editor, virtual file system, and many features more. 项目地…...
LeaguePrank:英雄联盟段位修改与个性化展示完全指南
LeaguePrank:英雄联盟段位修改与个性化展示完全指南 【免费下载链接】LeaguePrank 项目地址: https://gitcode.com/gh_mirrors/le/LeaguePrank 想要在英雄联盟客户端中展示与众不同的段位和个性化信息吗?LeaguePrank 正是你需要的工具。这款开源…...
Pixel Aurora Engine 环境配置详解:Anaconda创建独立Python运行环境
Pixel Aurora Engine 环境配置详解:Anaconda创建独立Python运行环境 1. 为什么需要独立Python环境 在开始配置Pixel Aurora Engine的开发环境之前,我们先聊聊为什么需要创建独立的Python运行环境。想象一下,你的电脑就像一个大型工具箱&…...
SEO_快速诊断并解决网站SEO问题的常见方法(164 )
快速诊断网站SEO问题的有效方法 在当今数字化时代,网站的SEO(搜索引擎优化)问题不仅关乎网站的流量,更直接影响到业务的发展。对于许多网站来说,SEO问题往往是隐藏在表面现象背后的复杂问题。因此,快速诊断…...
Python数据分析实战:用Seaborn绘制炫酷相关性热力图(附完整代码)
Python数据分析实战:用Seaborn绘制炫酷相关性热力图 数据分析工作中,相关性分析是理解变量间关系的核心技能。而热力图作为直观展示相关性的工具,已经成为数据科学家和商业分析师的标准配置。本文将带你从零开始,掌握用Seaborn绘…...
森利威尔SL3073替代RT2862 4-65V超宽压3A降压芯片
在电源管理领域,寻找高效、可靠且功能丰富的DC-DC转换器是设计工程师们不懈追求的目标。当面临将36V电压转换为更低电压并保持3A持续输出电流的应用场景时,传统上可能会选择如RT2862这样的同步降压转换器。然而,随着技术的不断进步࿰…...
【AI实战课程】第三章:⾃然语⾔处理的常⻅任务和⽅法
分享一个大牛的人工智能教程。零基础!通俗易懂!风趣幽默!希望你也加入到人工智能的队伍中来!请轻击人工智能教程https://www.captainai.net/troubleshooter 本阶段重点讲解AI⾃然语⾔处理中的主流任务,如⽂本分…...
从“能用”到“好用”:给你的GoLand 2022.2.3装上这些插件,开发体验大不同
从“能用”到“好用”:给你的GoLand 2022.2.3装上这些插件,开发体验大不同 每天面对代码编辑器的时间可能比面对家人还长——这不是玩笑,而是许多开发者的真实写照。当GoLand从单纯的代码工具转变为你的"数字工作台",插…...
告别‘一视同仁’:用HAN(异质图注意力网络)搞定电影推荐里的‘导演偏好’与‘演员偏好’
异构图注意力网络在电影推荐中的实战:如何让算法读懂导演偏好与演员偏好 想象这样一个场景:你刚看完詹姆斯卡梅隆执导的《终结者》,流媒体平台紧接着推荐了同样由施瓦辛格主演的《终结者2》和卡梅隆的另一部作品《泰坦尼克号》。虽然这三部电…...
