Docker 学习笔记
概述
1. 什么是 Docker?
Docker 是一个应用容器平台,管理项目中用到的所有环境(MySQL、Redis…)
2. Docker 和虚拟机的区别

虚拟机是携带操作系统的,本身很小的应用程序因为携带了操作系统而变得十分笨重,Docker 不携带操作系统,所以 Docker 的应用非常轻巧
在调用宿主机资源时,虚拟机利用 Hypervisor 去虚拟化内存,整个调用过程是 虚拟内存 - 虚拟物理内存 - 真实物理内存,但是 Docker 利用 Docker Engine 去调用宿主机资源,这个过程是 虚拟内存 - 真实物理内存
3. Docker 核心架构

- 镜像:一个镜像代表一个应用环境,它是一个只读的文件,如 MySQL 镜像,Tomcat 镜像,Nginx 镜像等
- 容器:镜像每次运行之后就会产生一个容器,就是正在运行的镜像,特点是可读可写
- 仓库:用来存放镜像的位置,类似于 maven 仓库,也是镜像上传和下载的位置
- dockerFile:docker 生成镜像配置文件,用来书写自定义镜像的配置
- tar:一个对镜像打包的文件,日后可以还原成镜像
4. Docker 运行流程

安装 Docker
以 Ubuntu18.04.4 为例
更新 ubuntu 的 apt 源索引
sudo apt-get update
安装包允许 apt 通过 HTTPS 使用仓库
sudo apt-get install \apt-transport-https \ca-certificates \curl \software-properties-common
添加 Docker 官方 GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
设置 Docker 稳定版仓库
sudo add-apt-repository \"deb [arch=amd64] https://download.docker.com/linux/ubuntu \$(lsb_release -cs) \stable"
添加仓库后,更新 apt 源索引
sudo apt-get update
安装最新版 Docker CE(社区版)
sudo apt-get install docker-ce
检查 Docker CE 是否安装正确
sudo docker run hello-world
启动 docker
sudo service docker start
停止 docker
sudo service docker stop
重启 docker
sudo service docker restart
Docker 配置阿里云镜像加速服务,访问阿里云登录自己的账号查看 docker 镜像加速服务
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://e9rzpyni.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
sudo docker info # 验证 docker 的镜像加速是否生效
Docker 镜像命令
# 辅助命令
docker version # 查看 docker 命令
docker info # 查看更详细的信息
docker --help # 帮助命令
# images 镜像命令
docker images # 查看本地所有镜像
docker images -a # 列出所有镜像(包含中间映像层)
docker images -q # 只显示镜像id
# 搜索镜像
docker search [镜像名]
docker search -s [镜像名] # 列出收藏数不少于指定值的镜像
docker search --no-trunc [镜像名] # 显示完整的镜像信息
# 拉取镜像
docker pull [镜像名]
# 删除镜像
docker rmi [镜像名]
docker rmi -f [镜像名] # 强制删除
# 构建镜像
docker build -t [镜像名] [Dockerfile所在目录]
docker build -t [镜像名] [Dockerfile所在目录] --no-cache # 禁用缓存
Docker 容器命令
## 运行容器
# --name # 为容器起一个名字
# -p # 映射端口号:原始端口号,指定端口号启动
# -d # 启动守护式容器
# -rm # 用完即删
docker run [镜像名]
## 查看运行的容器
# -a # 正在运行的和历史运行过的容器
# -q # 静默模式,只显示容器编号
docker ps # 列出所有正在运行的容器
## 停止|关闭|重启容器
docker start 容器名字或容器id # 开启容器
docker restart 容器名或容器id # 重启容器
docker stop 容器名或容器id # 正常停止容器运行
docker kill 容器名或容器id # 立即停止容器运行
## 删除容器
docker rm [容器id]
docker rm -f [容器id] # 强制删除
docker rm -f $(docker ps -qa) # 全部容器删除
## 查看容器内的进程
docker top [容器名或容器id] # 查看容器内的进程
## 查看运行容器内部的细节
docker inspect [容器id] # 查看容器内部细节
## 查看容器的运行日志
# -t # 加入时间戳
# -f # 跟随最新的日志打印
# -tail [数字] # 显示最后多少条
docker logs [OPTIONS] [容器id或容器名] # 查看容器日志
## 容器内数据交互
# 进入容器内部
# -i # 以交互模式运行容器,通常与 -t 一起使用
# -t # 分配一个伪终端,命令后要跟一个 shell 窗口,如 /bin/bash
docker exec [options] [容器id]
# 退出容器
exit
## 将容器打包为新的镜像
docker commit -a="[作者]" -m="[描述信息]" [容器id] [目标镜像名称]:TAG
## 从容器中复制文件到宿主机目录中
docker cp 容器id:容器内资源路径 宿主机目录路径
## 设置容器和宿主机共享目录
# 宿主机必须是绝对路径,宿主机目录会覆盖容器内目录内容
docker run -it -v /[宿主机路径]:/[容器内的路径]:镜像名
# 检查 json 字符串有没有以下内容,如果有则证明卷挂载成功
# "Mounts":[
# {
# "Type":"bind",
# "Source":"/hostDataValueme",
# "Destination":"/containerDataValueme",
# "Mode":"",
# "RW":true,
# "Propagation":"rprivate"
# }
# ]
docker inspect [容器id]
## 打包镜像
docker save [镜像名] -o [名称].tar
## 载入镜像
docker load -i [名称].tar
Docker 安装 MySQL
以 Ubuntu18.04.4 为例
拉取 mysql 镜像到本地
sudo docker pull mysql:tag # tag 不加默认最新版本
运行 mysql 服务
# 没有暴露外部端口,外部不能连接
docker run --name [自定义容器名称] -e MYSQL_ROOT_PASSWORD=[设置 root 密码] -d mysql:tag
# 暴露外部端口
docker run --name [自定义容器名称] -e MYSQL_ROOT_PASSWORD=[设置 root 密码] -p 3306:3306 -d mysql:tag
进入 mysql 容器
sudo docker exec -it [容器名称]|[容器id] bash
外部查看 mysql 日志
sudo docker logs [容器名称]|[容器id]
使用自定义配置参数
docker run --name [自定义容器名称] -v [宿主机配置文件目录]:[容器中配置文件目录] -e MYSQL_ROOT_PASSWORD=[设置 root 密码] -p 3306:3306 -d mysql:tag
将容器数据位置与宿主机位置挂载保证数据安全
docker run --name [自定义容器名称] -v [宿主机配置文件目录]:[容器中配置文件目录] -v [宿主机数据文件目录]:[容器中数据文件目录] -e MYSQL_ROOT_PASSWORD=[设置 root 密码] -p 3306:3306 -d mysql:tag
将 mysql 数据库备份为 sql 文件
# 导出全部数据
sudo docker exec mysql sh -c 'exec mysqldump --all-databases -uroot -p"$MYSQL_ROOT_PASSWORD"' > /root/all-databases.sql
# 导出指定库数据
sudo docker exec mysql sh -c 'exec mysqldump --databases [库表] -uroot -p"$MYSQL_ROOT_PASSWORD"' > /root/all-databases.sql
# 导出指定库,但不要数据
sudo docker exec mysql sh -c 'exec mysqldump --no-data --databases [库表] -uroot -p"$MYSQL_ROOT_PASSWORD"' > /root/all-databases.sql
执行 sql 文件到 mysql
sudo docker exec -i mysql sh -c 'exec mysql -uroot -p"$MYSQL_ROOT_PASSWORD"' < /root/xxx.sql
Docker 安装 Redis
以 Ubuntu18.04.4 为例
在 docker hub 搜索 redis 镜像
sudo docker search redis
拉取 redis 镜像到本地
sudo docker pull redis
运行 redis 服务
# 没有暴露外部端口,外部不能连接
sudo docker run --name [自定义容器名称] -d redis:tag
# 暴露外部端口
sudo docker run --name [自定义容器名称] -p 6379:6379 -d redis:tag
外部查看 redis 日志
sudo docker logs -t -f [容器名称]|[容器id]
进入容器内部查看
sudo docker exec -it [容器名称]|[容器id] bash
加载外部自定义配置启动 redis 容器,默认情况下 redis 官方镜像中没有 redis.conf 配置文件,需要去官网下载指定版本的配置文件
sudo docker run --name [自定义容器名称] -v [宿主机配置文件路径]:/usr/local/etc/redis/redis.conf -p 6379:6379 -d redis:tag redis-server /usr/local/etc/redis/redis.conf
将数据目录挂载到本地保证数据安全
sudo docker run --name [自定义容器名称] -v [宿主机数据目录]:/data -v [宿主机配置文件路径]:/usr/local/etc/redis/redis.conf -p 6379:6379 -d redis:tag redis-server /usr/local/etc/redis/redis.conf
Docker 安装 Nginx 服务器
以 Ubuntu18.04.4 为例
在 docker hub 搜索 Nginx 镜像
sudo docker search nginx
拉取 nginx 镜像到本地
sudo docker pull nginx
运行 nginx 服务
# 没有暴露外部端口,外部不能连接
sudo docker run --name [自定义容器名称] -d nginx:tag
# 暴露外部端口
sudo docker run --name [自定义容器名称] -p 80:80 -d redis:tag
进入容器内部
sudo docker exec -it [容器名称]|[容器id] /bin/bash
# 查找目录
whereis nginx
# 配置文件
/etc/nginx/nginx.conf
从容器复制配置文件到主机
dokcer cp [容器名称]|[容器id]:/etc/nginx/nginx.conf [宿主机目录]
挂载 nginx 配置以及 html 到宿主机外部
sudo docker run --name [自定义容器名称] -v [宿主机配置文件路径]:/etc/nginx/nginx.conf -v [宿主机 html 目录]:/usr/share/nginx/html -p 80:80 -d nginx
Docker 安装 Tomcat 服务器
以 Ubuntu18.04.4 为例
在 docker hub 搜索 tomcat
sudo docker search tomcat
下载 Tomcat 镜像
sudo docker pull tomcat
运行 tomcat 镜像
sudo dokcer run -p 8080:8080 -d --name [自定义容器名称] tomcat
进入容器内部
sudo docker exec -it [容器名称]|[容器id] /bin/bash
将 webapps 目录挂载到外部
sudo docker -p 8080:8080 -v [宿主机webapps目录]:/usr/local/tomcat/webapps -d --name [自定义容器名称] tomcat
Docker 安装 MongoDB 数据库
以 Ubuntu18.04.4 为例
在 docker hub 搜索 mongo
sudo docker search mongo # 无须权限
运行 mongoDB
sudo docker run -d -p 27107:27107 --name [自定义容器名称] mongo
查看 mongo 的运行日志
sudo docker logs -f [容器名称]
进入容器内部
sudo docker exec -it [容器名称]|[容器id] /bin/bash
运行具有权限的容器
sudo docker run --name [容器名称] -p 27017:27017 -d mongo --auth
进入容器配置用户名和密码
# 进入 mongo 客户端
mongo
# 选择 admin 库
use admin
# 创建用户,此用户创建成功,则后续操作都需要用户认证
db.createUser({user:"root",pwd:"root",roles:[{role:'root',db:'admin'}]})
# 退出
exit
将 mongoDB 中数据目录映射到宿主机中
sudo docker run -d -p 27017:27017 [宿主机数据目录]:/data/db --name [自定义容器名称] mongo
Docker 安装 Elasticsearch 以及 Kibana 服务
预先配置
# 修改配置 sysctl.conf
sudo vim /etc/sysctl.conf
# 加入如下配置
vm.max_map_count=262144
# 启用配置
sysctl -p
docker hub 拉取镜像
sudo docker pull elasticsearch
运行 docker 镜像
sudo docker run -d -p 9200:9200 -p 9300:9300 --name [自定义容器名称] elasticsearch
复制容器中 data 目录到宿主机
sudo docker cp [容器id]:/usr/share/share/elasticsearch/data [宿主机目录]
运行 es 容器,指定 jvm 内存大小并指定 ik 分词器的位置
sudo docker run -d --name [自定义容器名称] -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms128m -Xmx128m" -v [宿主机插件目录]:/usr/share/elasticsearch/plugins -v [宿主机data目录]:/usr/share/elasticsearch/data elasticsearch:tag
拉取 kibana 镜像
sudo docker pull kibana
启动 kibana 容器
sudo docker run -d --name [自定义容器名称] -e ELASTICSEARCH_URL=[elasticsearch服务url] -p 5601:5601 kibana
Dockerfile
1. 概述
Dockerfile 可以认为是 Docker 镜像的描述文件,是由一系列命令和参数构成的脚本,主要作用是用来构建 docker 镜像
2. Dockerfile 解析过程

3. Dockerfile 的保留命令
## FROM:当前镜像基于哪个镜像构建,构建时会自动拉取 base 镜像(第一个指令必须是 FROM)
FROM [镜像]
FROM [镜像]:tag
FROM [镜像]:[@<digest>] # 使用摘要
## MAINTAINER:镜像维护者的姓名和邮箱地址
MAINTAINER [作者信息]
## RUN:构建镜像时需要运行的指令,并提交结果,生成的提交映像将用于 Dockerfile 的下一步
RUN [shell命令格式]
RUN yum install vim
RUN [json格式]
RUN ["yum","install","vim"]
## EXPOSE:构建的镜像创建容器时对外暴露的端口号
EXPOSE 80/tcp # 没有显示指定默认是 tcp
EXPOSE 80/udp
## WORKDIR:指定在创建容器后,终端默认登录进来的工作目录,一个落脚点
WORKDIR [路径]
## ENV:用来在构建镜像过程中设置环境变量
ENV [键] [值]
ENV [键]=[值]
## AOD:将宿主机下的文件或目录拷贝到镜像且 ADD 命令会自动处理 URL 和解压 tar 包
ADD [要拷贝的文件/目录] [镜像中的目录] # 第一个参数可以使用通配符
ADD [url] [镜像中的目录]
## COPY:类似 ADD,拷贝文件和目录到镜像,但不能处理 URL 和解压 tar 包
## VOLUME:容器运行时可以挂载到宿主机的目录
VOLUME [容器中可以挂载到宿主机的目录]
## CMD:构建的镜像启动容器时要运行的命令,DockerFile 中可以有多个 CMD 指令,但最后只有一个生效,CMD 会被 docker run 之后的参数替换,格式与 RUN 一致
## ENTRYPOINT:和 CMD 一样,指定容器时执行命令,格式与 RUN 一致,如果要覆盖,必须使用 --entrypoint="[新命令]" [镜像名] [其他参数]
相关文章:
Docker 学习笔记
概述 1. 什么是 Docker? Docker 是一个应用容器平台,管理项目中用到的所有环境(MySQL、Redis…) 2. Docker 和虚拟机的区别 虚拟机是携带操作系统的,本身很小的应用程序因为携带了操作系统而变得十分笨重࿰…...
华为OD机试 - 相同数字的积木游戏1(JS)
相同数字的积木游戏1 题目 小华和小薇一起通过玩积木游戏学习数学。 他们有很多积木,每个积木块上都有一个数字, 积木块上的数字可能相同。 小华随机拿一些积木挨着排成一排,请小薇找到这排积木中数字相同且所处位置最远的2块积木块,计算他们的距离。 小薇请你帮忙替她解…...
Linux系统之iptables应用SNAT与DNAT
目录 SNAT 一.SNAT的原理介绍 1.应用环境 2.SNAT原理 3.SNAT转换前提条件 二.开启SNAT 1.临时打开 2.永久打开 三.SNAT的转换 1.固定的公网IP地址 2.非固定的公网IP地址(共享动态IP地址) 四.SNAT实验 1.实验环境准备 2.配置web服务器(192.168.100.100…...
2023美赛ABCDEF思路汇总
注:以下每个题思路仅是个人所想所做,不代表他人。由于时间仓促完成这么多,难免有不足之处,还请谅解。 文章目录A题第一大问第二大问B题第一问第二问第三问C题第一问第二问第三问第四问D题第一问第二问第三问第四问第五问E题第一问…...
Damask和abaqus晶体塑性联合仿真培训通知
一 软件介绍 DAMASK 是一个统一的多物理晶体塑性模拟包。连续体力学边值问题的求解需要连接每个材料点的变形和应力的本构响应,该问题在 DAMASK 中基于晶体可塑性使用各种本构模型和均质化方法能够被有效解决。除此之外,孤立地处理力学已不足以研究新兴的先进高强度…...
用javascript分类刷leetcode17.栈(图文视频讲解)
目录 Stack的特点:先进后出(FILO) 使用场景:十进制转2进制 函数调用堆栈 js里没有栈,但是可以用数组模拟 42/2 42%20 21/2 21%21 10/2 10%20 5/2 5%21 2/2 2%20 1/2 1%21 stack: [0,1,0,1,0,1] res: 1 0 1 …...
转换大小写与完成字符串反转
问题 编写一个程序,实现字符串的大小写转换并倒序输出,如输入为“HelloWord”,输出为“DROwOLLEH”。 方法 需要掌握char与int的转换,需要将helloord大写输出和W小写输出,不能直接使用toUpperCase方法。因此可以使用ch…...
大数据框架之Hadoop:MapReduce(三)MapReduce框架原理——InputFormat数据输入
3.1.1切片与MapTask并行度决定机制 1、问题引出 MapTask的并行度决定Map阶段的任务处理并发度,进而影响到整个Job的处理速度。 思考:1G的数据,启动8个MapTask,可以提高集群的并发处理能力。那么1K的数据,也启动8个M…...
【Opencv 系列】 第4章 直方图
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言1、直方图的定义、意义、特征2、直方图:2.1 灰度直方图2.2 彩色直方图前言 提示:以下是本篇文章正文内容,下面案例可供参考 …...
C#反射原理
一、前言反射(Reflection)的内容在博客中已经写了一篇,什么是反射,反射的使用,反射优缺点总结;在面试中突然被问道反射的原理,按照理解反射就是在Reflection命名空间和对象的Type对象获取类的方…...
python+vue微信小程序的线上服装店系统
服装行业是一个传统的行业。根据当前发展现状,网络信息时代的全面普及,服装行业也在发生着变化,单就服饰这一方面,利用手机购物正在逐步进入人们的生活。传统的购物方式,不仅会耗费大量的人力、时间,有时候还会出错。小程序系统伴随智能手机为我们提供了新的方向。手机线上服装…...
众德全自动批量剪辑工具,批量去重伪原创视频,全自动合成探店带货等视频
众德全自动批量剪辑工具已连续更新两年,服务了大大小小的自媒体公司工作室共200多个,成就了几百个草根创业者,实现月入10万,自从创办众德传媒之前,我一直坚信自媒体才是年轻草根创业者的出路,不需要技术门槛…...
【项目精选】基于网络爬虫技术的网络新闻分析(论文+源码+视频)
基于网络爬虫技术的网络新闻分析主要用于网络数据爬取。本系统结构如下: (1)网络爬虫模块。 (2)中文分词模块。 (3)中3文相似度判定模块。 (4)数据结构化存储模块。 &…...
华为OD机试 - 任务混部(JS)
任务混部 题目 公司创新实验室正在研究如何最小化资源成本,最大化资源利用率,请你设计算法帮他们解决一个任务混部问题:有taskNum项任务,每个任务有开始时间(startTime),结束时间(endTime),并行度(parallelism)三个属性,并行度是指这个任务运行时将会占用的服务…...
Matlab搭建AlexNet实现手写数字识别
Matlab搭建AlexNet实现手写数字识别 个人博客地址 文章目录Matlab搭建AlexNet实现手写数字识别环境内容步骤准备MNIST数据集数据预处理定义网络模型定义训练超参数网络训练和预测代码下载环境 Matlab 2020aWindows10 内容 使用Matlab对MNIST数据集进行预处理,搭建…...
比较全面的HTTP和TCP网络传输的单工、全双工和半双工
文章目录单工、全双工、半双工1. 单工2. 半双工3. 全双工HTTP协议的工作模式TCP协议的工作模式本文参考: 图解网络传输单工、半双工、全双工 - 知乎 (zhihu.com) 问:HTTP是单工的还是双工的还是半双工的 - 简书 (jianshu.com) 关于TCP全双工模式的解释_忙…...
CSS Houdini
前言 最近看了几篇文章,是关于 CSS Houdini 的。作为一个前端搬砖的还真不知道这玩意,虽然不知道的东西挺多的,但是这玩意有点高大上啊。 Houdini 是一组底层 API,它们公开了 CSS 引擎的各个部分,从而使开发人员能够通…...
C++引用
这里写目录标题引用引用的基本使用引用做函数参数引用作为函数返回值引用的本质常量引用引用与指针的区别&的三种作用引用 引用的基本使用 作用: 给变量起别名 语法: 数据类型 &别名 原名 引用的本质是给变量起别名,因此࿰…...
YOLOv6-目标检测论文解读
文章目录摘要问题算法网络设计BackboneNeckHead标签分配SimOTA(YOLOX提出):TAL(Task alignment learning,TOOD提出)损失函数分类损失框回归损失目标损失行业有用改进自蒸馏图像灰度边界填充量化及部署实验消…...
【factoryio】使用SCL编写 <机械手控制> 程序
使用虚拟工厂软件和博图联合仿真来编写【scl】机械手控制程序 文章目录 目录 文章目录 前言 二、程序编写 1.机械手运行部分 2.启动停止部分 3.急停复位部分 三、完整代码 总结 前言 在前面我们一起写过了许多案例控制的编写,在这一章我们一起来编写一下一个…...
Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动
一、前言说明 在2011版本的gb28181协议中,拉取视频流只要求udp方式,从2016开始要求新增支持tcp被动和tcp主动两种方式,udp理论上会丢包的,所以实际使用过程可能会出现画面花屏的情况,而tcp肯定不丢包,起码…...
关于nvm与node.js
1 安装nvm 安装过程中手动修改 nvm的安装路径, 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解,但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后,通常在该文件中会出现以下配置&…...
sqlserver 根据指定字符 解析拼接字符串
DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...
WordPress插件:AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章?AI自动生成,效率提升10倍! 支持多语言、自动配图、定时发布,让内容创作更轻松! AI内容生成 → 不想每天写文章?AI一键生成高质量内容!多语言支持 → 跨境电商必备&am…...
push [特殊字符] present
push 🆚 present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中,push 和 present 是两种不同的视图控制器切换方式,它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...
Qt 事件处理中 return 的深入解析
Qt 事件处理中 return 的深入解析 在 Qt 事件处理中,return 语句的使用是另一个关键概念,它与 event->accept()/event->ignore() 密切相关但作用不同。让我们详细分析一下它们之间的关系和工作原理。 核心区别:不同层级的事件处理 方…...
Pydantic + Function Calling的结合
1、Pydantic Pydantic 是一个 Python 库,用于数据验证和设置管理,通过 Python 类型注解强制执行数据类型。它广泛用于 API 开发(如 FastAPI)、配置管理和数据解析,核心功能包括: 数据验证:通过…...
StarRocks 全面向量化执行引擎深度解析
StarRocks 全面向量化执行引擎深度解析 StarRocks 的向量化执行引擎是其高性能的核心设计,相比传统行式处理引擎(如MySQL),性能可提升 5-10倍。以下是分层拆解: 1. 向量化 vs 传统行式处理 维度行式处理向量化处理数…...
JavaScript 标签加载
目录 JavaScript 标签加载script 标签的 async 和 defer 属性,分别代表什么,有什么区别1. 普通 script 标签2. async 属性3. defer 属性4. type"module"5. 各种加载方式的对比6. 使用建议 JavaScript 标签加载 script 标签的 async 和 defer …...
Python爬虫(52)Scrapy-Redis分布式爬虫架构实战:IP代理池深度集成与跨地域数据采集
目录 一、引言:当爬虫遭遇"地域封锁"二、背景解析:分布式爬虫的两大技术挑战1. 传统Scrapy架构的局限性2. 地域限制的三种典型表现 三、架构设计:Scrapy-Redis 代理池的协同机制1. 分布式架构拓扑图2. 核心组件协同流程 四、技术实…...
