当前位置：首页 > news >正文

利用docker-compose来搭建flink集群

news 2025/9/16 19:50:42

1.前期准备

（1）把docker，docker-compose，kafka集群安装配置好
参考文章：

利用docker搭建kafka集群并且进行相应的实践-CSDN博客

这篇文章里面有另外两篇文章的链接，点进去就能够看到

（2）最好把Finalshell也下载好，具体下载教程详见如下文章：

保姆级教程下载finalshell以及连接云服务器基础的使用教程_finalshell下载安装-CSDN博客

（3）最好把docker的镜像源换一下

vi /etc/docker/daemon.json

把里面原来的镜像源全部删掉，换成下面的镜像源（何驰给我的）

{"registry-mirrors": ["http://hub-mirror.c.163.com","https://mirror.ccs.tencentyun.com","https://docker-proxy.741001.xyz","https://registry.docker-cn.com"]
}

保存并且退出，查看一下

docker info

[root@node1 ~]# docker info
Client: Docker Engine - CommunityVersion:    26.1.4Context:    defaultDebug Mode: falsePlugins:buildx: Docker Buildx (Docker Inc.)Version:  v0.14.1Path:     /usr/libexec/docker/cli-plugins/docker-buildxcompose: Docker Compose (Docker Inc.)Version:  v2.27.1Path:     /usr/libexec/docker/cli-plugins/docker-composeServer:Containers: 3Running: 0Paused: 0Stopped: 3Images: 2Server Version: 26.1.4Storage Driver: overlay2Backing Filesystem: xfsSupports d_type: trueUsing metacopy: falseNative Overlay Diff: trueuserxattr: falseLogging Driver: json-fileCgroup Driver: cgroupfsCgroup Version: 1Plugins:Volume: localNetwork: bridge host ipvlan macvlan null overlayLog: awslogs fluentd gcplogs gelf journald json-file local splunk syslogSwarm: inactiveRuntimes: io.containerd.runc.v2 runcDefault Runtime: runcInit Binary: docker-initcontainerd version: d2d58213f83a351ca8f528a95fbd145f5654e957runc version: v1.1.12-0-g51d5e94init version: de40ad0Security Options:seccompProfile: builtinKernel Version: 3.10.0-1160.el7.x86_64Operating System: CentOS Linux 7 (Core)OSType: linuxArchitecture: x86_64CPUs: 1Total Memory: 3.682GiBName: node1ID: eb6f4510-9e84-4973-aad6-39e9ecce6034Docker Root Dir: /var/lib/dockerDebug Mode: falseExperimental: falseInsecure Registries:127.0.0.0/8Registry Mirrors:http://hub-mirror.c.163.com/https://mirror.ccs.tencentyun.com/https://docker-proxy.741001.xyz/https://registry.docker-cn.com/Live Restore Enabled: false

2.利用docker-compose配置flink集群（一直在node1的root用户下进行）

（1）编写flink.yml文件，输入以下代码

mkdir -p /export/server
cd /export/server
vi flink.yml

添加以下内容

version: '3'
services:jobmanager:image: flink:latestcontainer_name: jobmanagerhostname: jobmanagerports:- "8081:8081"command: jobmanagerenvironment:- JOB_MANAGER_RPC_ADDRESS=jobmanagernetworks:- flink_networktaskmanager:image: flink:latestdepends_on:- jobmanagerports:- "8082-8084:8081"  # 确保端口范围足够command: taskmanagerscale: 3  # 设置TaskManager的数量为3environment:- JOB_MANAGER_RPC_ADDRESS=jobmanagernetworks:- flink_network
networks: #注意这里，要跟services配置项目对齐（即平级的意思）flink_network:driver: bridge

（2）使用如下命令启动集群（记得先启动docker），同时查看集群运行状态：

systemctl start docker
docker-compose -f flink.yml up -d
docker ps

效果如下

[root@node1 server]# systemctl start docker
[root@node1 server]# docker-compose -f flink.yml up -d
/usr/local/lib/python3.6/site-packages/paramiko/transport.py:32: CryptographyDeprecationWarning: Python 3.6 is no longer supported by the Python core team. Therefore, support for it is deprecated in cryptography. The next release of cryptography will remove support for Python 3.6.from cryptography.hazmat.backends import default_backend
Creating network "server_flink_network" with driver "bridge"
WARNING: Found orphan containers (kafka2, kafka1, kafka3) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
Pulling jobmanager (flink:latest)...
latest: Pulling from library/flink
6414378b6477: Pull complete
2c9f253e30bf: Pull complete
65c8233e39bf: Pull complete
b59d22db63f3: Pull complete
b80a9c727cee: Pull complete
da3337ead35a: Pull complete
53e543b721f9: Pull complete
ecebf073acfb: Pull complete
21be4ec89742: Pull complete
f71629a01e27: Pull complete
cc4f5f48c9f1: Pull complete
Digest: sha256:2ec7f6d5591444334f63b66ddd49c7ae02551cb0a27c0988790fa43caa49716f
Status: Downloaded newer image for flink:latest
Creating jobmanager ... done
WARNING: The "taskmanager" service specifies a port on the host. If multiple containers for this service are created on a single host, the port will clash.
Creating server_taskmanager_1 ... done
Creating server_taskmanager_2 ... done
Creating server_taskmanager_3 ... done
[root@node1 server]# docker ps
CONTAINER ID   IMAGE          COMMAND                   CREATED         STATUS         PORTS                                                 NAMES
e908f25d0df5   flink:latest   "/docker-entrypoint.…"   6 seconds ago   Up 2 seconds   6123/tcp, 0.0.0.0:8084->8081/tcp, :::8084->8081/tcp   server_taskmanager_1
8ebe74a4481a   flink:latest   "/docker-entrypoint.…"   6 seconds ago   Up 2 seconds   6123/tcp, 0.0.0.0:8083->8081/tcp, :::8083->8081/tcp   server_taskmanager_2
11936734f5cf   flink:latest   "/docker-entrypoint.…"   6 seconds ago   Up 3 seconds   6123/tcp, 0.0.0.0:8082->8081/tcp, :::8082->8081/tcp   server_taskmanager_3
e053c7560ee9   flink:latest   "/docker-entrypoint.…"   8 seconds ago   Up 6 seconds   6123/tcp, 0.0.0.0:8081->8081/tcp, :::8081->8081/tcp   jobmanager
[root@node1 server]#

成功后在网页上面输入node1:8081进入这个网站（有时候因为网络不好会进入不了这个网站）

然后就ok了！

（3）关闭flink集群代码

docker-compose -f flink.yml down

效果如下

[root@node1 server]# docker-compose -f flink.yml down
/usr/local/lib/python3.6/site-packages/paramiko/transport.py:32: CryptographyDeprecationWarning: Python 3.6 is no longer supported by the Python core team. Therefore, support for it is deprecated in cryptography. The next release of cryptography will remove support for Python 3.6.from cryptography.hazmat.backends import default_backend
Stopping server_taskmanager_1 ... done
Stopping server_taskmanager_2 ... done
Stopping server_taskmanager_3 ... done
Stopping jobmanager           ... done
WARNING: Found orphan containers (kafka2, kafka3, kafka1) for this project. If you removed or renamed this service in your compose file, you can run this command with the --remove-orphans flag to clean it up.
Removing server_taskmanager_1 ... done
Removing server_taskmanager_2 ... done
Removing server_taskmanager_3 ... done
Removing jobmanager           ... done
Removing network server_flink_network
[root@node1 server]#

3.参考文章：

（1）在linux虚拟机上面配置Docker时所踩过的坑_docker 20.10.6设置镜像源不生效-CSDN博客

（2）黑马大数据学习笔记4-Hive部署和基本操作_黑马大数据 hive笔记-CSDN博客

（3）ubuntu系统中使用docker-compose安装部署docker集群（本地）-CSDN博客

（4）利用docker搭建kafka集群并且进行相应的实践-CSDN博客

4.补充笔记

（1）如果使用docker拉取flink镜像的速度太慢，就可能是因为docker的镜像源太老旧了。

使用 Docker 拉取 Flink 镜像时，如果速度较慢，可能有以下几个原因：

### 1. **Docker Hub 服务器远程访问速度慢**
- 默认情况下，Docker 会从 Docker Hub 拉取镜像，而 Docker Hub 的服务器位于国外。如果你在中国或其他地区，可能会受到网络带宽限制，导致下载速度慢。

### 2. **网络带宽问题**
- 如果你的网络连接较慢，或者有网络拥塞、丢包等问题，都会导致拉取速度变慢。

### 3. **Docker 镜像源不稳定**
- Docker Hub 本身的服务器或某个镜像源可能出现故障或负载过高，导致访问速度下降。

### 4. **没有使用 Docker 镜像加速器**
- Docker 官方没有为国内用户提供快速的镜像下载服务，若未配置国内的 Docker 镜像加速器，下载速度会非常慢。

### 5. **镜像的大小**
- Flink 镜像可能相对较大，下载时需要更多的时间，尤其是没有进行增量拉取（如果镜像有很大变化，可能需要完整拉取）。

### 6. **镜像的标签（Tag）问题**
- 如果你指定的是一个较老或者不常用的镜像标签，可能会拉取到一些不常用的镜像版本，而这些镜像版本可能分布在不同的服务器节点上，导致拉取速度变慢。

---

### **解决办法：**
1. **使用国内镜像源**：
- 配置 Docker 镜像加速器，选择国内的 Docker 镜像源来加速下载速度。常见的加速器有：
- 网易云镜像：`http://hub-mirror.c.163.com`
- 腾讯云镜像：`https://mirror.ccs.tencentyun.com`
- 阿里云镜像：`https://registry.cn-hangzhou.aliyuncs.com`
- Docker 官方中国镜像：`https://registry.docker-cn.com`

2. **配置 Docker 镜像加速器**：
- 你可以在 Docker 配置文件 `/etc/docker/daemon.json` 中配置镜像加速器。例如：
```json
{
"registry-mirrors": [
"http://hub-mirror.c.163.com",
"https://mirror.ccs.tencentyun.com"
]
}
```
- 然后重新启动 Docker 服务：
```bash
sudo systemctl restart docker
```

3. **选择合适的镜像标签**：
- 尽量选择较为稳定和常用的标签（如 `latest` 或特定版本标签），避免使用过时的标签。

4. **检查网络环境**：
- 检查你的网络连接是否稳定，并确保没有中间的网络限制或防火墙阻止访问 Docker Hub。

通过这些方法，你应该能够提高拉取 Flink 镜像的速度。

（2）docker ps和docker-compose ps区别是什么

`docker ps` 和 `docker-compose ps` 都用于查看容器的运行状态，但它们有一些重要的区别，主要体现在它们的使用场景和管理方式上。下面是详细的对比：

### 1. **`docker ps`**：

- **功能**：列出当前正在运行的 Docker 容器。
- **作用范围**：它只显示当前 Docker 主机上运行的容器，不依赖于 Docker Compose 配置。
- **默认显示内容**：默认显示容器的 ID、名称、镜像、命令、创建时间、状态、端口等信息。
- **适用场景**：当你使用 `docker` 命令直接管理容器时，使用 `docker ps` 查看容器的状态。例如，你直接使用 `docker run` 启动的容器。

#### 示例：
```bash
docker ps
```

输出示例：
```
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1234abcd5678 nginx "nginx -g 'daemon of…" 10 minutes ago Up 9 minutes 80/tcp hopeful_morse
```

- `docker ps` 只显示运行中的容器。如果你想查看所有容器（包括停止的容器），可以加上 `-a` 参数：
```bash
docker ps -a
```

### 2. **`docker-compose ps`**：

- **功能**：列出由 Docker Compose 管理的服务的容器状态。
- **作用范围**：它只显示当前在 Docker Compose 配置下运行的容器。Docker Compose 是一个工具，允许你通过 YAML 文件定义和运行多个 Docker 容器。
- **默认显示内容**：显示服务的状态、容器 ID、端口、以及服务名称等信息。
- **适用场景**：当你使用 Docker Compose 启动一组容器时，使用 `docker-compose ps` 查看这些容器的状态。

#### 示例：
```bash
docker-compose ps
```

输出示例：
```
Name Command State Ports
-----------------------------------------------------------------------------------
myapp_web_1 python app.py Up 3 minutes 0.0.0.0:5000->5000/tcp
myapp_db_1 docker-entrypoint.sh postgres Up 3 minutes 5432/tcp
```

- `docker-compose ps` 只显示通过当前目录下的 `docker-compose.yml` 文件管理的服务。
- 如果你需要查看所有容器的状态（包括停止的容器），可以加上 `-a` 参数：
```bash
docker-compose ps -a
```

### **主要区别**：

| **特性** | **`docker ps`** | **`docker-compose ps`** |
|-------------------------|------------------------------------------------------|----------------------------------------------------------|
| **管理对象** | Docker 容器（所有通过 Docker CLI 启动的容器） | Docker Compose 管理的服务容器（通过 `docker-compose` 启动的容器） |
| **查看范围** | 显示所有运行中的容器（不依赖于 Compose） | 仅显示通过 `docker-compose` 启动的容器 |
| **命令的作用对象** | 针对单个 Docker 容器的操作 | 针对一个或多个服务（服务是由 Compose 配置定义的） |
| **是否依赖 Docker Compose** | 否 | 是 |
| **常用场景** | 直接使用 `docker run` 启动的容器，或在没有 Compose 的情况下管理容器 | 使用 Docker Compose 管理多容器应用时，查看应用状态 |

### **总结**：
- 如果你只是想查看 Docker 主机上所有容器的状态，无论它们是通过 Docker 还是 Docker Compose 启动的，使用 `docker ps`。
- 如果你在使用 Docker Compose 管理一个多容器应用，并想查看这些容器的状态，使用 `docker-compose ps`。