JAVA开发与运维（JavaWeb测试环境搭建）

本例子测试环境搭建在腾讯云平台之上。

系统架构：

微服务+Eureka+Apollo+gateWay+redis+rocketMq+OSS+spark+ETL+mysql+pgsql+clickHouse+SLB.

首先需要申请的云资源。

业务用途		CPU	MEM	Disk	数量	云产品	规格
服务器	应用服务（部署微服务）	4核	8G	500G	1	CVM	S6.LARGE8
	数据调度及抽取	4核	8G	500G	1	CVM	S6.LARGE8
	spark数据分析	4核	16G	500G	1	CVM	S6.LARGE16
中间件	缓存服务Redis		8G		1	Redis	标准版8G单副本
	分布式消息服务RocketMQ	4核	8G		1	RocketMQ	Topic 容量 150 Group 容量 1500 虚拟集群 TPS 上限 4000
数据库	pgsql存储小程序端用户数据	4核	8G	500G SSD	1	PGSQL	双机高可用
	业务中台MySQL	4核	8G	500G SSD	1	MySQL	基础型单节点
	数据中台MySQL	4核	8G	500G SSD	1	MySQL	基础型单节点
	clickhouse数据分析	4核	16G	500G SSD	1	ClickHouse	标准型4c16g单节点
存储	对象存储OSS			500G	1	COS
其他（按需填写）	SLB负载均衡				1	CLB	内网

资源申请下来后进行环境安装，通过在线安装的方式。

1.1服务器资源

操作系统版本：Linux CentOS 7.6

JAVA环境：openjdk version "1.8.0_312"

数据库：MYSQL8.0 或PostgreSQL 12.8

1.2 yum准备

1.2.1 更新yum

yum update yum

1.2.2 安装yum工具

yum -y install yum-utils

1.2.3 查看yum版本 

yum --version

版本为3.4.3或之后的最新版本即可

1.2.4 安装telnet工具

yum install telnet.*

1.3 JAVA部署

JAVA安装命令:

yum install java-1.8.0-openjdk.x86_64

查看JAVA版本: java -version

1.4 docker环境及部署

1.4.1 版本

Client: Docker Engine – Community version: 20.10.12

Server: Docker Engine – Community version: 20.10.12

1.4.2 部署

1.用yum拉取阿里云镜像:

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

2. yum安装:

yum install docker-ce

3.查看docker版本:

docker version

4.启动docker:

systemctl start docker

5.设置docker开机自启

systemctl enable docker

1.4.3 文件夹

1.在系统的/home路径下创建一个命名为“docker”的文件夹，用于存放docker相关文件。

2.在/home/docker路径下创建两个文件夹“script”和“apps”，用于存放脚本文件与镜像文件。

1.4.4 docker常用命令

1.查看docker镜像: docker images

2.查看docker正在运行容器: docker ps

3.查看docker里的容器: docker ps -a

 

1.5 nginx部署

端口需要:80

1.5.1 docker部署nginx

docker pull nginx:latest

1.5.2 脚本文件

在/home/docker/script路径下创建一个脚本文件“nginx.sh”,内容为:

docker run -d \--name nginx \--net=host \-v /home/docker/apps/nginx/www:/usr/share/nginx/html \-v /home/docker/apps/nginx/conf/nginx.conf:/etc/nginx/nginx.conf \-v /home/docker/apps/nginx/logs:/var/log/nginx \-v /home/docker/apps/nginx/conf.d:/etc/nginx/conf.d \-v /home/docker/apps/nginx/cert:/etc/nginx/cert \nginx

(注意：以上内容需注意linux中的特殊字符，可用vim编辑文件，去掉特殊字符，否则运行脚本文件时会报错；cert为安全证书相关，不需要时可以去掉)

1.5.3 nginx文件

1.在/home/docker/apps路径下创建“nginx”文件夹

2.在/home/docker/apps/nginx路径下分别创建“www”、 “logs”、 “conf”、 “conf.d”四个文件夹；”www”文件夹用于存放前端代码，“logs”文件夹用于存放日志，“conf”文件夹用于存放nginx总配置文件，“conf.d”用于存放项目配置文件；如需安全证书相关，还要创建“cert”文件夹。

3.nginx总配置文件:

在/home/docker/apps/nginx/conf路径下创建“nginx.conf”文件，作为nginx的总配置文件，内容为:

user  nginx;
worker_processes  auto;error_log  /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;events {worker_connections  1024;
}http {include       /etc/nginx/mime.types;default_type  application/octet-stream;log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log  /var/log/nginx/access.log  main;sendfile        on;#tcp_nopush     on;keepalive_timeout  65;#gzip  on;client_max_body_size 1024m;include /etc/nginx/conf.d/*.conf;
}

4.项目配置分文件

在/home/dokcer/apps/nginx/conf.d路径下创建“xxx.conf”文件，“xxx”为项目名，内容为：

#server
#{## 80端口是http正常访问的接口#listen 80;#server_name XXX.com;## 在这里，我做了https全加密处理，在访问http的时候自动跳转到https#rewrite ^(.*) https://${server_name}$1 permanent;
#}server {# listen 自定义监听端口listen       80;#定义使用 访问域名server_name  localhost;# 如需域名则配置如下# 把80换成侦听443端口，这个是ssl访问端口# listen 443 ssl; # ssl_certificate /etc/nginx/cert/安全证书文件名;# ssl_certificate_key /etc/nginx/cert/安全私钥文件名;location / {root   /var/nginx/html/xxx;index  index.html index.htm;}error_page   500 502 503 504  /50x.html;location = /404.html {root  error;}}

1.5.4 运行nginx

1.通过脚本文件nginx.sh运行，脚本文件的运行需授予权限，在文件目录下命令：

chmod 755 nginx.sh

2.运行脚本命令：./nginx.sh

1.5.5 nginx常用命令

1.启动: docker start nginx

2.重启: docker restart nginx

3.停止: docker stop nginx

1.5.6 nginx配置免密ssl私钥

1.拿到安全证书(.crt)、私钥(.key)和密码后,将安全证书和私钥放在/home/docker/apps/nginx/cert 路径下。

2.在cert文件夹内输入命令:  openssl rsa -in 私钥文件名.key -out 要生成的免密私钥文件名.key

例: openssl rsa -in privkey2021.key -out privkey2021_unsecure.key

1.6 注册中心eureka部署

端口需要:8761

1.6.1 准备

部署注册中心eureka，使用docker部署。在/home/docker/apps路径下创建“eureka”文件夹，并存放一个ctg-eureka.jar的镜像文件和构建镜像的Dockerfile文本文件。eureka.jar文件可使用别的服务器同目录下的ctg-eureka.jar文件。

Dockerfile文件的内容:

FROM java:8

VOLUME /tmp

ADD ctg-eureka.jar ctg-eureka.jar

EXPOSE 8761

ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/ctg-eureka.jar"]

1.6.2 脚本文件

在/home/docker/script路径下创建一个脚本文件“eureka.sh”,内容为:

docker run -p 8761:8761 --name ctg-eureka -d ctg-eureka

1.6.3 docker加载eureka镜像

在/home/dokcer/apps/eureka路径下执行命令:

docker build -t ctg-eureka .

(注意最后有个“.”符号)

1.6.4 运行eureka

1.通过脚本文件eureka.sh运行，脚本文件的运行需授予权限，在文件目录下命令：

chmod 755 eureka.sh

2.运行脚本命令：./eureka.sh

1.6.5 eureka常用命令

1.启动: docker start ctg-eureka

2.重启: docker restart ctg-eureka

3.停止: docker stop ctg-eureka

1.7 配置中心Apollo部署

端口需要: 8070,8080,8090

1.7.1 准备工作

Apllo的部署需要Mysql数据库，需要5.6.5以上版本。

1.7.2 创建数据库

Apollo服务端共需要两个数据库：ApolloPortalDB和ApolloConfigDB，我们把数据库、表的创建和样例数据都分别准备了sql文件，只需要导入数据库即可。

执行两个sql文件

sql/apolloportaldb.sql

sql/apolloconfigdb.sql

会创建两个数据库

sql文件可在官网：Quick Start · apolloconfig/apollo Wiki · GitHub 下载

1.7.3 脚本文件

1.在/home/docker/script路径下创建“apollo”文件夹

2.在/home/docker/script/apollo路径下创建“apollo-portal.sh”脚本文件，内容为：

docker run -d \--name apollo-portal \--net=host \-v /tmp/logs:/opt/logs \-e SPRING_DATASOURCE_URL=
"jdbc:mysql://数据库地址/ctg_apollo_portal_test?characterEncoding=utf8" \-e SPRING_DATASOURCE_USERNAME=数据库账号\-e SPRING_DATASOURCE_PASSWORD=数据库密码\-e APOLLO_PORTAL_ENVS=test \-e TEST_META=http://服务器ip地址:8080 \apolloconfig/apollo-portal:1.9.13.在/home/docker/script/apollo路径下创建“apollo-config.sh”脚本文件，内容为：docker run -d \--name apollo-configservice \--net=host \-v /tmp/logs:/opt/logs \-e SPRING_DATASOURCE_URL=
"jdbc:mysql://数据库地址/ctg_apollo_config_test?characterEncoding=utf8" \-e SPRING_DATASOURCE_USERNAME=数据库账号\-e SPRING_DATASOURCE_PASSWORD=数据库密码\apolloconfig/apollo-configservice:1.9.1

4. 在/home/docker/script/apollo路径下创建“apollo-admin.sh”脚本文件，内容为：

docker run -d \--name apollo-adminservice \--net=host \-v /tmp/logs:/opt/logs \-e SPRING_DATASOURCE_URL=
"jdbc:mysql://数据库地址/ctg_apollo_config_test?characterEncoding=utf8" \-e SPRING_DATASOURCE_USERNAME=数据库账号\-e SPRING_DATASOURCE_PASSWORD=数据库密码\apolloconfig/apollo-adminservice:1.9.1

1.7.4 docker拉取apollo

命令：
1.docker pull apolloconfig/apollo-configservice:1.9.1
2.docker pull apolloconfig/apollo-adminservice:1.9.1
3.docker pull apolloconfig/apollo-portal:1.9.1

1.7.5 运行apollo

在/home/docker/script/apollo路径下运行指令1. chmod 755 apollo-portal.sh2. chmod 755 apollo-config.sh3. chmod 755 apollo-admin.sh执行运行命令1. ./ apollo-portal.sh2. ./ apollo-config.sh3. ./ apollo-admin.sh

1.7.6 使用Apollo配置中心

	访问服务器IP:8070可以进行访问，默认的用户名是apollo，密码是admin。