当前位置：首页 > news >正文

[单master节点k8s部署]23.构建EFK日志收集平台（二）

news 2025/11/17 13:27:17

部署elasticsearch集群

已经完成的工作：创建存储。首先配置了nfs存储提供商（nfs-deployment.yaml），然后通过创建存储类（storageclass.yaml）来将nfs服务器与存储类绑定：

[root@master 31efk]# cat storageclass.yaml 
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:name: do-block-storage
provisioner: example.com/nfs

创建了elasticsearch的服务（elasticsearch_svc.yaml）,定义了两个接口，一个是对外的，一个是elasticsearch集群内部通信的。

[root@master 31efk]# cat elasticsearch_svc.yaml 
kind: Service
apiVersion: v1
metadata:name: elasticsearch31namespace: kube-logging31labels:app: elasticsearch
spec:selector:app: elasticsearchclusterIP: Noneports:- port: 9200name: rest- port: 9300name: inter-node

现在创建elasticsearch的具体pod。

这里的集群创建方式为statefulset，因为elasticsearch需要稳定的pod管理和持久化的存储。

有状态服务：Elasticsearch节点存储数据，因此需要持久化存储（即磁盘卷），并且需要保证每个节点能够持有自己特定的数据，即使在Pod重启或迁移时。
稳定的网络标识：StatefulSet为每个Pod分配一个稳定且唯一的网络标识（DNS名），这对于Elasticsearch这样的分布式系统至关重要，因为节点之间需要通过固定的名称相互通信。
顺序部署和终止：StatefulSet保证Pod按照顺序创建和删除，这有助于Elasticsearch集群的节点顺利加入和退出，确保集群的健康状态。

elasticsearch的yaml文件

第一部分

第一部分，可以看到部署在kube-logging31命名空间，匹配了elasticsearch31的service。容器内部也开放对应的端口。

对于statefulset来讲，需要持久化存储，这里定义了PVC模板，用来从storageClass进行请求PV。（当 PVC 指定了某个 StorageClass 时，Kubernetes 会使用该 StorageClass 动态创建（或供应）一个 PV，并将其绑定到 PVC 上。）这里的PVC的name是data，这里容器绑定的存储名称也是data，路径为/usr/share/elasticsearch/data。

apiVersion: apps/v1
kind: StatefulSet
metadata:name: elastic-cluster31namespace: kube-logging31
spec:serviceName: elasticsearch31replicas: 3selector:matchLabels:app: elasticsearchvolumeClaimTemplates:- metadata:name: datalabels:app: elasticsearchspec:accessModes: [ "ReadWriteOnce" ]storageClassName: do-block-storageresources:requests:storage: 10Gi  template:metadata:labels:app: elasticsearchspec:containers:- name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:7.2.0imagePullPolicy: IfNotPresentresources:limits:cpu: 1000mrequests:cpu: 100mports:- containerPort: 9200name: restprotocol: TCP- containerPort: 9300name: inter-nodeprotocol: TCPvolumeMounts:- name: datamountPath: /usr/share/elasticsearch/data

第二部分

container的环境变量：这里设置的环境变量主要是为了进行一个集群的搭建，这里的集群和statefulset里面的name是不一样的，具体关系如下：

selector 主要用于 Kubernetes 内部，它负责确定哪些 Pods 属于哪个 StatefulSet，或者哪些 Pods 应该由某个服务来管理。但是，selector 并不能直接影响 Elasticsearch 集群的内部逻辑，也不能用来标识 Elasticsearch 中的节点。
可以说selector主要方便容器的生命周期管理，不能控制elasticsearch集群内部的逻辑。而elasticsearch需要进行节点选举等更加精确的控制，因此还需要额外的配置。
node.name：作用于 Elasticsearch 层，是 Elasticsearch 集群中唯一标识每个节点的配置。每个 Elasticsearch 节点必须有一个唯一的 node.name，以便 Elasticsearch 能够正确地管理和协同多节点的操作，如主节点选举、数据分片分配等。

所以下面的container的环境变量就是规定了elasticsearch的集群名称，以及node.name。

由于在statefulset中，创建的pod的名字是固定的，名称格式是<statefulset-name>-<ordinal> 。由于statefulset的名称是es-cluster，所以pod的名称就是es-cluster31-0,es-cluster31-1,es-cluster31-2。而这里的discovery.seed_hosts是每一个pod的DNS地址，每一个pod的DNS地址格式为：

<pod-name>.<service-name>.<namespace>.svc.cluster.local

所以看到 discovery.seed_hosts:"es-cluster31-0.elasticsearch31.kube-logging31.svc.cluster.local,es-cluster31-1.elasticsearch31.kube-logging31.svc.cluster.local,es-cluster31-2.elasticsearch31.kube-logging31.svc.cluster.local"

          env:- name: cluster.namevalue: k8s-logs- name: node.namevalueFrom:fieldRef:fieldPath: metadata.name- name: discovery.seed_hostsvalue: "elastic-cluster31-0.elasticsearch31.kube-logging31.svc.cluster.local,elastic-cluster31-1.elasticsearch31.kube-logging31.svc.cluster.local,elastic-cluster31-2.elasticsearch31.kube-logging31.svc.cluster.local"- name: cluster.initial_master_nodesvalue: "elastic-cluster31-0,elastic-cluster31-1,elastic-cluster31-2"- name: ES_JAVA_OPTSvalue: "-Xms512m -Xmx512m"

第三部分

这里的三个初始化容器是为了更好的准备elasticsearch的容器环境，确保在elasticsearch启动之前，所有的权限都已经配置正确。

fix-permission

第一个fix-permission是为了修复数据目录的权限。这里需要介绍pod的创建顺序。initcontainers 和主容器都是 Pod 的一部分。当 Kubernetes 创建 Pod 时，会按照以下顺序执行操作：

创建 Pod：Kubernetes 会首先创建整个 Pod 实体，包括其描述的所有容器（initContainers 和主容器）。
挂载卷（PVC）：当 Pod 被创建时，Kubernetes 会根据 Pod 的定义（包括 volumeMounts 和 PersistentVolumeClaim）将所需的持久卷挂载到 Pod 中的指定路径。这一步是 在所有容器启动之前 完成的。
启动 initContainers：卷挂载完成后，Kubernetes 会启动 initContainers，这些容器可以访问 Pod 中已经挂载的卷。
启动主容器：当 所有 initContainers 成功运行完成 后，Kubernetes 才会启动主容器（即 Elasticsearch 容器）。

所以可以看到，在initContainer启动之前，持久卷的挂载已经到了pod的指定路径。但是Kubernetes 动态分配的存储卷（通过 PVC 申请的持久卷）可能默认具有不适合 Elasticsearch 的文件权限。

Elasticsearch 容器通常以特定用户身份（如 UID 1000）运行，而持久卷可能以 root 用户（UID 0）创建。为了让 Elasticsearch 拥有正确的访问权限，initContainer 需要修改挂载卷的数据目录权限。因此第一个initContainer：fix-permissions 容器的运行确保数据目录的权限是正确的（chown -R 1000:1000），这样 Elasticsearch 主容器启动时能够正常访问和写入数据。

initContainers:- name: fix-permissionsimage: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "chown -R 1000:1000 /usr/share/elasticsearch/data"]securityContext:privileged: truevolumeMounts:- name: datamountPath: /usr/share/elasticsearch/data- name: increase-vm-max-mapimage: busyboximagePullPolicy: IfNotPresentcommand: ["sysctl", "-w", "vm.max_map_count=262144"]securityContext:privileged: true- name: increase-fd-ulimitimage: busyboximagePullPolicy: IfNotPresentcommand: ["sh", "-c", "ulimit -n 65536"]securityContext:privileged: true

increase-vm-max-map

容器本质上是一个轻量级的隔离环境，在容器中运行的应用程序实际上是一个linux进程。一般来讲，linux会限制每一个进程的内存映射数量，从而限制这个进程对资源的消耗。

Luence是elasticsearch的核心技术，是一个全文检索技术。Luence通过使用操作系统的 内存映射（memory-mapped I/O） 技术来高效访问索引文件，尤其是在处理大规模的索引时。内存映射允许 Lucene 将磁盘上的索引文件映射为进程的虚拟内存空间，因此可以像访问普通内存一样访问这些文件。

但是对于elasticsearch这种日志收集的容器，linux给的 65530个内存映射区域是不够的，当 Elasticsearch/Lucene 达到系统允许的最大内存映射区域数量时，操作系统会拒绝为新的索引文件或数据文件创建内存映射。这会导致 Lucene 无法加载新的索引文件，从而影响搜索和查询的执行。

所以这个increase-vm-max-map的容器，把vm-max-count的数量增加到了262144。

increase-fd-ulimit

这个容器用来提升进程可以打开的最大文件描述符的限制。

elasticsearch部署

随后进行elasticsearch的部署，发现三个容器正常启动：

[root@master 31efk]# kubectl get pods -n kube-logging31 -owide
NAME                  READY   STATUS    RESTARTS   AGE    IP               NODE    NOMINATED NODE   READINESS GATES
elastic-cluster31-0   1/1     Running   0          114s   10.244.104.62    node2   <none>           <none>
elastic-cluster31-1   1/1     Running   0          110s   10.244.166.184   node1   <none>           <none>
elastic-cluster31-2   1/1     Running   0          103s   10.244.104.63    node2   <none>           <none>

由于elasticsearch没有对外暴露端口，可以进行端口映射，然后在集群外面访问

kubectl port-forward elastic-cluster31-0 9200:9200 -n kube-logging31

然后打开另一个端口，进行访问，可以看到很多内容。

[root@master 31efk]# curl http://localhost:9200/_cluster/state?pretty
{"cluster_name" : "k8s-logs","cluster_uuid" : "4fuxJ67HSxSBsVDfKIA8Qg","version" : 17,"state_uuid" : "PpwhJDXlQvarKzCMhUy2Og","master_node" : "UWRrJRlCQ-uDcqZ3M6Y4YQ","blocks" : { },"nodes" : {"UWRrJRlCQ-uDcqZ3M6Y4YQ" : {"name" : "elastic-cluster31-1","ephemeral_id" : "S3NLgNGrRBOjWuoNC1CcHw","transport_address" : "10.244.166.185:9300","attributes" : {"ml.machine_memory" : "3953741824","ml.max_open_jobs" : "20","xpack.installed" : "true"}},"PlT4KVDFSI2qztJqF99eYw" : {"name" : "elastic-cluster31-2","ephemeral_id" : "z1akgw8xTjurYdq1_DZ7-Q","transport_address" : "10.244.104.1:9300","attributes" : {"ml.machine_memory" : "3953741824","ml.max_open_jobs" : "20","xpack.installed" : "true"}},"XXd95XfcRgW69C1ls0ZFTw" : {"name" : "elastic-cluster31-0","ephemeral_id" : "aKjaY6m0TbCTnynDPdD7JA","transport_address" : "10.244.104.2:9300","attributes" : {"ml.machine_memory" : "3953741824","ml.max_open_jobs" : "20","xpack.installed" : "true"}}},"metadata" : {"cluster_uuid" : "4fuxJ67HSxSBsVDfKIA8Qg","cluster_coordination" : {"term" : 1,"last_committed_config" : ["UWRrJRlCQ-uDcqZ3M6Y4YQ","PlT4KVDFSI2qztJqF99eYw","XXd95XfcRgW69C1ls0ZFTw"],"last_accepted_config" : ["UWRrJRlCQ-uDcqZ3M6Y4YQ","PlT4KVDFSI2qztJqF99eYw","XXd95XfcRgW69C1ls0ZFTw"],
...

其实如果不进行端口映射，在elasticsearch的内部也可以进行访问。可以看到elasticsearch的三个pod，他们之间可以互相发现。

[root@master 31efk]# kubectl exec -it elastic-cluster31-0 -n kube-logging31 -- /bin/bash
Defaulted container "elasticsearch" out of: elasticsearch, fix-permissions (init), increase-vm-max-map (init), increase-fd-ulimit (init)
[root@elastic-cluster31-0 elasticsearch]# curl http://localhost:9200/_cat/nodes?v
ip             heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
10.244.166.185           18          95   1    0.13    0.20     0.18 mdi       *      elastic-cluster31-1
10.244.104.1             17          88   0    0.02    0.05     0.08 mdi       -      elastic-cluster31-2
10.244.104.2             23          88   0    0.02    0.05     0.08 mdi       -      elastic-cluster31-0

pv和pvc

[root@master 31efk]# kubectl get pv --all-namespaces -owide
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                     STORAGECLASS       REASON   AGE    VOLUMEMODE
pvc-124274e8-1977-4e46-895d-d6b9449682f7   10Gi       RWO            Delete           Bound    kube-logging31/data-elastic-cluster31-1   do-block-storage            145m   Filesystem
pvc-677221e5-ed6a-417b-ac69-6b90304afa4e   10Gi       RWO            Delete           Bound    kube-logging31/data-elastic-cluster31-0   do-block-storage            148m   Filesystem
pvc-944a372c-1c0d-442d-998a-b62c5be7ca21   10Gi       RWO            Delete           Bound    kube-logging31/data-elastic-cluster31-2   do-block-storage            144m   Filesystem
[root@master 31efk]# kubectl get pvc --all-namespaces -owide
NAMESPACE        NAME                       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS       AGE    VOLUMEMODE
kube-logging31   data-elastic-cluster31-0   Bound    pvc-677221e5-ed6a-417b-ac69-6b90304afa4e   10Gi       RWO            do-block-storage   149m   Filesystem
kube-logging31   data-elastic-cluster31-1   Bound    pvc-124274e8-1977-4e46-895d-d6b9449682f7   10Gi       RWO            do-block-storage   145m   Filesystem
kube-logging31   data-elastic-cluster31-2   Bound    pvc-944a372c-1c0d-442d-998a-b62c5be7ca21   10Gi       RWO            do-block-storage   145m   Filesystem