Neo4j集群学习

官方指导文档

• Neo4j 5 Cluster
• Neo4j 5 Basic Cluster

Neo4j因果集群

• 集群是Neo4企业版中所提供的功能，所以要想使用集群那么必须要下载企业版才能使用，企业版有30天的试用期。
• Neo4的因果集群提供三个主要功能：
• 安全性：核心服务器为事务处理提供了一个容错平台，当这些核心服务器中的一大部分节点正常运行时，该平台将保持可用。
• 规模：只读副本为图形数据查询提供了可扩展的平台，该平台使非常大的图形工作负载可以在广泛分布的拓扑中执行。
• 因果一致性：调用时，保证客户端应用程序至少读取其自身的写入。

• 从操作的角度来看，将集群视为由具有两个不同角色的服务器组成：核心和只读副本。

核心服务器

• 核心服务器的主要职责是保护数据。核心服务器通过使用Raft协议复制所有事务来保护数据。在确认向最终用户程序提交事务之前，Raft确保数据安全持久。

• Raft是一个共识算法（多个节点对某个事件达成一致的看法）

• 集群（N/2+1）中的大多数核心服务器都接受了事务，就可以安全地确认对最终用户应用程序的提交。需要注意的
  是，安全要求会影响写入延迟。
• 集群的容错可以通过公式计算的，M=2F+1其中M是容错，F是所需的核心服务器数量。例如：
• 为了容忍两个发生故障的核心服务器，需要部署五个核心的集群。
• 最小的容错群集（一个可以容忍一个故障的群集）必须具有三个内核。也可以创建仅包含两个核心的因果群集。但是，该群集将不会容错。如果两台服务器之一发生故障，其余服务器将变为只读。

• 如果集群遭受足够多的Core故障，则它将无法再处理写入操作，井且将变为只读状态以保持安全性。

只读副本

• 只读副本的主要职责是扩展图形工作负载。主要提供查询和过程执行。
• 只读副本是通过事务日志传送从Core Servers异步复制的。他们将定期轮询上游服务器以获取新事务，随着只读副本数晕的增加，就可以支撑更多的查询需求，从而扩大了集群规模。
• 只读副本通常应以相对较大的数量运行，只读副本宕机不会影响群集的可用性，除了会损失一部分图查询吞吐量之外它不会影响群集的容错能力。

因果一致性

• 因果一致性能确保数据写入核心服务器，并且只能从只读副本中读到这些写入的数据。
  
• 在执行事务时，客户端可以请求书签（Bookmark），然后以该书签作为下一个事务的参数。使用书签功能，集群可以确保其中的服务器只有处理了客户端的书签事务后才能够运行其下一个事务。这提供了一个因果链，从客户的角度确保行为的正确性。
• 除了书签以外，剩余的工作都交由集群来处理。主要是由数据库驱动程序与集群拓扑管理器一起完成，以选择最合适的核心服务器和只读副本，从而提供高质量的服务。

Neo4j集群搭建

Neo4j企业版下载

• neo4j download center
• 选择下载企业版，注册信息，在网页登录填写的邮箱，点击邮件不同类型的安装文件进行下载。
  

集群简介

• 3个核心服务器+1个只读副本的集群
• 准备5台Ubuntu服务器

编号	IP	角色	机器名	部署路径
1	192.168.31.105	core	node1	/neo4j
2	192.168.31.106	core	node2	/neo4j
3	192.168.31.107	core	node3	/neo4j
4	192.168.31.108	replica	node4	/neo4j
5	192.168.31.109	core	node5	/neo4j

虚拟机准备

• 请自行操作准备需要的虚拟机
  
  
  

jdk安装

1. 下载Oracle JDK安装包，解压和创建需要的目录

   sudo mkdir /usr/lib/jvm
   sudo tar -zxvf jdk-21_linux-x64_bin.tar.gz -C /usr/lib/jvm
   

2. 打开/etc/profile文件，配置java环境变量

   sudo vim /etc/profile
   

export JAVA_HOME=/usr/lib/jvm/jdk-21.0.6
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH

3. 保存并关闭文件，使/etc/profile文件生效

   source /etc/profile  
   

4. 检测jdk环境

   java -version
   

实施搭建

1. 安装vim编辑器，修改hosts文件

sudo apt install vim
sudo vim /etc/hosts

2. 在所有机器上的hosts文件加入下面的内容

172.16.144.131 node1
172.16.144.132 node2
172.16.144.133 node3
172.16.144.134 node4
172.16.144.135 node5

• 在每台机器上使用ping命令测试与其他机器的网络连通

ping node1
ping node2
ping node3
ping node4
ping node5

3. 在所有的机器上创建目录，上传并解压neo4j安装包

mkdir /neo4j
neo4j-enterprise-5.26.2-unix.tar.gz

4. 修改node1,node2,node3配置文件neo4j.con，下面是node1的配置

#所有网络可以连接
server.default_listen_address=0.0.0.0
#对外暴露的机器名称（每个机器名字不相同）根据不同node配置
server.default_advertised_address=node1dbms.cluster.discovery.version=V2_ONLY
#集群模式，这里可设需CORE或READ_REPLICA
initial.server.mode_constraint=PRIMARY
#设置 RAFT 和其他内部通信的地址
server.cluster.raft.listen_address=:7000
server.cluster.raft.advertised_address=:7000
# 集群中核心节点的最小数量(添加)
#causal_clustering.minimum_core_cluster_size_at_formation=3
# 运行中最少存活的核心节点数量(添加)
#causal_clustering.minimum_core_cluster_size_at_runtime=2
#集群中core的发现列表
dbms.cluster.discovery.v2.endpoints=node1:6000,node2:6000,node3:6000
# 接受许可证
dbms.license.accepted=true
# 主模式下的初始数据库托管数
initial.dbms.default_primaries_count=3

5. 设置用户和权限

sudo chown -R neo4j:neo4j /neo4j/neo4j-enterprise-5.26.2
sudo chmod -R 755 /neo4j/neo4j-enterprise-5.26.2

6. 启动node1,node2,node3的neo4j服务

cd /neo4j/neo4j-enterprise-5.26.2/bin./neo4j-admin server license --accept-commercial./neo4j startcat /neo4j/neo4j-enterprise-5.26.2/logs/neo4j.log

• 终端输出信息

neo4j@VMware-neo4jNode1:/neo4j/neo4j-enterprise-5.26.2/bin$ ./neo4j start
Directories in use:
home:         /neo4j/neo4j-enterprise-5.26.2
config:       /neo4j/neo4j-enterprise-5.26.2/conf
logs:         /neo4j/neo4j-enterprise-5.26.2/logs
plugins:      /neo4j/neo4j-enterprise-5.26.2/plugins
import:       /neo4j/neo4j-enterprise-5.26.2/import
data:         /neo4j/neo4j-enterprise-5.26.2/data
certificates: /neo4j/neo4j-enterprise-5.26.2/certificates
licenses:     /neo4j/neo4j-enterprise-5.26.2/licenses
run:          /neo4j/neo4j-enterprise-5.26.2/run
Starting Neo4j.
Started neo4j (pid:11866). It is available at http://0.0.0.0:7474
There may be a short delay until the server is ready.

• 成功日志信息

2025-02-15 09:58:32.913+0000 INFO  Starting...
2025-02-15 09:58:36.412+0000 INFO  ======== Neo4j 5.26.2 ========
2025-02-15 09:58:36.432+0000 INFO  This instance is ServerId{29d57ea3} (29d57ea3-7b15-40e4-8eb3-a4c3d77dbda9)
2025-02-15 09:58:36.807+0000 INFO  Resolved endpoints with LIST{endpoints:'[node1:6000, node2:6000, node3:6000]'} to '[node1:6000, node2:6000, node3:6000]'
2025-02-15 09:58:36.920+0000 INFO  Resolved endpoints with LIST{endpoints:'[node1:6000, node2:6000, node3:6000]'} to '[node1:6000, node2:6000, node3:6000]'
2025-02-15 09:59:08.532+0000 INFO  Default database 'neo4j' is created
2025-02-15 09:59:09.684+0000 INFO  Sending metrics to CSV file at /neo4j/neo4j-enterprise-5.26.2/metrics
2025-02-15 09:59:09.730+0000 INFO  Anonymous Usage Data is being sent to Neo4j, see https://neo4j.com/docs/usage-data/
2025-02-15 09:59:09.735+0000 INFO  Bolt enabled on 0.0.0.0:7687.
2025-02-15 09:59:09.738+0000 INFO  Bolt (Routing) enabled on 0.0.0.0:7688.
2025-02-15 09:59:10.380+0000 INFO  Connected to node3/172.16.144.133:7000 [Category[name=RAFT] version:3.0]
2025-02-15 09:59:10.382+0000 INFO  Connected to node2/172.16.144.132:7000 [Category[name=RAFT] version:3.0]
2025-02-15 09:59:10.610+0000 INFO  Connected to node3/172.16.144.133:7000 [Category[name=RAFT] version:3.0]
2025-02-15 09:59:10.639+0000 INFO  Connected to node2/172.16.144.132:7000 [Category[name=RAFT] version:3.0]
2025-02-15 09:59:12.784+0000 INFO  HTTP enabled on 0.0.0.0:7474.
2025-02-15 09:59:12.785+0000 INFO  Remote interface available at http://node1:7474/
2025-02-15 09:59:12.794+0000 INFO  id: 8DD72F08684DDB2495F846C930EB8383E01C9F19187118F1F4F8D31CCF4FE01A
2025-02-15 09:59:12.794+0000 INFO  name: system
2025-02-15 09:59:12.795+0000 INFO  creationDate: 2025-02-15T09:59:07.141Z
2025-02-15 09:59:12.797+0000 INFO  Started.

访问neo4j Web服务

• 建议修改本地host文件添加以下内容：

172.16.144.131 node1
172.16.144.132 node2
172.16.144.133 node3
172.16.144.134 node4
172.16.144.135 node5

show servers

╒══════════════════════════════════════╤════════════╤═════════╤═══════════╤═══════════════════╕
│name                                  │address     │state    │health     │hosting            │
╞══════════════════════════════════════╪════════════╪═════════╪═══════════╪═══════════════════╡
│"29d57ea3-7b15-40e4-8eb3-a4c3d77dbda9"│"node1:7687"│"Enabled"│"Available"│["system"]         │
├──────────────────────────────────────┼────────────┼─────────┼───────────┼───────────────────┤
│"49c6640d-9ab8-4add-9605-b9f8517a77d2"│"node3:7687"│"Enabled"│"Available"│["system"]         │
├──────────────────────────────────────┼────────────┼─────────┼───────────┼───────────────────┤
│"803700f5-367e-46a7-8ea8-ec42bed5b7cd"│"node2:7687"│"Enabled"│"Available"│["neo4j", "system"]│
└──────────────────────────────────────┴────────────┴─────────┴───────────┴───────────────────┘

:sysinfo

集群添加Core节点

1. 同样配置好java环境和neo4j，neo4j的配置文件，设置权限，启动应用

#所有网络可以连接
server.default_listen_address=0.0.0.0
#对外暴露的机器名称（每个机器名字不相同）根据不同node配置
server.default_advertised_address=node4dbms.cluster.discovery.version=V2_ONLY
#集群模式，这里可设需CORE或READ_REPLICA
initial.server.mode_constraint=PRIMARY
#设置 RAFT 和其他内部通信的地址
server.cluster.raft.listen_address=:7000
server.cluster.raft.advertised_address=:7000#集群中core的发现列表
dbms.cluster.discovery.v2.endpoints=node1:6000,node2:6000,node3:6000
# 接受许可证
dbms.license.accepted=true
# 主模式下的初始数据库托管数
initial.dbms.default_primaries_count=3

2. 登录node4的neo4j的web网页，查看结果

   show servers
   

   ╒══════════════════════════════════════╤════════════╤═════════╤═══════════╤═══════════════════╕
   │name                                  │address     │state    │health     │hosting            │
   ╞══════════════════════════════════════╪════════════╪═════════╪═══════════╪═══════════════════╡
   │"29d57ea3-7b15-40e4-8eb3-a4c3d77dbda9"│"node1:7687"│"Enabled"│"Available"│["system"]         │
   ├──────────────────────────────────────┼────────────┼─────────┼───────────┼───────────────────┤
   │"49c6640d-9ab8-4add-9605-b9f8517a77d2"│"node3:7687"│"Enabled"│"Available"│["system"]         │
   ├──────────────────────────────────────┼────────────┼─────────┼───────────┼───────────────────┤
   │"803700f5-367e-46a7-8ea8-ec42bed5b7cd"│"node2:7687"│"Enabled"│"Available"│["neo4j", "system"]│
   ├──────────────────────────────────────┼────────────┼─────────┼───────────┼───────────────────┤
   │"d9d9bf08-af09-46fc-a640-a51973effb2c"│"node4:7687"│"Free"   │"Available"│["system"]         │
   └──────────────────────────────────────┴────────────┴─────────┴───────────┴───────────────────┘