Kafka SASL/SCRAM介绍

Kafka SASL/SCRAM介绍

Kafka SASL/SCRAM 是一种更为安全的认证机制，相比于 SASL/PLAIN，它提供了更高的密码保护和认证强度。SASL/SCRAM（Salted Challenge Response Authentication Mechanism）使用加密的密码存储和认证机制，可以有效防止密码明文传输，因此在生产环境中得到了广泛应用。

1. SASL/SCRAM 认证机制

SASL/SCRAM 是基于 Challenge-Response 的认证机制，其中客户端使用经过哈希加盐（salted hash）处理的密码进行身份验证，而 Kafka 集群通过比较存储在服务器上的加密密码来验证客户端身份。该机制具有以下特点：

• 加盐密码存储：密码通过 SCRAM 算法（通常是 SHA-256 或 SHA-512）进行加盐哈希，避免了明文密码泄露的风险。
• 双向认证：客户端和 Kafka 服务器使用相同的密钥进行相互认证，防止中间人攻击（MITM）。
• 适用于生产环境：SASL/SCRAM 提供了比 SASL/PLAIN 更强的安全性，适合用于需要更高安全性的生产环境。

2. SASL/SCRAM 认证工作原理

2.1 SCRAM 认证原理

SASL/SCRAM 基于挑战-响应机制（Challenge-Response）。在这种机制中，客户端和服务器在认证过程中交换加密的认证信息，而不是传递明文密码。其核心思想是，客户端和服务器都使用一个加盐哈希算法（如 SHA-256 或 SHA-512）来生成密码的散列值，以此进行身份验证。

具体步骤如下：

2.1.1 密码存储和加盐

• 密码存储：与其他认证机制不同，SCRAM 在服务器端不会存储明文密码，而是将密码经过哈希算法加盐处理后存储。加盐（salt）意味着将随机生成的盐值与密码进行拼接，然后进行哈希处理，这样即使两个用户使用相同密码，其哈希值也是不同的。

• 加盐哈希（Salted Hash）：SCRAM 使用加盐和迭代哈希来增加密码的安全性，防止通过彩虹表等方式暴力破解密码。

2.1.2 SCRAM 认证流程

SASL/SCRAM 认证流程涉及多个步骤，客户端和服务器会进行一系列的相互验证：

（1）客户端发起认证请求

客户端生成请求：客户端首先向 Kafka 服务器发送认证请求。此请求包含客户端的身份（如用户名）和一个初始的响应（称为 “Client First Message”）。

客户端发送的初始消息：这个消息包含客户端的用户名和一个生成的随机 nonce（一次性使用的随机数）。

示例：

n=user,r=nonce

（2）服务器响应请求

服务器生成挑战消息：服务器收到客户端的请求后，会生成一个挑战消息，响应客户端。挑战消息包含一个随机生成的 nonce，以及一个 salt（盐值）和迭代次数等信息。服务器还会将该信息进行哈希后存储，用于后续的密码验证。

示例：

r=nonce, s=salt, i=iterations

• r: 随机数（nonce），保证每次认证的唯一性。
• s: 盐值（salt），用于加盐哈希。
• i: 迭代次数（iterations），用于增加计算难度，防止暴力破解。

（3）客户端响应挑战

客户端计算密码哈希并发送响应：客户端使用自己的密码、服务器提供的盐值、迭代次数和挑战信息计算出一个响应信息（称为 “Client Final Message”）。此响应信息包含客户端生成的密码哈希值。

客户端通过以下公式生成哈希：

HMAC(Salt + Password + Iterations, Nonce)

然后将这个结果（包括一个用户名、客户端响应、以及 nonce）作为响应返回给服务器。

示例：

c=biws,r=nonce,p=HMAC(Salt + Password + Iterations, Nonce)

• c: 表示编码格式，通常为 biws。
• p: 客户端计算出的密码哈希值。

（4）服务器验证客户端响应

服务器验证客户端的响应：服务器接收到客户端的响应后，使用自己的存储的盐值、迭代次数、以及密码来验证客户端提供的密码哈希是否匹配。如果验证成功，表示客户端身份合法。

• 服务器使用相同的盐值和迭代次数进行哈希计算，然后与客户端发送过来的哈希值进行比对。如果一致，表示认证通过。

（5）服务器发送验证结果

服务器发送最终响应：如果客户端提供的密码验证成功，服务器向客户端发送一个成功的响应消息，完成认证过程。如果验证失败，则返回认证失败的错误信息。

2.2 SCRAM 认证的关键算法

SCRAM 使用以下关键算法来加密和保护密码：

• 哈希算法：SCRAM 使用标准的哈希算法（通常为 SHA-256 或 SHA-512）对密码进行加盐处理。盐值（salt）是一个随机生成的字节序列，确保相同密码的哈希结果不同。

• HMAC：客户端和服务器在认证过程中使用 HMAC（Hash-based Message Authentication Code） 算法来生成密码的哈希。HMAC 结合了密码、盐值、迭代次数和随机数，使得破解密码更加困难。

• 迭代次数：为了提高密码保护的强度，SCRAM 认证要求使用多次迭代的哈希操作。这意味着密码的哈希计算不仅仅是一次简单的哈希，而是重复进行多次迭代，从而增加了计算的复杂度，防止暴力破解。

2.3 SCRAM 密码存储

在 SCRAM 中，密码不以明文存储，而是存储加盐哈希值。服务器存储的是密码的哈希信息（通常是经过多次迭代的 HMAC 值），而不是密码本身。

存储结构示例：

SCRAM-SHA-256$4096:randomSalt:hashedPassword

• SCRAM-SHA-256: 表示使用的哈希算法（SHA-256）。
• 4096: 迭代次数（密码哈希计算的迭代次数）。
• randomSalt: 随机生成的盐值，用于加盐哈希。
• hashedPassword: 密码的最终哈希值。

2.4 SCRAM 密码管理

• 添加用户和设置密码：使用 Kafka 提供的 kafka-configs.sh 命令或 Kafka 管理界面来添加用户，并设置用户的 SCRAM 密码。

  示例命令：

  bin/kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config 'SCRAM-SHA-256=[password=secretpassword]' --entity-type users --entity-name user1
  

• 查看密码配置：管理员可以通过 kafka-configs.sh 查询用户的 SCRAM 密码配置。

  示例命令：

  bin/kafka-configs.sh --bootstrap-server localhost:9093 --describe --entity-type users --entity-name user1
  

3. 配置和使用 Kafka SASL/SCRAM

3.1 Kafka 服务器端配置

为了启用 SASL/SCRAM 认证机制，需要在 Kafka 服务器端进行相关配置。

（1）修改 Kafka 服务器配置文件 server.properties

1. 打开 Kafka 配置文件 server.properties。
2. 配置 SASL 和 SCRAM 相关参数：

# 启用 SASL/SCRAM 认证
listeners=SASL_PLAINTEXT://0.0.0.0:9093
listener.security.protocol=SASL_PLAINTEXT  # 传输层协议，支持 SASL 和 PLAIN 认证# 支持的 SASL 认证机制
sasl.enabled.mechanisms=SCRAM-SHA-256,SCRAM-SHA-512  # 选择支持的机制（SCRAM-SHA-256 或 SCRAM-SHA-512）# Kafka 集群与集群之间的通信协议配置（如分区副本等）
security.inter.broker.protocol=SASL_PLAINTEXT# 使用 SCRAM 算法（通常为 SCRAM-SHA-256 或 SCRAM-SHA-512）
scram.algorithm=SCRAM-SHA-256

• listeners: 配置 Kafka 接受连接的端口，这里设置为 SASL_PLAINTEXT，代表使用没有加密的 SASL 认证。
• sasl.enabled.mechanisms: 启用 SCRAM-SHA-256 或 SCRAM-SHA-512 机制，可以选择其中之一。
• security.inter.broker.protocol: 配置 Kafka 集群内的节点间通信协议。

（2）启动或重启 Kafka 服务

配置完成后，重启 Kafka 服务器使配置生效：

bin/kafka-server-start.sh config/server.properties

3.2 创建 SCRAM 用户并设置密码

Kafka 中的 SCRAM 用户和密码信息可以通过命令行工具 kafka-configs.sh 配置。我们使用 kafka-configs.sh 命令来创建 SCRAM 用户并为其设置密码。

（1）创建 SCRAM 用户并设置密码

bin/kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config 'SCRAM-SHA-256=[password=secretpassword]' --entity-type users --entity-name kafka-client

• --alter: 修改现有配置。
• --add-config: 添加新的配置项，这里是添加密码信息。
• SCRAM-SHA-256=[password=secretpassword]: 指定使用 SCRAM-SHA-256 并设置密码为 secretpassword。
• --entity-type users: 指定要操作的实体类型为 users。
• --entity-name kafka-client: 指定用户名为 kafka-client。

（2）检查用户配置

可以使用以下命令查看已配置用户的 SCRAM 信息：

bin/kafka-configs.sh --bootstrap-server localhost:9093 --describe --entity-type users --entity-name kafka-client

这将列出与 kafka-client 用户相关的 SCRAM 配置信息，包括算法、密码哈希值等。

3.3 Kafka 客户端配置

Kafka 客户端（如生产者或消费者）需要配置 SASL/SCRAM 认证来连接到 Kafka 集群。

（1）配置 Kafka 生产者

在 Kafka 生产者的配置文件中，设置使用 SASL/SCRAM 进行认证：

# Kafka 生产者配置
bootstrap.servers=localhost:9093
security.protocol=SASL_PLAINTEXT  # 配置为使用 SASL 认证
sasl.mechanism=SCRAM-SHA-256  # 选择 SCRAM-SHA-256 认证机制# 配置 JAAS 登录模块（用户名和密码）
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \username="kafka-client" \password="secretpassword";

• security.protocol: 配置为 SASL_PLAINTEXT，表示 Kafka 客户端与服务器之间的通信使用 SASL 认证。
• sasl.mechanism: 指定使用的认证机制，这里设置为 SCRAM-SHA-256。
• sasl.jaas.config: 配置 JAAS（Java Authentication and Authorization Service）认证模块，设置用户名和密码。

（2）配置 Kafka 消费者

对于 Kafka 消费者的配置，与生产者类似，只需确保配置正确的认证信息：

# Kafka 消费者配置
bootstrap.servers=localhost:9093
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256# 配置 JAAS 登录模块
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \username="kafka-client" \password="secretpassword";

（3）使用 Kafka 客户端

在客户端配置好之后，可以启动生产者或消费者应用，进行数据的发送和消费。

示例：Kafka 生产者代码

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9093");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("security.protocol", "SASL_PLAINTEXT");
props.put("sasl.mechanism", "SCRAM-SHA-256");
props.put("sasl.jaas.config", "org.apache.kafka.common.security.scram.ScramLoginModule required username=\"kafka-client\" password=\"secretpassword\"");KafkaProducer<String, String> producer = new KafkaProducer<>(props);ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record);producer.close();

3.4 使用 SSL 加密连接

如果需要加密通信，建议使用 SASL_SSL，结合 SSL/TLS 进行数据加密，避免密码和数据被中间人攻击者截取。

（1）配置 Kafka 服务器启用 SSL

在 server.properties 文件中进行 SSL 配置：

listeners=SASL_SSL://0.0.0.0:9094  # 启用加密的 SASL 连接
security.inter.broker.protocol=SASL_SSL  # 配置集群内部通信协议
ssl.keystore.location=/path/to/keystore.jks  # 配置 keystore 路径
ssl.keystore.password=<keystore-password>
ssl.truststore.location=/path/to/truststore.jks  # 配置 truststore 路径
ssl.truststore.password=<truststore-password>

（2）客户端启用 SSL 加密

客户端（生产者或消费者）也需要启用 SSL 配置：

bootstrap.servers=localhost:9094
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-256# 配置 JAAS 登录模块
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \username="kafka-client" \password="secretpassword";# 配置 SSL
ssl.truststore.location=/path/to/truststore.jks
ssl.truststore.password=<truststore-password>

（3）启动客户端

在配置完成后，客户端可以通过 SSL 加密连接到 Kafka 集群，确保所有数据都在加密通道中传输。

3.5 SCRAM 配置管理和维护

（1）修改用户密码

如果需要修改 SCRAM 用户的密码，可以通过 kafka-configs.sh 工具进行更改：

bin/kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config 'SCRAM-SHA-256=[password=newpassword]' --entity-type users --entity-name kafka-client

（2）查看用户配置

可以查看 SCRAM 配置的详细信息，检查用户的认证状态和密码配置：

bin/kafka-configs.sh --bootstrap-server localhost:9093 --describe --entity-type users --entity-name kafka-client

4. 安全性与最佳实践

SASL/SCRAM 提供了比 SASL/PLAIN 更强的安全性，但在使用时需要注意以下几点：

（1）使用强密码

• 配置 SASL/SCRAM 时，确保使用强密码。避免使用简单、易猜的密码，如 password123。
• 可以通过强密码策略来保证密码的复杂性。

（2）使用 SASL_SSL

• 虽然 SASL/SCRAM 本身提供了强大的认证机制，但在公开网络中传输认证信息时，仍然推荐使用 SASL_SSL，以保证数据的加密传输，防止中间人攻击。
• 配置 SSL/TLS 加密后，密码和认证过程会通过加密的通道传输，增加额外的安全性。

（3）定期更新密码

• 定期更换 Kafka 用户的密码，以增强集群的安全性。
• 可以通过 kafka-configs.sh 命令轻松更换用户密码。

（4）启用审计日志

• 对于生产环境，建议启用 Kafka 的审计日志，记录认证过程中的活动。可以通过外部日志管理系统来审计和追踪认证请求。

5. 总结

SASL/SCRAM 是一种比 SASL/PLAIN 更安全的 Kafka 认证机制。它通过使用加盐哈希密码存储方式避免了明文密码的泄露，并提供了强大的认证保障，特别适合用于生产环境。配置过程相对简单，但在部署时需要配合 SSL/TLS 以确保认证过程的安全性。正确的用户管理、强密码策略以及定期更新密码是保证系统安全的最佳实践。