ClickHouse--分布式查询多副本的路由规则

前言

在集群情况下，数据写入可以有写本地表和写分布式表2种方案，但是面向集群查询时，只能通过Distributed表引擎实现。

本文主要介绍分布式查询多副本的路由规则。

该配置项为：load_balance=random/nearest_hostname/in_order/first_or_random

一、多副本的路由规则

查询数据时，如果一个分片shard有多个副本repIica，那么Distributed表引擎就需要面对副本选择的问题，选择查询究竟在哪个副本上执行。ck的负载均衡算法有以下四种：

• random

• nearest_hostname

• in_order

• first_or_random

1. random

这是默认的负载均衡算法。在ck的服务节点中，有一个errors_count全局计数器，当服务发生任何异常时，技术器加1。randdom算法会选择errors_count最小的那个repIica，如果多个repIica的errors_count相同，则在这几个里随机选择一个。

2. nearest_hostname

选择errors_count最小的那个，如果多个errors_count相同，则选择集群配置中host名称和当前host名称最相似的那个。相似比较的规则是与当前host的名称，按字节进行逐位对比，找到不同字节最少的那个。

例如当前host是a.bc.de，那么，a.bc.df就比a.bf.hh要更加相似。

a.bc.de

a.bc.df

a.bf.hh

3. in_order

选择errors_count最小的那个，如果多个errors_count相同，则按照集群配置顺序选择。

4. first_or_random

选择errors_count最小的那个，如果多个errors_count相同，则按照集群配置顺序选择第一个，如果第一个不可用，则随意选择一个其他的。

总结起来：其实这4个负载算法中，都是优先选择errors_count最小的那个，如果多个errors_count相同时，再根据不同的负载算法来选择。

拓展：对于集群的每一个查询，errors_count 都会更新一次，但 estimated_recovery_time 会根据需求重新计算，所以可能会出现这样的情况，当 errors_count 非零、estimated_recovery_time 为零时，下次查询会把 errors_count 置为零，并且尝试使用副本，就好像没有错误一样。

二、如何设置errors_count，确保生效

errors_count默认不开启

Hedged requests for remote queries. When setting use_hedged_requests enabled (off by default), allow to establish many connections with different replicas for query. New connection is enabled in case existent connection(s) with replica(s) were not established within hedged_connection_timeout or no data was received within receive_data_timeout. Query uses the first connection which send non empty progress packet (or data packet, if allow_changing_replica_until_first_data_packet); other connections are cancelled. Queries with max_parallel_replicas > 1 are supported. #19291 (Kruglov Pavel). This allows to significantly reduce tail latencies on very large clusters.

翻译：

远程查询的对冲请求。当将use_hedged_requests设置为启用（默认情况下为禁用）时，允许与不同副本建立多个连接以进行查询。如果在hedged_connection_timeout内未建立与副本的现有连接或在receive_data_timeout中未接收到数据，则启用新连接。查询使用发送非空进度包（或数据包，如果allow_changing_replica_until_first_data_packet）的第一个连接；其他连接被取消。支持max_paralle_replicas>1的查询。这允许在非常大的集群上显著减少尾部延迟。

使用场景：若将一个CK集群中的某个分片的某个副本停服（或者挂起），使之处于一个假死状态，无法对外提供服务，无法接受插入、查询请求等；如果未设置use_hedged_requests=1，还是会有1/副本数 的概率往停服的副本上发送，从而导致请求超时报错等问题