异步Merkle Tree

1. 引言

前序博客：

• 利用多核的Rust快速Merkle tree

Anoushk Kharangate 2023年论文《Asynchronous Merkle Trees》，其对Merkle tree数据结构进行修改，使得可跨多线程异步计算。

开源代码实现见：

• https://github.com/anoushk1234/async-merkle-tree（Rust）

Merkle tree应用广泛，有各种变种，如：

• Jellyfish Merkle Tree
• Sparse Merkle Tree

但这些都存在一个共同的问题：

• 当用Merkle Tree来处理大数据集时，计算该tree的开销，将大幅增加。此外，插入单个叶子节点，将需要重构整棵树。

在某些情况下，插入叶子节点时的计算时间，应尽可能短，且对于数据并行处理的场景，需要能异步计算。《Asynchronous Merkle Trees》论文中：

• 提出了并行处理一组数据，批量异步所构建的Merkle Tree，在每次插入时，无需重新计算该tree。

2. Asynchronous Merkle Trees（AMT）

Asynchronous Merkle Trees（AMT）有如下关键属性：

• 1）节点类型：包含3种特殊节点：
  • 1.1）Digest节点：仅简单用作另一batch node的placeholder。
  • 1.2）Layer Checkpoint（LC）节点
  • 1.3）Compound节点：
    • 2个LC节点组成一个Compound节点。
    • 一个LC节点和一个Compound节点，组成另一Compound节点。
• 2）排序：每个特殊节点必须包含一个order bit，以表示是其父节点的左子节点，还是右子节点。
• 3）Segregation隔离：每个节点必须有一个batch bit，以表示其属于哪个batch。

某Merkle Tree $T$，其遵循如下要求：

• 1）$T$的高度为$h$，其中$h={\log }_2(n)$，$n$为叶子节点数
• 2）$T$必须最多有$M$个节点，其中$M={\sum }_n^h\frac{n}{2}$
• 3）叶子节点表示为$N_i$，其中 { i ∈ N ∣ 0 ≤ i ≤ 2 D } \{i\in N|0\leq i \leq 2^D\} {i∈N∣0≤i≤2D}

将以上Merkle Tree $T$，扩展为，创建AMT，其遵循如下要求：

• 1）异步附加的叶子称为Batches $B$，batches的数量和其叶子必须提取已知。
• 2）以大量Digest Nodes $D_i$来初始化该tree，Digest Nodes $D_i$用作其它batches节点的placeholder。

如上图所示，以3层Merkle tree为例，当附加红色batch叶子时，需重新计算$N_{11}$和$N_{12}$，无法异步附加。
对应的AMT为4层：


对应每个节点必须包含如下数据：

• 1）Batch：一个整数值，用于表示该节点属于哪个batch
  • 对于Compound节点，可将其设置为（与现有batch id不冲突的）某特殊整数值，来表示该节点不属于特定batch。
• 2）Order：一个整数值，为0或1，以表示左节点或右节点。
• 3）Data：实际的数据哈希值。

Merkle tree系列博客

• 利用多核的Rust快速Merkle tree
• Merkle tree proof
• Merkle tree及其在区块链等领域的应用
• Sparse Merkle Tree
• 以太坊EIP-1186：RPC-Method to get Merkle Proofs - eth_getProof
• proof of solvency（偿付能力证明）方案
• 以太坊中的modified Merkle Patricia Trie
• 以太坊Eth2 deposit merkle tree
• Polygon zkEVM中的Merkle tree
• Merkle tree for non-membership proof
• Polygon zkEVM Merkle tree的circom约束
• Zcash中的merkle tree