【Elasticsearch】script_fields 和 runtime_fields的区别

`script_fields`和`runtime_fields`都是 Elasticsearch 中用于动态计算字段值的功能，但它们在实现方式、应用场景和性能表现上存在显著区别。以下是两者的详细对比：

1.定义和应用场景

• `script_fields`：

• 定义：通过 Painless 脚本在查询阶段动态计算字段值。

• 应用场景：主要用于在查询结果中添加额外的计算字段，这些字段不会影响查询的执行逻辑。

• 示例：计算文档中多个字段的平均值，或基于字段值进行复杂计算。

• `runtime_fields`：

• 定义：在查询时动态定义字段，支持“读时模式”（Schema on Read），允许在查询时修改数据结构。

支持“读时模式”（Schema on Read）

• 读时模式（Schema on Read）：

• 在“读时模式”中，数据结构（即字段的定义）是在查询时动态解析和定义的，而不是在数据写入时预先定义。

• 这与传统的“写时模式”（Schema on Write）形成对比，在“写时模式”中，数据结构必须在索引阶段预先定义，且难以修改。

• 优点：• 灵活性：可以在查询时动态调整字段的定义，无需重新索引数据。

• 动态性：可以基于实时数据动态计算字段值，支持复杂的逻辑。

• 无需预定义：无需在索引阶段预先定义字段，减少了索引阶段的复杂性。

• 缺点：

• 性能开销：由于字段值是在查询时动态计算的，可能会增加查询的计算开销。

• 复杂性：脚本的编写和调试可能需要一定的技术能力。

 

• 应用场景：适用于需要在查询时动态添加字段、修改字段值，或基于这些字段进行过滤、排序和聚合。

• 示例：动态添加字段用于过滤、排序，或从其他索引中检索字段值（lookup runtime fields）。

2.执行阶段和性能

• `script_fields`：

• 执行阶段：在查询的fetch 阶段执行，即在文档被检索后才计算字段值。

• 性能影响：对查询性能的影响较小，但无法用于过滤、排序或聚合。

• `runtime_fields`：

• 执行阶段：从查询的开始阶段就参与计算，因此可以用于过滤、排序和聚合。

• 性能影响：由于在查询时动态计算，可能会对查询性能产生较大影响，尤其是在处理大量文档时。

3.索引和存储

• `script_fields`：

• 索引：不存储也不索引，仅在查询结果中返回。

• 存储：不占用额外的存储空间。

你的总结非常准确！`runtime_fields`是 Elasticsearch 中一个非常灵活的功能，它允许你在查询时动态定义和计算字段，而不需要在索引阶段预先存储这些字段的值。以下是对你总结的进一步详细解释：

---

1.不存储也不索引，但可以通过`fields`参数返回

• 不存储也不索引：

• `runtime_fields`是在查询时动态计算的，它们不会被存储在索引中，也不会被倒排索引（inverted index）。这意味着它们不会占用额外的磁盘空间，也不会影响索引的大小。

• 由于它们是动态计算的，每次查询时都会根据定义的脚本实时生成字段值。

• 可以通过`fields`参数返回：

• 尽管`runtime_fields`不存储，但你可以在查询结果中通过`fields`参数返回这些字段的值。这类似于`script_fields`的行为，但`runtime_fields`更灵活，因为它们可以用于过滤、排序和聚合。

示例：

```json

GET /myindex/_search

{

  "query": {

    "match_all": {}

  },

  "fields": ["runtime_field_name"]

}

```

---

2.不占用额外的存储空间，但可以动态添加到索引的映射中

• 不占用额外的存储空间：

• 由于`runtime_fields`是在查询时动态计算的，它们不会像普通字段那样占用磁盘空间。这使得`runtime_fields`非常适合处理临时或动态生成的数据，而不需要担心存储成本。

• 可以动态添加到索引的映射中：

• `runtime_fields`可以通过更新索引的映射（mapping）动态添加到索引中。这意味着你可以在不重新索引数据的情况下，随时添加新的字段定义。

• 这种动态性使得`runtime_fields`非常灵活，尤其是在处理动态数据结构或临时需求时。

示例：动态添加`runtime_field`

```json

PUT /myindex/_mapping

{

  "runtime": {

    "runtime_field_name": {

      "type": "double",

      "script": {

        "source": "emit(doc['field1'].value + doc['field2'].value)"

      }

    }

  }

}

```

---

对比：`runtime_fields`vs.普通字段 vs.`script_fields`

 特性 `runtime_fields` 普通字段 `script_fields`  

 **存储** 不存储，不占用磁盘空间 存储，占用磁盘空间 不存储，不占用磁盘空间  

 **索引** 不索引，但可以动态添加到映射 索引，支持快速查询 不索引，仅在查询结果中返回  

 **动态性** 动态计算，支持过滤、排序、聚合 静态存储，适合快速查询 动态计算，仅支持查询结果  

 **性能** 查询时计算，可能影响性能 预存储，查询性能高 查询时计算，可能影响性能  

 **灵活性** 动态添加字段，无需重新索引 需要预先定义，难以修改 动态计算，适合简单逻辑  

---

总结

• `runtime_fields`：

• 不存储也不索引，但可以通过`fields`参数返回。

• 不占用额外的存储空间，但可以动态添加到索引的映射中。

• 适合动态计算、过滤、排序和聚合，但可能影响查询性能。

• 普通字段：

• 存储并索引，适合快速查询。

• 需要预先定义，难以动态修改。

• `script_fields`：

• 不存储也不索引，仅在查询结果中返回。

• 适合简单的动态计算，但不支持过滤、排序和聚合。

通过合理选择`runtime_fields`、普通字段或`script_fields`，你可以根据具体需求优化 Elasticsearch 的查询性能和灵活性。

• `runtime_fields`：

• 索引：不存储也不索引，但可以通过`fields`参数返回。

• 存储：不占用额外的存储空间，但可以动态添加到索引的映射中。

4.灵活性和动态性

• `script_fields`：

• 灵活性：仅在查询时动态计算，无法用于过滤或排序。

• 动态性：适合简单的计算和装饰性字段。

• `runtime_fields`：

• 灵活性：可以在查询时动态定义，支持过滤、排序和聚合。

• 动态性：支持动态添加和删除字段，无需重新索引数据。

5.示例对比

使用`script_fields`：

```json

GET runtime_test/_search

{

  "query": {

    "match_all": {}

  },

  "script_fields": {

    "avg": {

      "script": {

        "source": "(doc['participations.race1.time_secs'].value + doc['participations.race2.time_secs'].value + doc['participations.race3.time_secs'].value)/3;"

      }

    }

  }

}

```

• 结果：返回每个文档的平均值，但无法用于过滤。

使用`runtime_fields`：

```json

PUT runtime_test/_mapping

{

  "runtime": {

    "times_average": {

      "type": "double",

      "script": {

        "source": "emit((doc['participations.race1.time_secs'].value + doc['participations.race2.time_secs'].value + doc['participations.race3.time_secs'].value)/3);"

      }

    }

  }

}

 

GET runtime_test/_search

{

  "query": {

    "range": {

      "times_average": {

        "gte": 100,

        "lte": 200

      }

    }

  }

}

```

• 结果：可以用于过滤、排序和聚合。

在 Elasticsearch 中，`runtime_fields`的一个关键特性是它们可以在查询时动态计算，并且可以像普通字段一样用于过滤、排序和聚合。这意味着你可以在查询中对动态计算的字段执行复杂的操作，而不需要预先在索引中存储这些字段的值。

让我们详细解释一下你的问题中的代码示例，以及`runtime_fields`如何支持过滤、排序和聚合。

---

示例代码

定义`runtime_field`

```json

PUT runtime_test/_mapping

{

  "runtime": {

    "times_average": {

      "type": "double",

      "script": {

        "source": "emit((doc['participations.race1.time_secs'].value + doc['participations.race2.time_secs'].value + doc['participations.race3.time_secs'].value)/3);"

      }

    }

  }

}

```

使用`runtime_field`进行查询

```json

GET runtime_test/_search

{

  "query": {

    "range": {

      "times_average": {

        "gte": 100,

        "lte": 200

      }

    }

  }

}

```

---

1.过滤（Filtering）

在查询中，`runtime_fields`可以像普通字段一样用于过滤操作。例如，上述查询中使用了`range`查询，对`times_average`字段进行了范围过滤：

• `gte: 100`表示只返回`times_average`大于或等于 100 的文档。

• `lte: 200`表示只返回`times_average`小于或等于 200 的文档。

这意味着你可以根据动态计算的字段值过滤文档，而不需要预先存储这些值。

---

2.排序（Sorting）

`runtime_fields`也可以用于排序。例如，你可以根据`times_average`字段对结果进行排序：

```json

GET runtime_test/_search

{

  "query": {

    "match_all": {}

  },

  "sort": [

    {

      "times_average": {

        "order": "desc"

      }

    }

  ]

}

```

• 这个查询会根据`times_average`字段的值对文档进行降序排序。

• 由于`times_average`是动态计算的，排序操作会基于动态计算的结果进行。

 

 

---

3.聚合（Aggregation）

`runtime_fields`还可以用于聚合操作。例如，你可以计算`times_average`字段的平均值、最大值或最小值：

```json

GET runtime_test/_search

{

  "size": 0,

  "aggs": {

    "avg_times_average": {

      "avg": {

        "field": "times_average"

      }

    },

    "max_times_average": {

      "max": {

        "field": "times_average"

      }

    }

  }

}

```

• 这个查询会计算`times_average`字段的平均值和最大值。

• 由于`times_average`是动态计算的，聚合操作会基于动态计算的结果进行。

---

为什么`runtime_fields`可以用于过滤、排序和聚合？

1. 动态计算：

• `runtime_fields`在查询时动态计算，计算结果会临时存储在内存中，因此可以像普通字段一样被查询引擎使用。

• 这种动态计算的方式允许你在查询时定义复杂的逻辑，而不需要预先存储这些字段的值。

2. 灵活性：

• 你可以根据需要动态添加或修改`runtime_fields`，而不需要重新索引数据。

• 这使得`runtime_fields`非常适合处理动态数据结构或临时需求。

3. 性能：

• 虽然`runtime_fields`的计算会增加查询的计算开销，但它们的灵活性和动态性使得它们在某些场景下非常有用。

• 对于复杂的查询逻辑，`runtime_fields`提供了一种高效的方式来实现。

---

总结

• 过滤：`runtime_fields`可以用于范围查询、匹配查询等过滤操作。

• 排序：可以基于`runtime_fields`的值对文档进行排序。

• 聚合：可以对`runtime_fields`进行聚合操作，如计算平均值、最大值等。

通过合理使用`runtime_fields`，你可以实现更灵活的查询逻辑，同时避免在索引阶段进行复杂的数据预处理。

总结

• 如果你需要在查询结果中添加简单的计算字段，且不希望影响查询性能，`script_fields`是一个不错的选择。

• 如果你需要动态定义字段，并希望这些字段支持过滤、排序和聚合，`runtime_fields`是更灵活的选择。