理解dbt artifacts及其实际应用

dbt是数据分析领域的一种变革性工具，它使数据专业人员能够对仓库中的数据进行转换和建模。它的强大功能之一是生成dbt artifacts：dbt运行的结构化输出，提供对dbt项目及其操作的深入了解。

dbt 构件介绍

dbt构件是每次dbt运行时生成的JSON文件。它们包括:

• semantic_manifest.json：包含为每个模型编译的SQL代码。
• manifest.json：提供dbt项目上次运行的全面结果清单视图。
• catalog.json：提供有关数据库模式的详细信息，包括列数据类型和描述。
• run_results.json：包含上次dbt运行的结果，包括成功或失败状态。
• sources.json：项目中使用的source数据表的详细信息。

这些构件对于文档、查看dbt项目状态以及可视化source的新鲜度都是必不可少的。

生成并访问构件

每次调用dbt时，它都会生成构件。例如，当你运行：

dbt run

DBT将在DBT项目的target/目录中生成构件。你可以直接访问这些JSON文件，并利用dbt的内置文档站点等工具可视化其内容。

dbt artifacts 包实际应用

brooklyn-data提供的dbt_artifacts是非常强大的工具，可以对dbt项目及其运行的元数据进行建模。目前该包支持下面几种数仓：

• Databricks ✅
• Spark ✅
• Snowflake ✅
• Google BigQuery ✅
• Postgres ✅
• SQL Server ✅

生成模型包括：

• dim_dbt__current_models

• dim_dbt__exposures

• dim_dbt__models

• dim_dbt__seeds

• dim_dbt__snapshots

• dim_dbt__sources

• dim_dbt__tests

• fct_dbt__invocations

• fct_dbt__model_executions

• fct_dbt__seed_executions

• fct_dbt__snapshot_executions

• fct_dbt__test_executions

• 安装依赖

packages:- package: brooklyn-data/dbt_artifactsversion: 2.7.0

执行 dbt deps命令安装依赖。

• 配置

在dbt_project.yml中指定数据上传位置：

models:dbt_artifacts:+database: your_destination_database+schema: your_destination_schema

我们还可以分类设置：

models:...dbt_artifacts:+database: your_destination_database # optional, default is your target database+schema: your_destination_schema # optional, default is your target schemastaging:+database: your_destination_database # optional, default is your target database+schema: your_destination_schema # optional, default is your target schemasources:+database: your_sources_database # optional, default is your target database+schema: your sources_database # optional, default is your target schema

• 增加run-end hook

on-run-end:- "{{ dbt_artifacts.upload_results(results) }}"

建议增加条件，保证仅在生产环境启用：

on-run-end:- "{% if target.name == 'prod' %}{{ dbt_artifacts.upload_results(results) }}{% endif %}"

• 运行

设置完成后，可以直接运行。

dbt run --select dbt_artifacts

总结

DBT 构件是一项极为强大的特性，它能够让我们对 DBT 项目及运行请看有更深理解。如果我们能够有效地理解并利用这些构件，就可以对数据转换流程进行优化，从而确保数据的可靠性。期待您的真诚反馈，更多内容请阅读数据分析工程专栏。