dbt を利用したデータ分析プロジェクトのディレクトリ構成

2022/09/09 時点の dbt を利用したデータ分析プロジェクトのディレクトリ構成です。

ディレクトリ構成

• analyses/
• assets/
• dbt_packages/
• dev_docs/
• docs/
• lib/
• logs/
• macros/
• models/
• seeds/
• snapshots/
• target/
• tests/

analyses/

検証などで一時的に実行したいクエリ

• Analyses | dbt Docs
• [dbt] Analyses でアドホックなクエリを開発する | DevelopersIO

assets/

dbt docs で表示したい画像など

• target/ にコピーされる

dbt_packages/

dbt package のインストール先

• dbt-labs/dbt-utils: Utility functions for dbt projects.

dev_docs/

開発ドキュメント

docs/

dbt docs で利用する Markdown ファイル

• Markdown でモデルやマクロの説明を書いて、*.yml で参照できる
• ドキュメントは、models/ など、利用するディレクトリで管理したほうがわかりやすいため、GA4 カラムの description といった共通で利用するドキュメントのみ docs/ に置く

lib/

BigQuery へのデータインポート周りのスクリプト

logs/

ログ

macros/

マクロの管理

• Jinja & Macros | dbt Docs

models/

モデル(クエリ)

• dbt Models | dbt Docs

seeds/

seed データ

• CSV を置いて、dbt seed でインポートしている
• Seeds | dbt Docs

snapshots/

未使用

• Snapshots | dbt Docs

target/

dbt で管理しているモデル、テストなどをコンパイルして生成された SQL ファイルの出力先

tests/

データテスト

• 結果が 0 件になるクエリを書くと、テストとして実行できる

参考

• Analyses | dbt Docs
• [dbt] Analyses でアドホックなクエリを開発する | DevelopersIO
• dbt-labs/dbt-utils: Utility functions for dbt projects.
• Jinja & Macros | dbt Docs
• dbt Models | dbt Docs
• Seeds | dbt Docs
• Snapshots | dbt Docs