データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜 に参加した

データマネジメント新年会 〜去年のしくじりを共有し、正月ボケを解消する〜 - connpass にオンライン参加しました。

感想、実況は、#data_tech_talk - 検索 / X。

発表1

所感

弊社では、データカタログ周りを dbt docs で管理しているが、 スプシに吐き出して、ナレッジを貯める方法も良いなと思った。

重いクエリを気軽に投げるユーザーへの対応をどうすればよいのか。 スキャン量の周知やモニタリングといった当たり前のことをやっていくしかない。

荷物受け取りで数分離れて ADR(?), QCD(?) 周りの話を聞きそびれた。 はじめて聞いたので、知りたかった・・・

学び

開発・問い合わせ工数の削減

• mart to mart をやめる
• カラムの命名規則・型などのルールを決める
• sandbox 環境の用意 -> 必要なもののみ dbt に移行
• リネージを常に把握できるようにする
• ドメイン知識の習得、仕様の理解
• BigQuery の View の利用状況は追いにくいので、テーブルで作るべき

発表2

所感

データエンジニア業務とアナリスト業務の両立が大変。 データ周り触る上で必要な業務が多いので、進めるのは難しい。

工数削減的にもダッシュボードを自作してもらうのは良いなと思った。 使う人が一番欲しいものをわかっているので、 使いやすいデータを提供して作ってもらうのが一番良さそう。

ガバナンス周り深くまで考えられていないので、考えていきたい。

学び

• 実際に使う人・現場レベルの人を巻き込む
• 本当に必要なのかヒアリングを行う

発表3

所感

アーキテクチャが BigQuery -> dbt -> Looker で弊社と全く同じだった。

intermediate のモデルの作り方をもう少し詳しく聞きたかった。 モデルをどう分割するかよく迷っているので、勉強したい。

学び

• 精度の高いデータよりも、アクション・打ち手に紐付けられるようなデータを出すのが大事
• 人に依存しないように仕組み化、セーフティネットを何層にもして不具合があってもすぐに対応できるように
• ビジネスプロセスにあったモデリングを行い、将来的にも管理しやすくする
• たくさん失敗することでたくさん学べる

クロストークセッション

理想論だと、データメッシュ or 中央集権 どちらがいいか？

• 中央集権が現実的
• データメッシュがうまくいっている企業は現状なさそう？

データメッシュについて詳しく知らないので、勉強したい。

全社員が SQL をかけるようになるべき？ボタンポチでデータを出せるようにするべき？

データ民主化すべきかどうかで色々な意見が聞けて面白かった。

• SQL の育成コストが高い
• データエンジニアがすべての依頼に対応するのは無理なので、データを触る人は多い方が良い
• LLM が SQL を作らずに、欲しいデータをそのまま出してくれそう
  • 本当に正しいかは誰かが見る必要がある

データに求める質が低くても良ければ、誰でも触って良い。 厳密に正しいデータを見たいのであれば、データエンジニアが出すべきかなと思った。

データドリブンの風潮を社内に根付かせるためにまずやるべきことは？

経営層を巻き込み、コスパ良いところから提案していく。

データエンジニアのキャリア形成

キャリアは狙ってやるのが難しい。

自分も流れで、サーバーサイド -> フロントエンド -> インフラ -> データエンジニアと色々流されるままにやってきた。 色々経験できてよかったと思っているので、これからも偶発的な機会に身を任せていきたい。