データ基盤を運用し始めて1〜2年経つと、新しい問い合わせが社内のあちこちから飛んできます。「マーケが使っているorders_summaryってどのテーブル?」「customer_idのこの値、何を意味してる?」「この数字、本当に信頼していいの?」。最初はSlackで聞けば誰かが答えてくれましたが、データ量と利用者が増えると、属人的に答え続けるのは限界に来ます。
データカタログとガバナンスツールは、こうした問いに「組織として答える」ためのインフラです。テーブルの説明、所有者、リネージ、品質指標、利用状況といった情報を、一元的に管理して誰でも引けるようにします。Atlan・DataHub・OpenMetadataの3つを軸に、選び方を整理します。
なぜデータカタログが必要か
| 困りごと | 原因 | カタログでどう解く |
|---|---|---|
| テーブルの意味が分からない | 仕様書がコードと離れて散らばる | テーブル・カラム単位で説明と所有者を持つ |
| 誰に聞けばいいか分からない | 所有者の情報がない | 各データ資産にオーナーを紐づける |
| この数字を信頼していいか分からない | 品質情報が見えない | テスト結果・鮮度・利用状況を表示 |
| 変更の影響範囲が読めない | リネージが頭の中にしかない | 上流から下流まで自動でリネージ追跡 |
| 個人情報がどこにあるか分からない | 機密度のタグ付けがない | 分類・タグを横断的に管理 |
これらは「規模が小さいうちは困らない」が、「規模が大きくなると致命的に困る」典型例だ。「いつカタログを入れるべきか」は、組織が痛みを感じ始めたタイミング、というのが現実的な答えである。
3つのツールの位置づけ
| Atlan | DataHub | OpenMetadata | |
|---|---|---|---|
| カテゴリー | 商用SaaS | OSS+商用(Acryl Data) | OSS+商用(Collate) |
| 強み | 洗練されたUX、コラボ機能 | LinkedIn由来、強力なメタデータグラフ | 新興だが急成長、All-in-One |
| 主な顧客層 | 中〜大企業、データ駆動文化 | 大企業、エンジニア中心 | 中規模〜大企業、OSS志向 |
| セルフホスト | 不可(SaaSのみ) | 可能(OSS) | 可能(OSS) |
| 費用 | 中〜高 | OSS無料/Cloud従量 | OSS無料/Cloud従量 |
3者は機能カバレッジが大きく重なりつつありますが、出自の違いが文化に表れています。Atlanは「コラボとUXに振った商用」、DataHubは「LinkedIn発のグラフモデルに強いOSS」、OpenMetadataは「いま最も勢いがあるオールインワンOSS」、と整理できます。
それぞれの強みと弱み
Atlan
2020年創業のスタートアップで、データチーム向けの「Slack的な体験」を掲げた商用カタログです。コラボ機能(コメント、メンション、タスク)が中核で、データ周りの会話をツール内で完結させる思想です。SlackやJiraとの統合も強力で、エンタープライズの導入が急増しています。
強みは、UXの洗練度とコラボ機能、ベンダーが運用責任を持つ安心感。弱みは、SaaSのみで自社内に閉じられないこと、規模に応じた費用が大きいことです。詳細はAtlan とはで扱います。
DataHub
2019年にLinkedInが社内ツールをOSS化したもので、メタデータグラフモデルが特徴です。データ資産、ユーザー、グループ、ポリシーをすべて「エンティティ」として扱い、グラフで結ぶ思想です。Acryl Dataが商用化を進めており、OSSと商用版の選択肢があります。
強みは、グラフモデルの拡張性、大規模での実績、OSSの成熟度。弱みは、UIがエンジニア寄りでビジネス側に向かない部分があること、学習曲線が急なことです。詳細はDataHub とはで扱います。
OpenMetadata
2021年に登場した新しいOSSで、カタログ・リネージ・品質・ガバナンス・コラボをすべて1つのプラットフォームで提供する「オールインワン」アプローチです。Collateが商用版を展開しています。最近のOSSデータ基盤コミュニティで最も勢いのある選択肢の1つです。
強みは、機能カバレッジの広さ、急速な開発速度、UIの分かりやすさ。弱みは、新しいぶん大規模本番での実績がまだ蓄積中なこと、機能の安定度がツールによって差があることです。詳細はOpenMetadata とはで扱います。
選定の判断軸
| 判断軸 | 選び方 |
|---|---|
| UX重視・ビジネス側も使う | Atlan(コラボとデザイン優位) |
| OSSで自社運用したい | DataHubかOpenMetadata |
| 大規模・複雑な組織 | DataHub(実績豊富) |
| 機能を一気に揃えたい | OpenMetadata(オールインワン) |
| ベンダーロックインを避けたい | OSS系(DataHub or OpenMetadata) |
| 運用負担を最小化したい | Atlan(マネージドのみ) |
データ基盤との統合
カタログツールはどれも、主要なデータ基盤の構成要素から自動でメタデータを取り込みます。代表的な統合先を並べます。
| 連携先 | 取り込まれる情報 |
|---|---|
| クラウドDWH(Snowflake/BigQuery/Databricks) | テーブル・カラム・利用統計 |
| dbt | モデル・テスト・リネージ・説明 |
| BI(Tableau/Looker/Lightdash等) | ダッシュボード・利用状況 |
| 取り込みツール(Fivetran/Airbyte) | パイプラインのリネージ |
| オーケストレーター(Airflow/Dagster) | ジョブ実行履歴・依存関係 |
dbtとの統合が特に重要で、dbtプロジェクトのモデル・テスト・description・リネージがそのままカタログに反映されます。データ基盤の全体は、クラウドDWH入門、dbt実装ガイド、データ品質ツール選定、オーケストレーター選び方、セマンティックレイヤーを相互に参照してください。
どこから始めるか
- ステップ1:いま現場で多発している「質問」を棚卸しする(テーブルの意味、所有者、信頼性)
- ステップ2:いちばん使われている重要テーブル20〜50個に絞って、説明とオーナーを整備する
- ステップ3:選んだカタログツールで自動取り込みし、整備済みのメタデータを乗せる
- ステップ4:「テーブルの説明はカタログを見る」という運用習慣を定着させる
- ステップ5:段階的に対象を広げ、品質指標・利用統計まで連携を強化する
ツール導入は手段で、目的は「データに関する質問が、ツールで自己解決される状態」を作ることだ。ツールを入れただけでは運用は変わらない、というのは品質ツールやセマンティックレイヤーと同じ構造である。
まとめ
- データカタログは「テーブル・所有者・信頼性・リネージ・利用状況」を一元化するインフラ。
- Atlan=UXとコラボの商用SaaS、DataHub=LinkedIn発OSSのグラフモデル、OpenMetadata=勢いのあるオールインワンOSS、と分かれる。
- 選定は「UX重視/OSS自社運用/規模・実績/オールインワン」の軸で決まる。
- dbt・BIなど周辺ツールとの自動連携が運用の核。
- ツールよりも、組織として「質問が自己解決される状態」を作るプロセスがいちばん大事。
各ツールの詳細はAtlan とは・DataHub とは・OpenMetadata とはにまとめています。カタログ導入や、データガバナンスの設計の壁打ちは、DE-STKの初回相談(30分・無料)もご利用ください。
よくある質問(FAQ)
Q. データカタログとデータディスカバリーは違うのですか?
A. 重なる概念で、明確な境界はない。「カタログ」は伝統的にテーブル・スキーマの一覧を持つツール、「ディスカバリー」はそれを使う側が「どのデータを使えばいいか」を発見する機能、というニュアンスだ。Atlan・DataHub・OpenMetadataなどの近年のツールは、両方の機能を持っており、業界用語として「データインテリジェンス」「メタデータプラットフォーム」と呼ばれることもある。
Q. dbtの説明(description)があれば、カタログは不要では?
A. dbtのdescriptionは、dbtプロジェクト内のモデルだけが対象だ。dbtで作っていないテーブル、BIダッシュボード、SaaSから取り込まれた生テーブル、Excelで配布されているレポートまで含めた「組織全体のデータ資産」をカバーするのがカタログの役割である。「dbtで管理しているテーブルだけしか組織で使わない」なら、dbt-docsで足りるケースもある。
Q. 個人情報の管理はカタログでできますか?
A. ある程度できる。3者ともPII(個人識別情報)・機密データのタグ付け機能を持ち、横断的に管理できる。AtlanやDataHubは、データのアクセス権ポリシー管理にも踏み込みつつある。ただし、本格的なアクセス制御は別途SnowflakeのRow-Level SecurityやMaskingといった機能と組み合わせる前提だ。「どこに何があるか把握する」のがカタログ、「実際にアクセスを制御する」のはDWHの機能、と分担する。
Q. データガバナンスの責任者はどう設置しますか?
A. 規模次第だが、「データガバナンスリード」や「Chief Data Officer」を任命するケースが増えている。中小規模ではデータエンジニアリングのマネージャーが兼任することが多い。重要なのは「ツールの所有者」だけでなく「データ資産ごとのオーナーシップ」を組織として明文化することだ。各テーブルや各ダッシュボードに「責任者」が決まっている状態を作ることが、ガバナンスの実体である。