「データカタログのOSSを選ぶならDataHub一択」と言われた時代が、ほんの数年で変わりました。2021年に登場したOpenMetadataが、急速に存在感を増しています。LinkedInではなくUberの元データチームが立ち上げたCollateが開発を主導し、Apache 2.0ライセンスで公開されています。
OpenMetadataの売りは、カタログ・リネージ・品質・コラボ・ガバナンスをすべて1つで提供する「オールインワン」アプローチです。OpenMetadataは「すぐ使える機能セット」を選ぶ思想で、DataHubは「拡張可能なメタデータグラフ基盤」です。実装と運用を整理します。
OpenMetadataの基本構造
| コンポーネント | 役割 |
|---|---|
| Catalog Server | JSON Schemaベースのメタデータ管理 |
| UI | Reactベースのフロントエンド |
| Ingestion Framework | Pythonベースの取り込み |
| Workflow Engine | 取り込みやプロファイリングのスケジュール |
| MySQL/Postgres + Elasticsearch | メタデータの永続化と検索 |
DataHubに比べると構成がシンプルで、Kafka等の追加コンポーネントは不要です。「動かす」までのハードルが大きく低いのが、初学者にも採用が広がっている理由のひとつです。
標準化されたメタデータモデル
OpenMetadataは、JSON Schemaで定義された標準メタデータモデルを採用しています。Table、Dashboard、Pipeline、Topic、User、Team、Glossary、Policy、Domain、Data Productといった主要な概念がすべて事前定義されており、ベンダー間で共通化しやすい設計です。
OpenMetadataはこのスキーマをCNCF(Cloud Native Computing Foundation)の標準化候補として推進しており、「OpenMetadata標準スキーマで、他のツールと互換性を持つ」未来を描いています。DataHubのAspect自由拡張とは異なり、「決まった型で素早く使える」のがメリットです。
主要機能
| カテゴリー | 機能 |
|---|---|
| カタログ | テーブル・ダッシュボード・パイプラインの一覧と検索 |
| リネージ | テーブル&列レベルのリネージ自動構築 |
| データ品質 | Profiler、Test、Quality Dashboard |
| コラボ | Activity Feed、メンション、タスク |
| ガバナンス | Glossary、Tags、Classifications、Policies |
| Data Insights | カタログ自体の使用状況・健全性ダッシュボード |
「データ品質」を別途専用ツールに頼らず、OpenMetadata内で実行できるのが特徴です。テーブルのプロファイリング(行数・null率・分布)と、宣言的なテスト(範囲・unique等)が組み込みです。dbtのテストや専用品質ツールと併用するか、OpenMetadata内で完結させるかは設計判断になります。
メタデータ取り込み
OpenMetadataもPythonベースの取り込みフレームワークを持ち、YAMLで設定します。
# config.yml
source:
type: snowflake
serviceName: snowflake_prod
serviceConnection:
config:
type: Snowflake
account: my_account
username: ${SNOWFLAKE_USER}
password: ${SNOWFLAKE_PASSWORD}
warehouse: COMPUTE_WH
sourceConfig:
config:
type: DatabaseMetadata
sink:
type: metadata-rest
workflowConfig:
openMetadataServerConfig:
hostPort: http://localhost:8585/api
metadata ingest -c config.yml
80以上のソース(Snowflake、BigQuery、Databricks、dbt、Tableau、Power BI、Airflow等)に対応しています。OpenMetadata UI上のスケジューラから、取り込みパイプラインを管理することもできます。
OpenMetadata OSSとCollate
| OpenMetadata OSS | Collate | |
|---|---|---|
| 提供形態 | OSS自社デプロイ | マネージドSaaS |
| 運用負担 | あり | 無し |
| 費用 | 無料+インフラ | 規模に応じた課金 |
| サポート | コミュニティ | 商用サポート |
| 機能 | 本体機能フル | 左記+エンタープライズ機能(SSO、監査等) |
DataHub/Acryl Cloudと同じ「OSSとマネージドの二本立て」の構造です。OSSの完成度が高いため、中規模までは自社デプロイで十分と判断できます。
DataHub・Atlanとの比較
| OpenMetadata | DataHub | Atlan | |
|---|---|---|---|
| 機能の幅 | オールインワン | カタログ中心+拡張 | カタログ+コラボ強 |
| セルフホスト | 可能(軽量) | 可能(重量) | 不可 |
| 標準化 | JSON Schema標準 | 独自Aspect | 独自 |
| 運用しやすさ | 比較的容易 | 複雑 | マネージドのみ |
| 勢い | 急成長 | 成熟・安定 | 急成長 |
「OSSで運用負担も抑えたい中規模組織」にとって、OpenMetadataは現状の最有力候補のひとつです。DataHubほど巨大スタックを必要とせず、Atlanのような費用もかかりません。このポジションが魅力です。
運用上のハマりどころ
- 新しいぶん大規模実績が薄い:DataHubに比べて本番運用の事例がまだ少ない。事例とリスクを把握してから判断する。
- 機能ごとの安定度差:急速に機能追加されているため、ツールによっては「βの匂い」が残る。本番投入前に重要機能の検証を。
- アップグレード頻度:リリースサイクルが速い。安定版を選び、計画的にアップグレードする運用が必要。
- スキーマ標準化のメリットと制約:標準モデルがあるので素早く使える反面、組織独自の拡張が必要になったとき自由度はDataHubに劣る。
向く・向かない場面
- 向く:OSSで素早く始めたい、オールインワンで機能を一気に揃えたい、運用負担を抑えたい、中規模で新規導入、品質機能もカタログ内で使いたい
- 向かない:超大規模・複雑な拡張要件(→DataHub)、UX重視で予算がある(→Atlan)、本番実績重視で保守的な判断
まとめ
- OpenMetadataは2021年登場、急成長中のオールインワンOSSデータカタログ。
- カタログ+リネージ+品質+コラボ+ガバナンスを1つで提供する設計。
- JSON Schemaベースの標準モデルで、素早く使える反面、自由拡張ではDataHubに劣る。
- OSS自社運用とCollateマネージドの2形態。中規模なら自社運用も現実的。
- 「OSS×オールインワン×素早く始めたい」のニーズに、最も自然に応えるカテゴリーの選択肢。
全体像はデータガバナンスとカタログツール選定、隣接の選択肢はAtlan とは・DataHub とはにあります。OpenMetadata導入や設計の壁打ちは、DE-STKの初回相談(30分・無料)もご利用ください。
よくある質問(FAQ)
Q. OpenMetadataの本番運用に必要な体制は?
A. データエンジニアまたはSREが0.3〜0.5名程度です。DataHubほどコンポーネントが多くないので、運用の重さは中程度。アップグレード、取り込みパイプラインの管理、新規ソースの追加などが日常作業になります。Kubernetes環境があれば、Helmチャートで素直にデプロイできます。
Q. データ品質はOpenMetadata内で完結できますか?
A. 基本品質チェック(unique、not_null、範囲、行数)はOpenMetadata Quality機能で完結します。高度な統計的検査や複雑なルールは、Great ExpectationsやSodaのような専用ツールを併用する方が表現力で勝ります。品質ツールの整理はデータ品質ツール選定ガイドを参照してください。
Q. dbtのドキュメントとリネージはどう統合されますか?
A. dbtのmanifestとcatalogから自動取り込みし、モデルの説明・テスト・リネージがOpenMetadataに反映されます。dbtコミュニティで広く採用されている統合のひとつで、設定も比較的シンプルです。dbtでの実装はdbt実装ガイド、incremental設計はincremental models設計を参照してください。
Q. CollateのSaaSは、AcrylやAtlanとどう違いますか?
A. CollateはOpenMetadataのマネージド版で、SSOや監査ログなどのエンタープライズ機能を加えた形です。Acryl Cloudが「DataHubのマネージド」であるように、CollateはOpenMetadataのマネージドです。Atlanは完全に独立した商用製品で、UXとコラボにより特化しています。OSS自社運用、OSSベースのマネージド、純粋商用SaaSの三層構造と捉えると、選択肢の見通しが良くなります。