「データカタログのOSSを選ぶならDataHub一択」と言われた時代が、ほんの数年で変わりました。2021年に登場したOpenMetadataが、急速に存在感を増しています。LinkedInではなくUberの元データチームが立ち上げたCollateが開発を主導し、Apache 2.0ライセンスで公開されています。

OpenMetadataの売りは、カタログ・リネージ・品質・コラボ・ガバナンスをすべて1つで提供する「オールインワン」アプローチです。OpenMetadataは「すぐ使える機能セット」を選ぶ思想で、DataHubは「拡張可能なメタデータグラフ基盤」です。実装と運用を整理します。

OpenMetadataの基本構造

コンポーネント役割
Catalog ServerJSON Schemaベースのメタデータ管理
UIReactベースのフロントエンド
Ingestion FrameworkPythonベースの取り込み
Workflow Engine取り込みやプロファイリングのスケジュール
MySQL/Postgres + Elasticsearchメタデータの永続化と検索

DataHubに比べると構成がシンプルで、Kafka等の追加コンポーネントは不要です。「動かす」までのハードルが大きく低いのが、初学者にも採用が広がっている理由のひとつです。

標準化されたメタデータモデル

OpenMetadataは、JSON Schemaで定義された標準メタデータモデルを採用しています。Table、Dashboard、Pipeline、Topic、User、Team、Glossary、Policy、Domain、Data Productといった主要な概念がすべて事前定義されており、ベンダー間で共通化しやすい設計です。

OpenMetadataはこのスキーマをCNCF(Cloud Native Computing Foundation)の標準化候補として推進しており、「OpenMetadata標準スキーマで、他のツールと互換性を持つ」未来を描いています。DataHubのAspect自由拡張とは異なり、「決まった型で素早く使える」のがメリットです。

主要機能

カテゴリー機能
カタログテーブル・ダッシュボード・パイプラインの一覧と検索
リネージテーブル&列レベルのリネージ自動構築
データ品質Profiler、Test、Quality Dashboard
コラボActivity Feed、メンション、タスク
ガバナンスGlossary、Tags、Classifications、Policies
Data Insightsカタログ自体の使用状況・健全性ダッシュボード

「データ品質」を別途専用ツールに頼らず、OpenMetadata内で実行できるのが特徴です。テーブルのプロファイリング(行数・null率・分布)と、宣言的なテスト(範囲・unique等)が組み込みです。dbtのテスト専用品質ツールと併用するか、OpenMetadata内で完結させるかは設計判断になります。

メタデータ取り込み

OpenMetadataもPythonベースの取り込みフレームワークを持ち、YAMLで設定します。

# config.yml
source:
  type: snowflake
  serviceName: snowflake_prod
  serviceConnection:
    config:
      type: Snowflake
      account: my_account
      username: ${SNOWFLAKE_USER}
      password: ${SNOWFLAKE_PASSWORD}
      warehouse: COMPUTE_WH
  sourceConfig:
    config:
      type: DatabaseMetadata

sink:
  type: metadata-rest

workflowConfig:
  openMetadataServerConfig:
    hostPort: http://localhost:8585/api
metadata ingest -c config.yml

80以上のソース(Snowflake、BigQuery、Databricks、dbt、Tableau、Power BI、Airflow等)に対応しています。OpenMetadata UI上のスケジューラから、取り込みパイプラインを管理することもできます。

OpenMetadata OSSとCollate

OpenMetadata OSSCollate
提供形態OSS自社デプロイマネージドSaaS
運用負担あり無し
費用無料+インフラ規模に応じた課金
サポートコミュニティ商用サポート
機能本体機能フル左記+エンタープライズ機能(SSO、監査等)

DataHub/Acryl Cloudと同じ「OSSとマネージドの二本立て」の構造です。OSSの完成度が高いため、中規模までは自社デプロイで十分と判断できます。

DataHub・Atlanとの比較

OpenMetadataDataHubAtlan
機能の幅オールインワンカタログ中心+拡張カタログ+コラボ強
セルフホスト可能(軽量)可能(重量)不可
標準化JSON Schema標準独自Aspect独自
運用しやすさ比較的容易複雑マネージドのみ
勢い急成長成熟・安定急成長

「OSSで運用負担も抑えたい中規模組織」にとって、OpenMetadataは現状の最有力候補のひとつです。DataHubほど巨大スタックを必要とせず、Atlanのような費用もかかりません。このポジションが魅力です。

運用上のハマりどころ

  • 新しいぶん大規模実績が薄い:DataHubに比べて本番運用の事例がまだ少ない。事例とリスクを把握してから判断する。
  • 機能ごとの安定度差:急速に機能追加されているため、ツールによっては「βの匂い」が残る。本番投入前に重要機能の検証を。
  • アップグレード頻度:リリースサイクルが速い。安定版を選び、計画的にアップグレードする運用が必要。
  • スキーマ標準化のメリットと制約:標準モデルがあるので素早く使える反面、組織独自の拡張が必要になったとき自由度はDataHubに劣る。

向く・向かない場面

  • 向く:OSSで素早く始めたい、オールインワンで機能を一気に揃えたい、運用負担を抑えたい、中規模で新規導入、品質機能もカタログ内で使いたい
  • 向かない:超大規模・複雑な拡張要件(→DataHub)、UX重視で予算がある(→Atlan)、本番実績重視で保守的な判断

まとめ

  • OpenMetadataは2021年登場、急成長中のオールインワンOSSデータカタログ。
  • カタログ+リネージ+品質+コラボ+ガバナンスを1つで提供する設計。
  • JSON Schemaベースの標準モデルで、素早く使える反面、自由拡張ではDataHubに劣る。
  • OSS自社運用とCollateマネージドの2形態。中規模なら自社運用も現実的。
  • 「OSS×オールインワン×素早く始めたい」のニーズに、最も自然に応えるカテゴリーの選択肢。

全体像はデータガバナンスとカタログツール選定、隣接の選択肢はAtlan とはDataHub とはにあります。OpenMetadata導入や設計の壁打ちは、DE-STKの初回相談(30分・無料)もご利用ください。

よくある質問(FAQ)

Q. OpenMetadataの本番運用に必要な体制は?

A. データエンジニアまたはSREが0.3〜0.5名程度です。DataHubほどコンポーネントが多くないので、運用の重さは中程度。アップグレード、取り込みパイプラインの管理、新規ソースの追加などが日常作業になります。Kubernetes環境があれば、Helmチャートで素直にデプロイできます。

Q. データ品質はOpenMetadata内で完結できますか?

A. 基本品質チェック(unique、not_null、範囲、行数)はOpenMetadata Quality機能で完結します。高度な統計的検査や複雑なルールは、Great ExpectationsやSodaのような専用ツールを併用する方が表現力で勝ります。品質ツールの整理はデータ品質ツール選定ガイドを参照してください。

Q. dbtのドキュメントとリネージはどう統合されますか?

A. dbtのmanifestとcatalogから自動取り込みし、モデルの説明・テスト・リネージがOpenMetadataに反映されます。dbtコミュニティで広く採用されている統合のひとつで、設定も比較的シンプルです。dbtでの実装はdbt実装ガイド、incremental設計はincremental models設計を参照してください。

Q. CollateのSaaSは、AcrylやAtlanとどう違いますか?

A. CollateはOpenMetadataのマネージド版で、SSOや監査ログなどのエンタープライズ機能を加えた形です。Acryl Cloudが「DataHubのマネージド」であるように、CollateはOpenMetadataのマネージドです。Atlanは完全に独立した商用製品で、UXとコラボにより特化しています。OSS自社運用、OSSベースのマネージド、純粋商用SaaSの三層構造と捉えると、選択肢の見通しが良くなります。

▼ このトピックをポチポチ学ぶ

データガバナンスとカタログ

関連記事を順序立てて読みながら、ステップごとに4択クイズで理解を確認できる学習パスです。登録不要・進捗自動保存。

学習パスを始める →