OSS Tables は、Alibaba Cloud Object Storage Service (OSS) が提供する構造化データレイクストレージサービスです。 Apache Iceberg オープンテーブルフォーマットに基づいて、OSS Tables は、AI トレーニングデータ管理や OLAP 分析シナリオ向けに、低コストで高性能な構造化データストレージを提供します。 OSS Tables には、自動データメンテナンスメカニズム (コンパクション、スナップショット管理、参照されていないファイルのクリーンアップ) が組み込まれており、運用不要でサーバーレスなデータレイク体験を実現します。 DataWorks の Data Integration を使用すると、OSS Tables データソースにデータを書き込むことができます。 このトピックでは、OSS Tables データソースの使用方法について説明します。
制限事項
項目 | 説明 |
リソースグループ | サーバーレスリソースグループのみサポートされています。 |
読み書き方向 | 宛先としての書き込み操作のみサポートされています。 |
同期モード | ソースとして Hive のみサポートされており、データはバッチオフラインモードでのみ書き込み可能です。 |
データソースの作成
開始する前に、次の条件が満たされていることを確認してください。
Alibaba Cloud の OSS Tables サービスが有効化され、OSS Tables のバケットと名前空間が作成されていること。
DataWorks のワークスペースが利用可能で、ワークスペースの管理センターにアクセスできること。
アクセス認証のために AccessKey ペアまたは RAM ロールが利用できること。
次の手順を実行します。
DataWorks コンソールにログインし、上部メニューで対象のリージョンを選択します。
左側メニューで、 を選択します。 ドロップダウンリストで対象のワークスペースを選択し、[管理センターへ移動] をクリックします。
管理センターページの左側メニューで、[データソース] をクリックします。
[データソース] ページで、[データソースを追加] をクリックします。
[データソースを追加] ダイアログボックスで、OSS Tables を検索して選択します。
OSS Tables データソース設定ページで、次の表に記載のパラメーターを設定します。
パラメーター
説明
データソース名
データソースの名前。 名前はワークスペース内で一意にする必要があり、文字、数字、アンダースコア (_) のみを含めることができます。 名前を数字またはアンダースコアで始めることはできません。
設定モード
接続文字列モード のみサポートされています。
エンドポイント
ドロップダウンリストから OSS Tables エンジンインスタンスのエンドポイントを選択します。
アクセスアイデンティティ
認証方法を選択します：AccessKey ペア (AccessKey ID と AccessKey Secret を使用して認証) または Alibaba Cloud RAM ロール (RAM ロールを使用して認証)。
バケット名
OSS Tables バケットの名前を入力します。
名前空間
OSS Tables の名前空間を入力します。
パラメーターを設定した後、接続設定セクションで [接続テスト] をクリックして、データソースとサーバーレスリソースグループ間のネットワーク接続を確認します。
接続テストに合格したら、[完了] をクリックしてデータソースを作成します。
接続テストが失敗した場合は、「ネットワーク接続」を参照して、ネットワークの問題をトラブルシューティングしてください。
データ同期タスクの開発
データベース全体のバッチオフライン同期
サポートされるソース： Hive。