IoT Platform は、クラウドサービスデータソースを構成する機能を提供し、さまざまな Alibaba Cloud プロダクトから IoT Platform にデータをインポートして、DataService Studio で同期および分析できるようにします。このトピックでは、クラウドサービスデータソースの追加、削除、および同期の有効化の手順の概要を説明します。
前提条件
IoT Platform Enterprise Edition インスタンスが購入済みであること。詳細については、「Enterprise Edition インスタンスを購入する」をご参照ください。
課金情報
クラウドサービスデータソースから IoT Platform にデータを同期すると、データ処理ユニット(DPU)のコストが発生します。
制限事項
現在、OSS バケット内のファイルのみを IoT Platform の DataService Studio に同期できます。
OSS バケット内の各ファイルは 1 GB を超えてはならず、日次ファイルは日付で名前が付けられたフォルダに整理する必要があります。
許容される日付形式は次のとおりです。
日:
YYYYMMDD(例:20230302)。時間:
YYYYMMDDHH(例:2023030213)。
クラウドサービスデータソースを作成する
IoT Platform コンソール で、[概要] をクリックします。[概要] タブで、管理するインスタンスを見つけ、インスタンス [ID] またはインスタンス名をクリックします。
左側のナビゲーションバーで、[dataservice Studio] > [データインジェスト] を選択し、[クラウドサービス] タブをクリックします。
[クラウドサービス] タブで、[クラウドサービスデータソースを作成] をクリックします。
右側のパネルで、次の手順に従ってクラウドサービスデータソースの構成を完了します。
基本情報
[基本情報] ウィザードページで、次のパラメータを構成します。
パラメータ
説明
名前
クラウドサービスデータソースの名前を指定します。名前には、最大 32 文字の漢字、英字、数字、ピリオド(.)、アンダースコア(_)、および括弧()を含めることができます。
説明
クラウドサービスデータソースの説明を入力します。
クラウドサービスタイプ
現在、[OSS] のみがサポートされています。
バケット
OSS バケットを選択します。
OSS でバケットを作成する手順については、「バケットを作成する」をご参照ください。
重要バケットリストを構成する前に、ロールが作成されていない場合は右側の [作成] をクリックし、まず Alibaba Cloud アカウントでサービスロールを作成して、IoT Platform の DataService Studio が OSS バケットのデータにアクセスして同期することを承認します。
サービスロールの詳細については、「データサービスがクラウドサービスデータソースにアクセスするために必要な権限」をご参照ください。
親ディレクトリ
バケット内のファイルの親ディレクトリの名前を入力します。
ファイルディレクトリの管理のガイダンスについては、「ディレクトリを管理する」をご参照ください。
[次へ] をクリックします。
フィールドマッピング
[フィールドマッピング] ウィザードページで、データソースのデータ形式を設定します。
パラメータ
説明
[データ形式]
次のオプションから選択します。
[JSON]:JSON 形式を選択します。
[protobuf]:ProtoBuf 形式を選択します。
[CSV]:CSV ファイル形式を選択します。
[カスタマイズ]:カスタムスクリプトを使用してデータ形式を解析します。
[行区切り文字]
次のオプションから選択します。[システムデフォルトの区切り文字]、[カンマ]、[縦線]、[スペース]、[タブ文字]、[カスタマイズ]。
[システムデフォルトの区切り文字] を選択すると、システムの区切り文字が自動的に一致します。
[カスタマイズ] を選択する場合は、表示可能な文字を入力します。
説明[データ形式] が [JSON] の場合、[行区切り文字] は [カンマ] にできません。
[データ形式] が [protobuf] の場合、プロトコル固有の改行が使用されます。ファイルにデータを書き込むときは、
writeDelimitedTo(Java)またはdelimited_message_util.h(C++)を使用します。カスタムの行区切り文字はサポートされていません。[データ形式] が [CSV] の場合、[行区切り文字] はデフォルトで [システムデフォルトの区切り文字] になり、変更できません。
[列区切り文字]
[データ形式] が [CSV] に設定されている場合にのみ、列区切り文字を構成します。
オプション:必要に応じて、[カンマ]、[縦線]、[スペース]、[タブ文字]、または [カスタマイズ] を選択します。
[フィールドマッピング] ダイアログボックスの [構成] をクリックして、データソースのフィールドマッピング構成を完了します。
データ形式に基づいて、形式解析用のサンプルデータを構成します。
データ形式
操作
JSON
サンプルデータ ボックスに、JSON 形式でサンプルデータを入力します。単一行のデータエントリのみがサポートされています。
重要配列形式のデータエントリはサポートされていません。
ProtoBuf
.desc ファイルをアップロードする をクリックして .desc ファイルをアップロードし、ProtoBuf フォーマット データを解析します。
.desc ファイルの生成手順については、「付録: .desc ファイルの生成」をご参照ください。
メッセージ タイプを選択し、バイナリデータファイルをアップロードする をクリックしてサンプル データをアップロードします。
重要配列フォーマットのデータ エントリはサポートされていません。
CSV
サンプルデータ ボックスにサンプルデータを直接入力します。
サンプルデータには列名を含める必要があり、データは 1 行に制限する必要があります。たとえば、[列区切り文字] が [カンマ] に設定されている場合:
productKey,deviceName,time,temperature,humidity g9rp0*****,device1,20230102,23,30[カスタマイズ]
スクリプト言語を選択し、スクリプトの編集 入力ボックスにスクリプトを入力します。
サポートされているスクリプト言語には、Javascript (ecmascript 5) が含まれ、関数名は
parse_lineとして定義されています。スクリプト テンプレートと例については、「カスタム スクリプトを作成する」をご参照ください。
アナログ入力 タブで、行区切り文字に従ってアナログ デバイス レポート データを入力します。
データ解析を検証するには、次の手順を実行します。
[データ形式] が [JSON]、[protobuf]、または [CSV] の場合は、[解析の検証] をクリックします。
解析に成功すると、解析されたフィールド情報が [データ ストレージ タイプ] の下に表示されます。
解析に失敗した場合は、提案に従ってサンプル データを調整し、再検証します。
[データ形式] が [カスタマイズ] の場合は、[実行] をクリックします。
実行に成功すると、解析されたデータが [実行結果] タブに表示されます。
実行に失敗した場合は、フィードバックに基づいてスクリプトを修正し、再実行して検証します。
解析されたフィールドリストで、[フィールド表示名] を割り当て、[プライマリキー] を指定します。
[フィールド表示名] には、最大 30 文字の中国語、英字、数字、アンダースコア (_)、ハイフン (-)、および括弧 () を使用できます。
確認 をクリックします。
[次へ] をクリックします。
同期サイクル
[同期サイクル] の頻度を選択します。[時間] または [日]。
[最も早い同期時間] を選択します。
[完了] をクリックします。
クラウドサービス データソースを正常に作成した後:
[データインジェスチョン > クラウドサービス] タブに、新しいクラウドサービスデータソース同期タスクがリストされ、[同期ステータス] はデフォルトで [停止] に設定されています。クラウドサービスデータソースの同期を手動で有効にする必要があります。詳細については、「クラウドサービスデータソースの同期を有効にする」をご参照ください。
[データストレージ > コールドデータストレージ > カスタムストレージテーブル] タブに、クラウドサービスデータソースの名前をテーブル名として使用した対応するストレージテーブルが作成されます。
クラウドサービスデータソースの同期を有効にする
データ同期を有効にして、クラウドサービスデータを DataService Studio に取り込むには、次の手順に従います。
[クラウドサービス] タブに移動し、有効にするクラウドサービスデータソース同期タスクを見つけます。
対応する [停止] 列の [同期ステータス] スイッチを切り替えます 。
アクティブ化されると、タスクの [同期ステータス] は [同期中] に変わります。その後、システムは設定されたサイクルに従って同期タスクを実行し、クラウドサービスデータを DataService Studio のカスタムストレージテーブルに転送します。
オプション操作
クラウドサービスデータソース構成の編集
[クラウドサービス] タブで、編集するクラウドサービスデータソースを見つけます。
対応する [操作] 列の [編集] ボタンをクリックします。
[クラウドサービスデータソースの編集] パネルで、必要に応じて関連する構成を変更します。
[基本情報] セクションの [クラウドサービスタイプ] と [フィールドマッピング] セクションで作成されたカスタムストレージテーブルは編集できません。その他のパラメーターはすべて変更可能です。
クラウドサービスデータソースの削除
クラウドサービスデータソースは、同期ステータスが停止に設定されている場合にのみ削除できます。
削除後、データは同期されなくなることに注意してください。この操作を実行する際は注意してください。
[クラウドサービス] タブに移動し、削除するクラウドサービスデータソースを見つけます。
対応する [操作] 列の [削除] ボタンをクリックします。
[確認] をクリックして、削除を確定します。
次の手順
同期タスクとデータ ストレージ テーブルを管理するには、「データ同期ジョブとストレージ テーブルの管理」をご参照ください。