StarRocks 入力コンポーネントを使用すると、StarRocks データソースからデータを読み取ることができます。StarRocks データソースから他の宛先にデータを同期する場合、同期用のターゲットデータソースを設定する前に、StarRocks 入力コンポーネントによって読み取られるソースを構成する必要があります。このトピックでは、StarRocks 入力コンポーネントの構成プロセスについて説明します。
前提条件
StarRocks データソースが作成されていること。詳細については、「StarRocks データソースを作成する」をご参照ください。
StarRocks 入力コンポーネントのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。必要な権限がない場合は、データソースから取得する必要があります。詳細については、「データソース権限をリクエスト、更新、および返却する方法」をご参照ください。
手順
Dataphin ホームページで、トップメニューバーに移動し、[開発] > [data Integration] を選択します。
統合ページの上部で、プロジェクト を選択します（開発-本番モードでは環境を選択する必要があります）。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストから、開発する オフライン パイプライン を選択して、構成ページにアクセスします。
右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。右側のリストで [starrocks] コンポーネントを見つけて、キャンバスにドラッグします。
コンポーネントを構成するには、StarRocks 入力コンポーネントカードの
アイコンをクリックして、[starrocks 入力構成] ダイアログボックスを開きます。[starrocks 入力構成] ダイアログボックスで、次のパラメーターを設定します。
パラメーター
説明
[ステップ名]
これは StarRocks 入力コンポーネントの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更できます。命名規則は次のとおりです。
漢字、英字、アンダースコア（_）、数字のみ使用できます。
64 文字を超えることはできません。
[データソース]
データソースドロップダウンリストには、現在の Dataphin 内のすべての StarRocks タイプのデータソースが表示されます。これには、リードスルー権限を持つデータソースと、リードスルー権限を持たないデータソースが含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。リードスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、データソースのリードスルー権限をリクエストできます。具体的な操作については、「データソース権限をリクエストする」をご参照ください。
StarRocks タイプのデータソースがない場合は、[データソースの作成] をクリックしてデータソースを作成します。詳細については、「StarRocks データソースを作成する」をご参照ください。
[ソーステーブルボリューム]
ソーステーブルボリュームを選択します。ソーステーブルボリュームには、[単一テーブル] と [複数テーブル] が含まれます。
[単一テーブル]: 1 つのテーブルのビジネスデータを 1 つのターゲットテーブルに同期するシナリオに適しています。
[複数テーブル]: 複数テーブルのビジネスデータを同じターゲットテーブルに同期するシナリオに適しています。複数テーブルのデータを同じデータテーブルに書き込む場合、UNION アルゴリズムが使用されます。
[テーブル]
ソーステーブルを選択します。
ソース テーブル ボリューム が 単一のテーブル に設定されている場合は、テーブル名のキーワードを入力して検索するか、正確なテーブル名を入力して [精密検索] をクリックします。テーブルを選択すると、システムは自動的にテーブル ステータス検出を実行します。
アイコンをクリックして、現在選択されているテーブルの名前をコピーします。ソース テーブルのボリューム が 複数のテーブル に設定されている場合は、次の操作を実行してテーブルを追加します。
入力ボックスに、同じ構造のテーブルをフィルタリングするためのテーブルの式を入力します。
システムは、列挙形式、クラス正規表現形式、およびその 2 つの混合形式をサポートしています。例：
table_[001-100];table_102。[正確な検索] をクリックして、[一致の詳細を確認] ダイアログボックスに一致するテーブルのリストを表示します。
[確認] をクリックします。
[シャードキー]（オプション）
ソースデータテーブルの 整数 型の列をシャードキーとして使用できます。 プライマリキー、または インデックス が設定された列をシャードキーとして使用することをお勧めします。データを読み取るときは、構成されたシャードキーフィールドに基づいてデータシャーディングが実行され、同時読み取りが実現し、データ同期の効率が向上します。
[バッチ読み取りカウント]（オプション）
一度に読み取るデータエントリの数。ソースデータベースからデータを読み取るときに、1 つずつ読み取る代わりに特定のバッチ読み取りカウント（1024 レコードなど）を構成して、データソースとの対話の回数を減らし、I/O 効率を向上させ、ネットワークレイテンシを削減できます。
[入力フィルター]（オプション）
ds=${bizdate}などの入力フィールドのフィルター情報を入力します。 [入力フィルター] は、次の 2 つのシナリオに適用できます。データの固定部分。
パラメーターフィルタリング。
[出力フィールド]
出力フィールド領域には、選択したテーブルのすべてのフィールドと、フィルター条件に一致したフィールドが表示されます。新しい出力フィールドを作成したり、出力フィールドを一括で追加したりできます。特定のフィールドをダウンストリームコンポーネントに出力する必要がない場合は、対応するフィールドを削除することもできます。
[一括追加]: [一括追加] をクリックすると、JSON、TEXT 形式、または DDL 形式での一括構成がサポートされます.
説明一括追加が完了した後、確認をクリックすると、構成済みのフィールド情報が 上書き されます。
JSON 形式での一括構成。例：
// 例： [{ "name": "user_id", "type": "String" }, { "name": "user_name", "type": "String" }]説明name は導入されたフィールドの名前を表し、type は導入後のフィールドのタイプを表します。たとえば、
"name":"user_id","type":"String"は、user_id という名前のフィールドが導入され、フィールドタイプが String に設定されていることを示します。TEXT 形式での一括構成。例：
// 例： user_id,String user_name,String行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行（\n）で、改行（\n）、セミコロン（;）、ピリオド（.）をサポートしています。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ（,）です。
DDL 形式での一括構成。例：
CREATE TABLE tablename ( id INT PRIMARY KEY, name VARCHAR(50), age INT );
[新しい出力フィールドの作成]: [+ 新しい出力フィールドを作成] をクリックし、ページのプロンプトに従って [列] を入力し、[タイプ] を選択します。
単一フィールドの削除: 少数のフィールドを削除する必要がある場合は、出力フィールドリストで対象フィールドの [アクション] 列をクリックし、
アイコンをクリックして冗長フィールドを削除します。説明コンピューティングエンジンが StarRocks の場合、StarRocks 入力コンポーネントの出力フィールドでは、フィールドの分類と等級を表示できます。StarRocks 以外のコンピューティングエンジンでは、これはサポートされていません。
一括削除フィールド: 多くのフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、
左移動アイコンをクリックして選択した入力フィールドを選択されていない入力フィールドに移動し、[確認] をクリックしてフィールドの一括削除を完了します。
[確認] をクリックして、[starrocks 入力コンポーネント] のプロパティ構成を確定します。