Data Transmission Service (DTS) は、抽出、変換、および読み込み (ETL) 機能を提供し、ストリーミングデータをリアルタイムで処理するのに役立ちます。 ドラッグアンドドロップ操作を実行するか、Flink SQL文を実行してETLタスクを設定できます。 ETL機能は、DTSのデータレプリケーション機能と統合されており、ストリーミングデータの抽出、データの変換と処理、およびデータの読み込みを実装します。 ETL機能は効率を向上させる一方、開発のしきい値を下げ、ビジネスシステムへの影響を軽減します。 ETL機能は、リアルタイムのデータ処理とコンピューティングのシナリオを充実させ、デジタルトランスフォーメーションを強化します。
メリット
有向非巡回グラフ (DAG) モードまたはFlink SQLモードでETLタスクを設定できます。
DAGモード:
視覚化操作: ETL機能は、入力 /ディメンションテーブル、変換、および出力の3つのコンポーネントを提供します。 コンポーネントをドラッグアンドドロップして、ストリーム処理タスクを構築できます。
多様な開発コンポーネント:
入力 /ディメンションテーブルコンポーネントでは、次のタイプのソースデータベースを指定できます。セルフマネージドMySQLデータベース、ApsaraDB RDS for MySQL、PolarDB for MySQL、PolarDB-X 1.0 (旧DRDS) 、セルフマネージドOracleデータベース、セルフマネージドPostgreSQLデータベース、ApsaraDB RDS for PostgreSQL、Db2 for LUW、Db2 for iおよびPolarDB for PostgreSQL
変換コンポーネントでは、テーブル、計算関数、およびフィルターフィールドを結合できます。 90を超える関数計算シナリオがサポートされています。
出力コンポーネントでは、次の種類のターゲットデータベースを指定できます。セルフマネージドMySQLデータベース、ApsaraDB RDS for MySQL、PolarDB for MySQL、AnalyticDB for MySQL V3.0、セルフマネージドOracleデータベース、セルフマネージドPostgreSQLデータベース、ApsaraDB RDS for PostgreSQL、Db2 for LUW、Db2 for i、PolarDB for PostgreSQLと
Flink SQLモード: Flink SQL文を実行してETLタスクを設定できます。 Flink SQLは、標準SQL構文と互換性があります。
業界をリードするコンピューティングの有効性: ETL機能は、DTSのデータ収集機能と統合されています。 ETL機能は、データの精度を保証し、業界をリードするコンピューティング効率を備えています。
柔軟なタスクの監視と管理: DTSコンソールでETLタスクを監視および管理できます。 たとえば、タスクを開始したり、タスクを停止したり、タスクの詳細を表示したりできます。
シナリオ
マルチリージョンまたは異種データのリアルタイムでの集中管理: 集中的かつ効率的な管理と意思決定を容易にするために、異種データまたは異なるリージョンのデータをリアルタイムで同じデータベースに保存できます。
リアルタイムデータ統合: ETLのデータ処理機能により、データ統合の効率が大幅に向上します。 ローコード開発モードは、データ統合の難しさとコストを削減します。
リアルタイムのデータウェアハウジング: ETL機能は、業界をリードするストリーミングデータ処理機能を提供し、リアルタイムのデータウェアハウスを迅速に構築するのに役立ちます。
オフラインデータウェアハウスの高速化: ストリーミングデータ処理では、前処理されたデータは、詳細なマイニングのためにデータウェアハウスに出荷されます。 データウェアハウスは、ビジネスシステムに影響を与えずにサービスを提供できます。
リアルタイムレポート: レポートの効率を向上させ、デジタル変換を容易にするために、リアルタイムレポートシステムを構築できます。 このシステムは、さまざまなリアルタイム分析シナリオに適しています。
リアルタイムコンピューティング: ビジネス側で生成されたストリーミングデータをリアルタイムで消去して、特徴値とタグを抽出できます。 一般的なシナリオには、オンラインビジネスコンピューティングモデル (プロファイリング、リスク管理、推奨事項など) とリアルタイムの大画面が含まれます。
プロモーション
ETL機能がパブリックプレビューになりました。 パブリックプレビュー中、各アカウントは2つのETLインスタンスを無料で作成できます。
パブリックプレビューが終了すると、実行中のインスタンスが課金されます。 パブリックプレビューの終了は、アナウンスとSMSメッセージで事前に通知されます。