すべてのプロダクト
Search
ドキュメントセンター

Dataphin:データ開発の概要

最終更新日:Feb 06, 2025

データ開発には、コード開発と標準モデリングが含まれます。コード開発には、SQL、Shell、Python、MR、Spark タスクなどのコンピューティングタスクの構築が含まれます。標準モデリングでは、ビジネス要件に基づいて論理データモデルを構築します。

前提条件

リアルタイム開発を行うには、リアルタイム開発付加価値サービスを購入し、現在のテナントのリアルタイム開発モジュールをアクティブ化する必要があります。

機能紹介

  • [標準モデリング]: このプロセスでは、ビジネスの観点からデータモデルを設計し、データの標準化、正規化、自動化を保証します。メトリック計算の不整合を回避し、データウェアハウスモデルの構築を視覚化するのに役立ちます。論理テーブルを送信すると、データ生成を容易にするためにインテリジェンスデータエンジン スケジューリングタスクが自動的に生成されます。

    説明

    [標準モデリング] 機能は、データセクションに関連付けられたプロジェクトでのみ使用できます。

  • [データ処理]: これには、コーディングによる複雑なデータモデル、同期タスク、およびさまざまなコードタスクの構築が含まれます。

  • [アドホッククエリ]: ビジネスデータのテーマ別クエリを有効にし、物理モデルの技術的な複雑さを抽象化し、論理モデルを使用してビジネスの観点からクエリサービスを提供します。

  • デュアル開発モード: Dataphin は、データ開発用に [基本] モードと [開発-本番] モードの両方をサポートしています。

    • [基本データセクション] に関連付けられた [基本] プロジェクトでは [標準モデリング] が有効になります。逆に、[本番データセクション] にリンクされた [基本] プロジェクトには標準モデリング機能がなく、[データ処理] 機能と [アドホッククエリ] 機能のみが提供されます。

    • 開発プロジェクトでは、標準モデリングデータ処理、およびアドホッククエリ機能がサポートされています。 本番 プロジェクトでは、標準モデリングデータ処理がサポートされています。

  • インテリジェントエディター: Dataphin コードエディターは、基本的なコードのハイライト、インテリジェントなコードヒント、および権限検証を提供し、コーディングエクスペリエンスを向上させ、開発コストを削減します。エディターの使用手順については、「エディターコードの効率を高める」をご参照ください。

データ開発エントリ

Dataphin ホームページで、トップメニューバーの [開発] を選択して、デフォルトでデータ [開発] ページにアクセスします。

データ開発インターフェイスの紹介

image

領域

説明

グローバル検索とコード検索

  • [グローバル検索]: グローバル検索ボックスを使用して、関連するキーワードを入力することにより、物理テーブル、論理テーブル、メタテーブル、標準定義、関数、リソース、またはテンプレートを検索します。[開発] タブと [アセット] タブでは、オブジェクトをすばやく検索できます。

    image

    • プロジェクト切り替え: 開発-本番環境で開発プロジェクトオブジェクトと本番プロジェクトオブジェクトを切り替えて、特定のオブジェクトをクエリします。

    • パースペクティブの切り替え: Dataphin は、開発とアセットのパースペクティブからのオブジェクト表示をサポートしており、それぞれ異なるオブジェクトタイプを表示できます。

      • 開発パースペクティブ: 物理テーブル、論理テーブル、メタテーブル、標準定義、関数、リソース、またはテンプレートが含まれます。

      • アセットパースペクティブ: 物理テーブル、論理テーブル、およびメタテーブルで構成されます。

    • オブジェクトリスト: 現在一致しているオブジェクトを表示します。 グローバルおよびプロジェクトパースペクティブの切り替えをサポートしていますまた、すべてまたは特定のオブジェクトタイプの表示もサポートしています。 [オブジェクト名] をクリックすると、システムは自動的にオブジェクトを見つけます。

  • コード検索: gageg アイコンをクリックして [コード検索] ボックスを開き、指定されたコードを含むコンピューティングタスクをすばやく見つけます。次の図は例です。

    image

    • コード検索入力ボックス: コンピューティングタスクに関連するキーワードを入力します。image アイコンを使用して複数のコードのテキスト入力ボックスに切り替えるか、image アイコンを使用して [詳細検索] ページにアクセスして、より詳細な検索を実行します。詳細については、「高度な検索効率を高める」をご参照ください。

    • 検索結果リスト: コードに一致するコンピューティングタスクが表示されます。タスクをクリックすると、詳細が表示されます。

    • タスク一致の詳細: コンピューティングタスク内のコードの一致が表示されます。行番号と一致数も含まれます。

説明
  • コード検索は、[送信済み][開発中]、および [公開済み] ステータスに制限されています。

  • コードロジックごとに最大 50 個のタスクを一致させることができます。コード検索はプロジェクト固有です。

  • 検索機能は、バージョンアップグレード後 (2020 年 7 月 14 日) に送信されたコードに適用されます。

プロジェクトと環境

  • プロジェクト: デフォルトでは、現在アクティブなプロジェクトの名前が表示されます。test アイコンをクリックして、ドロップダウンリストからプロジェクト分類 ( [本番][開発]、または [基本]) と名前を選択するか、検索ボックスを使用してプロジェクトをすばやく検索します。

  • 環境: 運用環境開発tstt アイコンをクリックして、 と などのプロジェクト環境を切り替えます。

説明

[基本] プロジェクトはデフォルトで本番環境になり、環境を区別しません。

機能項目

Dataphin のデータ開発セクションには、標準モデリング、[データ処理][最近開いたファイル][アドホッククエリ]、および [実行レコード] のモジュールが含まれています。

  • 標準モデリング: このモジュールは、論理ディメンションテーブル、論理ファクトテーブル、アトミックメトリック、ビジネスフィルター、メトリック、および論理集計テーブルを含む論理テーブルをカバーしています。詳細については、「データの標準化とモデリング」をご参照ください。

  • データ処理: テーブル管理、コンピューティングタスク、コンピューティングタスクテンプレート、リソース、関数など、データ処理のためのコンピューティングタスク関連の機能に焦点を当てています。

    • テーブル管理: コンピューティングタスクの開発に不可欠な [オフライン物理テーブル][リアルタイムコンピューティングテーブル] を設定および管理します。

      • オフライン物理テーブル: この機能を使用すると、コンピューティングタスクの開発に不可欠なオフライン物理テーブルを設定および管理できます。詳細については、「オフライン物理テーブルを作成する」をご参照ください。

      • リアルタイムコンピューティングメタテーブル: リアルタイムタスク開発で使用される [メタテーブル][ミラーテーブル] を管理します。

        • メタテーブル: データ管理を通じて、メタテーブルはクロスストレージタイプのテーブルとして機能します。リアルタイムタスクの開発に不可欠な入力テーブル、出力テーブル、およびディメンションテーブルの作成と管理を容易にします。詳細については、「メタテーブルを作成および管理する」をご参照ください。

        • イメージテーブル: 主に、ストリーミング処理とバッチ処理を統合したリアルタイム タスクの開発に使用されます イメージテーブルは、ストリーミングテーブルとオフラインテーブルをマッピングします。 ストリーミング処理とバッチ処理を統合したリアルタイム コンピューティング タスクを開発する場合、イメージテーブルを参照すると、ストリーミングテーブルとオフラインテーブルの同期操作がサポートされます。 詳細については、「イメージテーブルを作成する」をご参照ください。

    • コンピューティングタスク: この機能を使用すると、SQL、MR、Jar、Shell、Python、および Virtual 形式でコンピューティングタスクを作成できます。詳細については、「コンピューティングタスク」をご参照ください。

    • コンピューティングタスクテンプレート: オフラインおよびリアルタイムのコンピューティングタスクのテンプレートの作成を容易にし、開発効率を向上させます。詳細については、以下をご参照ください。

      • オフラインコンピューティングテンプレートの作成については、「このガイド」をご参照ください。

      • リアルタイムコンピューティングテンプレートの作成については、「このガイド」をご参照ください。

    • リソース: このセクションは、JAR、JSON、Python、およびその他のタイプのリソースファイルなど、コード開発に不可欠なファイルを保存および管理するためのものです。詳細については、「リソースとリファレンスをアップロードする」をご参照ください。

    • 関数: Dataphin のコンピューティングエンジンでサポートされている [ビルトイン関数][ユーザー定義関数] を示しています。関数の情報には、名前、タイプ、コマンド形式、および説明が含まれます。表示される関数は、プロジェクトにバインドされているコンピューティングソースによって異なります。

      • ビルトイン関数: 使用中のコンピューティングエンジンによって異なります。詳細は、システムに表示される関数を参照してください。

      • ユーザー定義関数: Jar リソースをアップロードしたり、他の方法を使用したりして、カスタム関数を作成できます。詳細については、「ユーザー定義関数を作成する」をご参照ください。

  • 最近開いた項目: 最近アクセスしたコンピューティング ノード、関数、テーブル、その他のオブジェクトが一覧表示されます

  • ゴミ箱: データ開発セクションから削除されたオブジェクトは、ゴミ箱に移動されます ゴミ箱内では、これらのオブジェクトを復元するか、完全に削除するかを選択できます。詳細については、「ゴミ箱のリソースを管理する」をご参照ください。

  • アドホッククエリ: アドホッククエリを使用すると、現在のビジネスニーズに合わせて、クエリ文のカスタマイズと実行、およびデータのダウンロードを行うことができます。詳細については、「データをクエリおよびダウンロードする」をご参照ください。

  • 実行レコード: 実行レコードには、アドホッククエリ、計算タスク実行、論理データテーブルのプレビュー、派生メトリクスのスモークテスト、アセットデータのプレビュー、OpenAPI データクエリなどのアクティビティについて、過去 15 日間 の履歴が保持されます。詳細については、「実行レコードを表示および管理する方法」をご参照ください。

オブジェクトリストディレクトリ

オブジェクトリストディレクトリには、Dataphin データ開発セクション内で作成された、または組み込みのすべてのオブジェクトが表示されます。

データ開発ウェルカムページ

このセクションでは、Dataphin でのデータ開発に不可欠なワークフローと開発ツールについて概説します。特定のオブジェクトを作成するには、[パスポイント] または [ツールブロック] をクリックし、次に「新規」というラベルの付いた image アイコンをクリックします。