MaxCompute:カスタムリゾルバー

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_extable_name
(
  col_name date_type,
  ...
)
[comment table_comment]
[partitioned BY (col_name data_type, ...)] 
stored BY '<YOUR_DEFINED_STORAGEHANDLER>' 
WITH serdeproperties (
  ['property_name'='property_value',...]
) 
location 'oss_location' 
USING 'jar_name';

正確性の問題を回避するため、カスタムストレージハンドラはデフォルトではデータをシャーディングしません。ご利用のストレージハンドラがシャーディングを処理できることを確認した場合、次のコマンドを実行してデータシャーディング機能を有効にし、複数のマッパーを起動できます。

SET odps.sql.unstructured.data.single.file.split.enabled=true;

共通パラメーター

共通パラメーターの詳細については、「基本的な構文パラメーター」をご参照ください。

排他的パラメーター

カスタム Extractor を使用して非構造化データから DATETIME データフィールドを読み取る際に、ODPS-0123131 エラーが報告されるのはなぜですか？

• 症状

  カスタム Extractor を使用して非構造化データを読み取る際、データフィールドが `2019-11-11 06:43:36` のような DATETIME 型である場合に、次のエラーが返されます。

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.IllegalArgumentException
      at java.sql.Date.valueOf(Date.java:143)
      at com.aliyun.odps.udf.example.text.TextExtractor.textLineToRecord(TextExtractor.java:194)
      at com.aliyun.odps.udf.example.text.TextExtractor.extract(TextExtractor.java:153)
      at com.aliyun.odps.udf.ExtractorHandler.extract(ExtractorHandler.java:120)       

• 原因

  エラーは Date.valueOf(parts) で発生します。java.sql.Date.valueOf() 関数は、"yyyy-[m]m-[d]d" フォーマットの文字列パラメーターのみをサポートします。この関数は DATETIME フォーマットをサポートしていません。

• 解決策

  1. Joda-Time 依存関係を追加し、必要なクラスをコードにインポートします。

     -- 依存関係。
     <dependency>
       <groupId>joda-time</groupId>
       <artifactId>joda-time</artifactId>
       <version>2.10</version>
     </dependency> 
     -- インポート情報。
     import org.joda.time.DateTime;
     import org.joda.time.format.DateTimeFormat;                           

  2. データを読み取る際に、DateTimeFormat.forPattern() 関数を使用して DATETIME 値を文字列に変換します。

     record.setDate(index, new Date(DateTime.parse(parts[i], DateTimeFormat.forPattern("yyyy-MM-dd HH:mi:ss")).getMillis()));                           

  以下に例を示します。

  1. MaxCompute クライアントを使用して、Extractor プロジェクトから生成された JAR パッケージをアップロードします。

     add jar /Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar      

     /Users/gary/big_data/odps/text_extractor/target/text_extractor-1.0-SNAPSHOT.jar は、生成された JAR パッケージが保存されているローカルパスです。

  2. MaxCompute クライアントを使用して、サードパーティの Joda-Time JAR パッケージをアップロードします。

     add jar /Users/gary/.m2/repository/joda-time/joda-time/2.10/joda-time-2.10.jar                         

     /Users/gary/.m2/repository/joda-time/joda-time/2.10/joda-time-2.10.jar は、サードパーティの Joda-Time JAR パッケージが保存されているローカルパスです。

  3. テストデータファイル (例：video_play_log.txt) を OSS の指定されたディレクトリにアップロードします。ファイルには、次のサンプルデータを含めることができます。

     5c661071dba64d5080c91da085ff1073^music-click-fast_forward^26.12.XX.XX^2019-11-11 06:43:36                           

  4. 外部テーブルからデータを読み取ります。

     select * from <project_name>.video_play_log;

     次の結果が返されます。

     +------+-------+---+----------------+
     | uuid  | action  | ip  | time      |
     +------+-------+---+----------------+
     | 5c661071dba64d5080c91da085ff1073 | music-click-fast_forward | 26.12.XX.XX | 2019-11-11 06:43:36 |
     +------+-------+---+----------------+