:E-MapReduce SDK リリースノート

各バージョンの E-MapReduce SDK リリースノートです。

<! --Supports interaction with data sources in OSS-->
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-core</artifactId>
        <version>1.4.1</version>
    </dependency>
    <! --Supports interaction with data sources in Table Store
-->
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-tablestore</artifactId>
        <version>1.4.1</version>
    </dependency>
    <! --Supports interaction with data sources in MNS, MQ, Log Service, and MaxCompute (in the Spark 1.x environment) -->
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-mns_2.10</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-logservice_2.10</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-maxcompute_2.10</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-ons_2.10</artifactId>
        <version>1.4.1</version>
    </dependency>
    <! --Supports interaction with data sources in MNS, MQ, Log Service, and MaxCompute (in the Spark 2.x environment)-->
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-mns_2.11</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-logservice_2.11</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-maxcompute_2.11</artifactId>
        <version>1.4.1</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.emr</groupId>
        <artifactId>emr-ons_2.11</artifactId>
        <version>1.4.1</version>
    </dependency>

• v1.4.1
  • MaxCompute : DATETIME 値の切り捨ての問題を修正しています。
  • MaxCompute : SimpleDateFormat クラスのスレッドセーフ性の問題を修正しています。
• v1.4.0
  • MaxCompute : DataSource クラスをベースとした実装を追加します。 Spark のバージョン 2.x 以上のみサポートされています。
  • Log Service : Direct API をベースとした実装を追加します。 Spark のバージョン 2.x 以上のみサポートされています。
  • OTS : 読み書き操作を最適化します。
  • Log Service でデータソースを読み取るときに、ユーザーのアクセスキーがクラスターアプリロールのアクセスキーに置き換えられるバグが修正されています。
• v1.3.2
  • Table Store のいくつかのバグを修正しています。
• v1.3.1
  • いくつかのシナリオで Spark と Log Service との対話時に NullPointerExceptions がスローされる問題を修正しています。
  • E-MapReduce SDK はこのバージョン以降 Spark 2.x 環境をサポートします。
• v1.3.0
  • Hadoop MapReduce、Spark、SparkSQL、および Hive が Table Store のデータの読み取りをサポートします。
  • MNS と Log Service は E-MapReduce が提供する MetaService サービスをサポートしています。 MetaService サービスにより、AccessKeys なしで MNS および Log Service のデータにアクセスできます。
  • いくつかの依存関係をアップグレードします。
• v1.1.3.1
  • MNS と Spark/Hadoop パッケージとの間の依存関係の競合の問題を修正しています。
  • いくつかのシナリオで Spark Streaming と MNS との対話時に NullPointerExceptions がスローされる問題を修正しています。
  • Python SDK のいくつかのバグを修正しています。
  • Spark Streaming を Loghub と連携するシナリオでカスタマイズ時間と場所をサポートします。
  • Hadoop が Snappy ネイティブファイルをサポートしていない問題を修正しています。 現在、E-MapReduce は Log Service が OSS にアーカイブした Snappy ファイルの処理をサポートしています。
  • Spark が Snappy ファイルをサポートしていない問題を修正しています。
  • OSS が Apache Hadoop 2.7.2 の OutputCommitter クラスの 2 つのアルゴリズムをサポートしていない問題を修正しています。
  • OSS で Hadoop/Spark がデータを読み書きするパフォーマンスを最適化します。
  • Spark がジョブを印刷すると Log4j 例外がスローされる問題を修正しています。
• v1.1.2
  • ジョブが OSS でデータを読み取っているときに ConnectionClosedException がスローされる問題が修正されています。
  • OSS データソースへのアクセス時にいくつかの Hadoop コマンドが使用できない問題を修正しています。
  • java.text.ParseException を修正 : 解析不能な日付の問題
  • ローカルデバッグ用の emr-core のサポートを最適化します。
  • 以前のバージョンで作成された "_$folder$" ファイルを正規のファイルではなくディレクトリパスとして解釈します。
  • OSS で Hadoop/Spark がデータの読み取りに失敗する場合の再試行メカニズムを追加します。
• v1.1.1
  • OSS に一時ファイルをローカルに書き込むことによって生じるディスク使用量の不均衡を修正しています。
  • ジョブ実行時の OSS ディレクトリ作成時に作成される $_folder$ タグファイルを削除します。
• v1.1.0
  • LogHub SDK を 0.6.2 にアップグレードします。 クライアント DB モードを中止し、代わりにサーバー DB モードを使用します。
  • OSS SDK を 2.2.0 にアップグレードします。 OSS SDK のバグによって引き起こされる実行時例外を修正しています。
  • MNS のサポートを追加しています。
  • 互換性
    • バージョン 1.0.x SDK との互換性
      • インターフェイス :
        • 互換性あり
      • 名前空間 :
        • 互換性なし : パッケージ構造を調整します。 パッケージ名を com.aliyun から com.aliyun.emr に変更しています。
  • プロジェクトの groupId を com.aliyun から com.aliyun.emr に変更しています。 POM ファイルの変更された依存関係は以下のとおりです。

    <dependency>
          <groupId>com.aliyun.emr</groupId>
          <artifactId>emr-sdk_2.10</artifactId>
          <version>1.1.3.1</version>
      </dependency>

• v1.0.5
  • LoghubUtils インターフェイスとパラメーター入力を最適化します。
  • LogStore 内のデータの出力形式を最適化します。 [トピック] フィールドと [ソース] フィールドを追加しています。
  • LogStore でデータを取得する時間間隔のパラメーター設定を追加します。 パラメーター名 : spark.logservice.fetch.interval.millis デフォルト値 : 200 単位 : ミリ秒
  • ODPS SDK を 0.20.7-public にアップグレードしています。
• v1.0.4
  • Hadoop での Guava の依存関係との競合を回避するため、Guava の依存関係を 11.0.2 にダウングレードしています。
  • MapReduce タスクで 5 GB を超えるファイルがサポートされます。
• v1.0.3
  • OSS クライアントに関連する設定パラメーターを追加しています。
• v1.0.2
  • OSS の URI が正しく解決されないバグを修正しています。
• v1.0.1
  • OSS URI の設定を最適化してください。
  • MQ のサポートを追加しています。
  • Log Service のサポートを追加しています。
  • OSS のオブジェクトの追加機能をサポートしています。
  • マルチパートアップロード API を使用した OSS へのデータのアップロードをサポートしています。
  • アップロード部分コピーモードを使用した OSS からのデータコピーをサポートしています。