E-MapReduce:データインポートに関するよくある質問

「close index channel failed」または「too many tablet versions」エラー

• 原因

  データインポートの頻度が高いため、コンパクションが間に合わず、未コンパクションのタブレットバージョン数がサポートされる上限を超えてしまいます。

• 解決策

  デフォルトでは、サポートされる未コンパクションのバージョン数の上限は 1,000 です。この問題を解決するには：

  • 各インポートのデータ量を増やして、データインポートの頻度を減らします。

  • 各バックエンド (BE) の be.conf 設定ファイルで以下のパラメーターを変更し、コンパクションポリシーを調整してコンパクションを高速化します。

    cumulative_compaction_num_threads_per_disk = 4
    base_compaction_num_threads_per_disk = 2
    cumulative_compaction_check_interval_seconds = 2

「Label Already Exists」エラーへの対処

• 問題の説明

  StarRocks クラスター内の同じデータベースで、同じラベルを持つインポートジョブが既に完了しているか、現在実行中です。

• 原因

  Stream Load は HTTP プロトコルを使用してインポートジョブのリクエストを送信し、ほとんどの HTTP クライアントには組み込みのリトライメカニズムがあります。StarRocks クラスターが最初のリクエストを受信した後、Stream Load ジョブの処理を開始します。クライアントのタイムアウト期間が終了する前にクラスターがクライアントに応答しない場合、クライアントは同じリクエストを自動的に再送信することがあります。StarRocks クラスターは既に元のリクエストを処理中であるため、2番目のリクエストを拒否し、Label Already Exists エラーを返します。

• 解決策

  異なるインポート方法間でのラベルの競合や、インポートジョブの重複送信がないか確認してください。以下のように問題を診断できます：

  • プライマリフロントエンド (FE) ノードのログでジョブのラベルを検索します。ラベルが2回出現する場合、クライアントが重複リクエストを送信しています。

    説明

    StarRocks クラスターでは、インポートジョブのラベルはインポート方法によってスコープが区切られていません。そのため、異なる種類のインポートジョブが同じラベルを使用すると競合する可能性があります。

  • SHOW LOAD WHERE LABEL = "xxx" ステートメントを実行して、同じラベルを持つインポートジョブが FINISHED 状態にあるかどうかを確認します。xxx をご利用のラベルに置き換えてください。

  この問題を回避するには、リクエストのデータ量に基づいてインポート時間を推定します。その後、クライアント側で十分な長さのリクエストタイムアウト期間を設定し、早すぎるリトライを避けてください。

「ETL_QUALITY_UNSATISFIED; msg:quality not good enough to cancel」エラーの解決

エラー: 十分なホストが見つかりませんでした

テーブルプロパティに "replication_num" = "1" を追加できます。

「Too many open files」エラーの解決

「increase config load_process_max_memory_limit_percent」エラー

/root/starrocks/be/src/runtime/plan_fragment_executor.cpp:209 _sink->open(runtime_state())
W0516 15:58:30.892597 28779 fragment_mgr.cpp:193] Fail to open fragment 334f7f8c-0727-5909-afa3-9eb1dxxx : Internal error: intolerable failure in opening node channels
/root/starrocks/be/src/runtime/plan_fragment_executor.cpp:209 _sink->open(runtime_state())
W0516 15:58:30.898306 28779 stream_load_executor.cpp:94] fragment execute failed, query_id=334f7f8c07275909-afa39eb1dxxx, err_msg=intolerable failure in opening node channels, id=334f7f8c07275909-afa3
9eb1db88af94, job_id=-1, txn_id=633657, label=156936fa-1134-4c4c-b473-fa05b4b8bf8c
W0516 15:58:30.907560 28985 stream_load.cpp:315] append body content failed. errmsg=cancelledid=334f7f8c07275909-afa39eb1dbxxx, job_id=-1, txn_id=633657, label=156936fa-1134-4c4c-b473-fa05b4b8bf8c
W0516 15:58:34.353019 28993 data_sink.cpp:104] Ignore option use_vectorized=false
W0516 15:58:34.353847 28795 tablet_sink.cpp:605] NodeChannel[15381-10004]: tablet open failed, load_id=cb4e78a6-f026-c3d9-a700-aba4xxx, txn_id=6336xxx, node=10.28.xxx, 8060, errmsg=memory limit exc
eeded, please reduce load frequency or increase config `load_process_max_memory_limit_percent` or add more BE nodes
W0516 15:58:34.353901 28795 tablet_sink.cpp:605] NodeChannel[15381-10003]: tablet open failed, load_id=cb4e78a6-f026-c3d9-a700-aba4xxx, txn_id=6336xxx, node=10.28.xxx, 8060, errmsg=memory limit exc
eeded, please reduce load frequency or increase config `load_process_max_memory_limit_percent` or add more BE nodes
W0516 15:58:34.353909 28795 tablet_sink.cpp:605] NodeChannel[15381-149009]: tablet open failed, load_id=cb4e78a6-f026-c3d9-a700-abaxxx, txn_id=633xxx, node=10.2xxx, 8060, errmsg=memory limit exc
eeded, please reduce load frequency or increase config `load_process_max_memory_limit_percent` or add more BE nodes
W0516 15:58:34.353914 28795 tablet_sink.cpp:605] NodeChannel[15381-10002]: tablet open failed, load_id=cb4e78a6-f026-c3d9-a700-aba4xxx, txn_id=6336xxx, node=10.28.xxx, 8060, errmsg=memory limit exc
eeded, please reduce load frequency or increase config `load_process_max_memory_limit_percent` or add more BE nodes
W0516 15:58:34.353976 28795 tablet_sink.cpp:605] NodeChannel[15381-149010]: tablet open failed, load_id=cb4e78a6-f026-c3d9-a700-abaxxx, txn_id=633xxx, node=10.2xxx, 8060, errmsg=memory limit exc
eeded, please reduce load frequency or increase config `load_process_max_memory_limit_percent` or add more BE nodes
W0516 15:58:34.353983 28795 tablet_sink.cpp:613] open failed, load_id=cb4e78a6f026c3d9-a700aba44764c288
W0516 15:58:34.353992 28795 plan_fragment_executor.cpp:188] fail to open fragment, instance_id=cb4e78a6-f026-c3d9-a700-aba44xxx, status=Internal error: intolerable failure in opening node channels
/root/starrocks/be/src/runtime/plan_fragment_executor.cpp:209 _sink->open(runtime_state())
W0516 15:58:34.354202 28795 fragment_mgr.cpp:193] Fail to open fragment cb4e78a6-f026-c3d9-a700-aba447xxx : Internal error: intolerable failure in opening node channels
/root/starrocks/be/src/runtime/plan_fragment_executor.cpp:209 _sink->open(runtime_state())
W0516 15:58:34.600633 28795 stream_load_executor.cpp:94] fragment execute failed, query_id=cb4e78a6f026c3d9-a700aba44xxx, err_msg=intolerable failure in opening node channels, id=cb4e78a6f026c3d9-a700
aba44764c288, job_id=-1, txn_id=633662, label=156936fa-1134-4c4c-b473-fa05b4b8bf8c
W0516 15:58:34.600664 28993 stream_load.cpp:132] Fail to handle streaming load, id=cb4e78a6f026c3d9-a700aba447xxx errmsg=intolerable failure in opening node channels
W0516 15:58:39.555845 28995 data_sink.cpp:104] Ignore option use_vectorized=false

データインポート中の RPC タイムアウト

BE の be.conf ファイルにある write_buffer_size パラメーターを確認してください。このパラメーターは BE 上のメモリブロックのサイズしきい値を設定し、デフォルトは 100 MB です。このしきい値が大きすぎると、RPC タイムアウトが発生する可能性があります。これを解決するには、write_buffer_size と tablet_writer_rpc_timeout_sec パラメーターを調整してください。BE 設定パラメーターの詳細については、「パラメーター設定」をご参照ください。

エラー：「Value count does not match column count」

• 問題の説明

  インポートジョブが失敗し、エラー詳細 URL に「Value count does not match column count」というエラーが表示されます。これは、ソースデータの列数が宛先テーブルの列数と一致しないことを示します。

  Error: Value count does not match column count. Expect 3, but got 1. Row: 2023-01-01T18:29:00Z,cpu0,80.99
  Error: Value count does not match column count. Expect 3, but got 1. Row: 2023-01-01T18:29:10Z,cpu1,75.23
  Error: Value count does not match column count. Expect 3, but got 1. Row: 2023-01-01T18:29:20Z,cpu2,59.44

• 原因

  このエラーは、インポートコマンドまたはインポートステートメントで指定された列区切り文字がソースデータの区切り文字と一致しない場合に発生します。この例では、ソースデータには3つの列があり、列区切り文字としてカンマ (,) を使用しています。しかし、インポートコマンドまたはステートメントでタブ文字 (\t) を区切り文字として指定すると、ソースデータの3つの列が誤って1つの列として解析されます。

• 解決策

  インポートコマンドまたはインポートステートメントの列区切り文字をカンマ (,) に変更し、インポートジョブを再試行してください。

インポート方法の選択

詳細については、「データインポート」をご参照ください。

インポート性能に影響を与える要因

Stream Load でのヘッダー行のスキップ

Stream Load における非標準パーティションキー

StarRocks は、インポートプロセス中のデータ変換をサポートしています。

-H "columns: NO,DATE_1, VERSION, PRICE, DATE=LEFT(DATE_1,6)"

この例では、DATE_1 はソースデータの仮のプレースホルダーとして機能します。次に LEFT() 関数がこのデータを変換し、その結果が StarRocks テーブルの DATE 列に割り当てられます。ソース CSV ファイルのすべての列を、変換関数を適用する前に一時的な名前にマッピングする必要があることに注意してください。列変換に使用される関数は、非集計関数やウィンドウ関数などのスカラー関数でなければなりません。

「body exceed max size: 10737418240, limit: 10737418240」エラー

• 原因

  ソースデータファイルが、Stream Load でサポートされる最大ファイルサイズ (10 GB) を超えています。

• 解決策

  • seq -w 0 n コマンドを使用して、ソースデータファイルをより小さなファイルに分割します。

  • curl -XPOST http:///be_host:http_port/api/update_config?streaming_load_max_mb=<file_size> コマンドを実行して、BE ノードの streaming_load_max_mb パラメーターを変更し、ファイルサイズ制限を増やします。BE パラメーター設定の詳細については、「パラメーター設定」をご参照ください。

インポート性能の向上

方法1：タスクの並列度を上げる

min(alive_be_number, partition_number, desired_concurrent_number, max_routine_load_task_concurrent_num)

したがって、パーティション数と BE ノード数が多く、desired_concurrent_number および max_routine_load_task_concurrent_num パラメーターを超える場合に実際のタスク並列度を上げる必要がある場合は、desired_concurrent_number および max_routine_load_task_concurrent_num パラメーターを増やすことができます。

例えば、7つのパーティションと5つのアクティブな BE ノードがあり、max_routine_load_task_concurrent_num がデフォルト値の 5 に設定されているとします。実際のタスク並列度を最大化するには、desired_concurrent_number を 5 に設定する必要があります (デフォルトは 3)。実際のタスク並列度は min(5,7,5,5) と計算され、5 になります。

方法2：インポートタスクあたりのデータ量を増やす

2つの FE 動的パラメーター、max_routine_load_batch_size と routine_load_task_consume_second は、インポートタスクが消費できる最大データ量を制御します。インポートタスクは、いずれかのパラメーターのしきい値に達すると終了します。設定の詳細については、「パラメーター設定」をご参照ください。

I0325 20:27:50.410579 15259 data_consumer_group.cpp:131] consumer group done: 41448fb1a0ca59ad-30e34dabfa7e47a0. consume time(ms)=3261, received rows=179190, received bytes=9855450, eos: 1, left_time: -261, left_bytes: 514432550, blocking get time(us): 3065086, blocking put time(us): 24855

通常、ログには left_bytes >= 0 と表示されます。これは、インポートバッチが routine_load_task_consume_second の時間制限が切れる前に max_routine_load_batch_size の制限に達しなかったことを示します。これは、インポートタスクが Kafka からのデータストリームに追いついており、消費レイテンシーが発生していないことを意味します。この場合、routine_load_task_consume_second を増やして、各インポートタスクが消費するデータ量を増やすことができます。

left_bytes < 0 の場合、バッチが時間制限 (routine_load_task_consume_second) が切れる前に max_routine_load_batch_size の制限に達したことを示します。これは、各インポートバッチが容量いっぱいまで満たされており、Kafka からのデータバックログにつながる可能性があることを示唆しています。このシナリオでは、max_routine_load_batch_size を増やすことができます。

PAUSED および CANCELLED 状態のインポートジョブのトラブルシューティング

Routine Load と 1 回限りのセマンティクス

はい、Routine Load は 1 回限りのセマンティクスを保証します。

各インポートタスクは単一のトランザクションとして実行されます。インポートタスクが失敗した場合、トランザクションは中止され、FE は関連するパーティションの消費進捗を更新しません。FE がタスク実行キューから次のインポートタスクをスケジュールする際、パーティションの最後に保存されたコンシューマオフセットから消費リクエストを開始します。このプロセスにより、1 回限りのセマンティクスが保証されます。

「Broker: Offset out of range」エラー

FINISHED 状態の Broker Load ジョブの再実行

いいえ。FINISHED 状態のインポートジョブを再実行することはできません。1 回限りのセマンティクスを保証するため、成功したインポートジョブのラベルを再利用することはできません。SHOW LOAD ステートメントを使用してインポート履歴を表示し、再実行したいジョブを見つけ、その設定をコピーし、新しいラベルを割り当てて、新しいインポートジョブを作成して実行することができます。

Broker Load での日付フィールドの8時間オフセット

• 原因

  これはタイムゾーンの不一致が原因で発生します。StarRocks テーブルと Broker Load インポートジョブは中国標準時 (UTC+8) を使用していますが、サーバーは UTC を使用しています。この違いにより、インポートプロセスで日付フィールドに8時間のオフセットが追加されます。

• 解決策

  テーブルを作成する際に timezone パラメーターを削除してください。

ORC データの Broker Load 中の「ErrorMsg: type:ETL_RUN_FAIL; msg:Cannot cast '<slot 6>' from VARCHAR to ARRAY<VARCHAR(30)>」エラー

• 原因

  このエラーは、ソースデータファイルの列名と宛先の StarRocks テーブルの列名が一致しないことが原因です。この不一致により SET ステートメントがトリガーされ、キャスト関数内でデータ型の変換に失敗します。

• 解決策

  ソースファイルの列名が StarRocks テーブルの列名と一致することを確認してください。これにより、SET ステートメントとデータ型変換が不要になり、インポートが成功します。

Broker Load 後にデータが見つからない

Broker Load は非同期のインポート方法です。インポートジョブの送信が成功したからといって、インポートが成功したわけではありません。SHOW LOAD ステートメントを実行して、インポートジョブの最終ステータスと errmsg フィールドのエラーメッセージを確認できます。ジョブが失敗した場合は、そのパラメーターを修正して再試行してください。

エラー：「failed to send batch」または「TabletWriter add batch with unknown id」

このエラーは、データ書き込みのタイムアウトを示します。これを解決するには、システム変数 query_timeout と BE パラメーター streaming_load_rpc_max_alive_time_sec を変更してください。BE パラメーターの詳細については、「パラメーター設定」をご参照ください。

「LOAD-RUN-FAIL; msg:OrcScannerAdapter::init_include_columns. col name = xxx not found」エラー

Parquet または ORC ファイルからデータをインポートする場合、ファイルヘッダーの列名が StarRocks テーブルの列名と一致することを確認してください。

(tmp_c1,tmp_c2)
SET
(
   id=tmp_c2,
   name=tmp_c1
)

Apache Hive によって生成された ORC ファイルをインポートすると、そのテーブルヘッダーが (_col0, _col1, _col2, ...) の場合、「Invalid Column Name」エラーが発生することがあります。この場合、SET 句を使用して列マッピングルールを定義する必要があります。

長時間実行されるインポートジョブのトラブルシューティング

FE の fe.log ファイルで、ラベルを使用してインポートジョブ ID を見つけます。次に、BE の be.INFO ファイルで、この ID を使用して関連するログエントリを見つけ、原因を特定します。

HDFS Federation 用の ViewFs の設定

設定ファイル core-site.xml と hdfs-site.xml を broker/conf ディレクトリにコピーします。

カスタムファイルシステムを使用する場合は、対応する .jar ファイルも broker/lib ディレクトリにコピーしてください。

「Can't get Kerberos realm」エラー

1. ブローカーが実行されているすべてのノードで /etc/krb5.conf ファイルが設定されていることを確認してください。

2. エラーが解決しない場合は、ブローカーの起動スクリプトの JAVA_OPTS 変数に -Djava.security.krb5.conf:/etc/krb5.conf を追加してください。

単一レコード挿入のパフォーマンス低下

INSERT INTO statement は batch write 用に設計されています。single write は batch write と同じくらいの時間がかかります。したがって、OLAP scenario では、single write に INSERT INTO statement を使用しないでください。

「index channel has intolerable failure」エラー

このエラーは、Stream Load の RPC タイムアウトが原因で発生します。これを解決するには、設定ファイルで RPC タイムアウトパラメーターを調整してください。

INSERT INTO SELECT が execute timeout で失敗する

このエラーはクエリのタイムアウトが原因です。セッション変数 query_timeout を調整することでこの問題を解決できます。このパラメーターのデフォルト値は 600 秒です。

set query_timeout =xx;

Flink ジョブエラー：必須オプションがありません

• 原因

  このエラーは、StarRocks-migrate-tools (SMT) の設定ファイル config_prod.conf 内にある、[table-rule.1] や [table-rule.2] などの複数のルールに、必須の設定情報が欠落していることが原因です。

• 解決策

  [table-rule.1] や [table-rule.2] などの各ルールに、データベース、テーブル、Flink Connector の情報が設定されていることを確認してください。

失敗したタスクの自動再起動

Flink は、チェックポイントメカニズムと再起動ポリシーを使用して、失敗したタスクを自動的に再起動します。

# unit: ms
execution.checkpointing.interval: 300000
state.backend: filesystem
state.checkpoints.dir: file:///tmp/flink-checkpoints-directory

Flink ジョブの停止と復元

Flink ジョブを停止する際、手動でセーブポイントをトリガーできます。セーブポイントは、ストリーミングジョブの実行状態の一貫したスナップショットであり、チェックポイントメカニズムによって作成されます。後でセーブポイントからジョブを復元できます。

セーブポイントでジョブを停止するには、Flink はまずジョブのセーブポイントをトリガーし、その後ジョブを停止します。セーブポイントを保存するターゲットディレクトリを指定することもできます。

bin/flink stop --type [native/canonical] --savepointPath [:targetDirectory] :jobId

./flink run -c com.starrocks.connector.flink.tools.ExecuteSQL -s savepoints_dir/savepoints-xxxxxxxx flink-connector-starrocks-xxxx.jar -f flink-create.all.sql

1回限りのセマンティクスでのデータインポートの失敗

• 説明：システムは次のエラーを報告します。

  com.starrocks.data.load.stream.exception.StreamLoadFailException: {
      "TxnId": 3382****,
      "Label": "502c2770-cd48-423d-b6b7-9d8f9a59****",
      "Status": "Fail",
      "Message": "timeout by txn manager",-- Error message
      "NumberTotalRows": 1637,
      "NumberLoadedRows": 1637,
      "NumberFilteredRows": 0,
      "NumberUnselectedRows": 0,
      "LoadBytes": 4284214,
      "LoadTimeMs": 120294,
      "BeginTxnTimeMs": 0,
      "StreamLoadPlanTimeMs": 7,
      "ReadDataTimeMs": 9,
      "WriteDataTimeMs": 120278,
      "CommitAndPublishTimeMs": 0
  }

• 原因：sink.properties.timeout の値が Flink のチェックポイント間隔より短いため、トランザクションがタイムアウトします。

• 解決策：このパラメーターを Flink のチェックポイント間隔より大きい値に設定してください。

flink-connector-jdbc_2.11 sink から StarRocks へのタイムラグ

• 問題の説明：Flink の localtimestamp 関数で生成された時刻は正しいですが、StarRocks に書き込まれた後 8 時間遅れます。Flink と StarRocks の両サーバーは Asia/Shanghai タイムゾーン (UTC+8) に設定されています。Flink のバージョンは 1.12 で、ドライバーは flink-connector-jdbc_2.11 です。

• 解決策：この問題を解決するには、Flink の sink テーブルでタイムゾーンを設定します。パラメーター 'server-time-zone' = 'Asia/Shanghai' を設定し、url パラメーターに &serverTimezone=Asia/Shanghai を追加します。次の例にこの設定を示します。

  CREATE TABLE sk (
      sid int,
      local_dtm TIMESTAMP,
      curr_dtm TIMESTAMP
  )
  WITH (
      'connector' = 'jdbc',
      'url' = 'jdbc:mysql://192.168.**.**:9030/sys_device?characterEncoding=utf-8&serverTimezone=Asia/Shanghai',
      'table-name' = 'sink',
      'driver' = 'com.mysql.jdbc.Driver',
      'username' = 'sr',
      'password' = 'sr123',
      'server-time-zone' = 'Asia/Shanghai'
  );

外部 Kafka クラスターからのインポートができない

• 説明：インポートは次のエラーメッセージで失敗します：

  failed to query wartermark offset, err: Local: Bad message format

• 原因：StarRocks ノードが Kafka ブローカーのホスト名を解決できません。

• 解決策：各 StarRocks ノードの /etc/hosts ファイルに Kafka ブローカーのホスト名と IP アドレスを追加してください。

アイドル時の BE のメモリと CPU 使用率が高い

BE ノードは定期的に統計情報を収集するため、持続的な高い使用率ではなく、一時的に CPU 使用率が急上昇します。さらに、BE ノードは使用済みのメモリを最大 10 GiB まで保持し、内部で管理し、オペレーティングシステムに解放しません。このメモリ保持のしきい値は tc_use_memory_min パラメーターで設定できます。

tc_use_memory_min は、TCmalloc が予約する最小メモリを指定します。デフォルト値は 10,737,418,240 (10 GiB) です。StarRocks は、使用済みメモリがこの値を超えた場合にのみ、アイドル状態のメモリをオペレーティングシステムに返します。このパラメーターは、EMR コンソールの StarRocks サービスのConfigureタブの be.conf ファイルで設定できます。BE ノードのパラメーターの詳細については、「パラメーター設定」をご参照ください。

BE がメモリを解放しない理由

これは期待される動作です。データベースはオペレーティングシステムから大きなメモリブロックを割り当て、多くの場合、すぐに必要とされる量よりも多くを事前に割り当て、このメモリを再利用のために保持します。この戦略により、頻繁でコストのかかるメモリの再割り当てのパフォーマンスオーバーヘッドを回避できます。この動作を確認するには、テスト環境で長期間にわたってメモリ使用量を監視し、メモリが最終的に解放されるかどうかを確認してください。

Flink Connector の依存関係を解決できない

• 原因：Flink Connector の依存関係は Alibaba Cloud ミラーから取得する必要があります。このエラーは、/etc/maven/settings.xml ファイルのミラーセクションが、すべてのリポジトリリクエストをこのミラーにリダイレクトするように設定されていないために発生します。

• 解決策：/etc/maven/settings.xml で、ミラーセクションを Alibaba Cloud パブリックリポジトリを使用するように設定します：https://maven.aliyun.com/repository/public。

sink.buffer-flush.interval-ms パラメーターの有効性

• 問題の説明：sink.buffer-flush.interval-ms が 15s に設定され、checkpoint interval=5mins の場合、sink.buffer-flush.interval-ms はまだ有効ですか？

  +----------------------+--------------------------------------------------------------+
  |         Option       | Required |  Default   | Type   |       Description           |
  +-------------------------------------------------------------------------------------+
  |  sink.buffer-flush.  |  NO      |   300000   | String | the flushing time interval, |
  |  interval-ms         |          |            |        | range: [1000ms, 3600000ms]  |
  +----------------------+--------------------------------------------------------------+

• 解決策：次の3つのしきい値のうち、最初に満たされたときにフラッシュがトリガーされます。この動作は checkpoint interval とは無関係です。checkpoint interval は 1 回限りのセマンティクス専用ですが、sink.buffer-flush.interval-ms は at-least-once セマンティクス用です。

  sink.buffer-flush.max-rows
  sink.buffer-flush.max-bytes
  sink.buffer-flush.interval-ms

DataX でのデータ更新

DataX は、プライマリキーモデルのデータ更新をサポートするようになりました。これを有効にするには、JSON 設定ファイルの reader セクションに _op フィールドを追加します。

フィールド名におけるキーワードの扱い

フィールド名をバッククォート (`) で囲みます。

HADOOP-CONF-DIR または YARN-CONF-DIR を設定する必要があります

このエラーは、Spark Load に必要な HADOOP-CONF-DIR 環境変数が、spark クライアントの spark-env.sh ファイルに設定されていないことを示します。

spark-submit コマンドが「No such file or directory」エラーで失敗する

このエラーは、Spark Load を使用しているときに、spark_home_default_dir パラメーターが指定されていないか、誤った Spark クライアントのルートディレクトリに設定されている場合に発生します。

「File xxx/jars/spark-2x.zip does not exist」エラー

Spark Load を使用している場合、このエラーは spark-resource-path パラメーターがパッケージ化された ZIP ファイルを指していないことを示します。ファイルパスとファイル名を確認してください。

「Yarn client does not exist」エラー

このエラーは、yarn-client-path パラメーターが YARN 実行可能ファイルへのパスを指定していないことを示します。