すべてのプロダクト
Search

このプロダクト

    E-MapReduce:共通コマンド

    ドキュメントセンター

    E-MapReduce:共通コマンド

    最終更新日:Jan 11, 2025

    E-MapReduce（EMR）Hadoopクラスターでは、AlluxioシェルコマンドまたはHadoopシェルコマンドを実行して、Alluxioファイルシステムに格納されているファイルに対する操作を実行できます。このトピックでは、データを管理するために実行できる共通コマンドについて説明します。

    前提条件

    • Hadoopクラスターが作成され、クラスターの作成時にオプションサービスからAlluxioが選択されています。詳細については、クラスターの作成をご参照ください。
    • クラスターにログオンしています。詳細については、クラスターへのログオンをご参照ください。

    背景情報

    次の表に、データを管理するために実行できる共通コマンドを示します。
    コマンド説明
    mkdir

    Alluxioファイルシステムにディレクトリを作成します。

    cat

    Alluxio内のファイルのコンテンツをクエリします。

    ls

    指定したディレクトリに作成したすべてのファイルまたはサブディレクトリに関する情報をクエリします。ファイルとサブディレクトリに関する情報をクエリする場合は、絶対パスを指定する必要があります。

    mv

    ファイルまたはディレクトリをソースから宛先に移動します。

    copyFromLocal

    ローカルファイルをAlluxioの指定されたディレクトリにアップロードします。

    copyToLocal

    Alluxioの指定されたディレクトリに格納されているファイルをローカルディレクトリにダウンロードします。

    rm

    Alluxioの指定されたディレクトリからファイルを削除します。

    詳細については、Alluxioをご参照ください。

    mkdir

    Alluxioファイルシステムにディレクトリを作成します。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs mkdir <path1> [path2] ... [pathn]
      • Hadoopシェルコマンド:
        hadoop dfs -mkdir alluxio://<path1> [path2] ... [pathn]
    • 例:
      • Alluxioファイルシステムに /dir ディレクトリを作成します。
        alluxio fs mkdir /dir
        次の情報が返された場合、/dirディレクトリが作成されます。
        Successfully created directory /dir
      • /logs/dir ディレクトリに 
        alluxio fs mkdir /dir/logs
        次の情報が返された場合、/dir ディレクトリに /logs サブディレクトリが作成されます: 
        Successfully created directory /dir/logs
        サブディレクトリを作成します。

    ls

    指定したディレクトリに作成したすべてのファイルまたはサブディレクトリに関する情報をクエリします。ファイルとサブディレクトリに関する情報をクエリする場合は、絶対パスを指定する必要があります。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs ls <path>
      • Hadoopシェルコマンド:
        hadoop dfs -ls alluxio://<path>
    • 例:
      • hello.txt/tmp ディレクトリに格納されている 
        alluxio fs ls /tmp/hello.txt
        ls-1 ファイルに関する情報を表示します。
      • /dirディレクトリにある /logs サブディレクトリに関する情報を表示します。
        alluxio fs ls /dir/logs
        ls-2

    cat

    Alluxio内のファイルのコンテンツをクエリします。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs cat <path>
      • Hadoopシェルコマンド:
        hadoop dfs -cat alluxio://<path>
    • 例： hello.txt/tmp3 ディレクトリに格納されている 
      alluxio fs cat hello.txt
      次の図に示す情報は、hello.txt ファイルの内容です。cat-1
      ファイルに関する情報をクエリします。

    mv

    ファイルまたはディレクトリをソースから宛先に移動します。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs mv <path>
      • Hadoopシェルコマンド:
        hadoop dfs -mv alluxio://<path>
    • 例:
      • hello.txt ファイルを /tmp/ ディレクトリから /tmp3/logs/ ディレクトリに移動します。
        alluxio fs mv /tmp/hello.txt /tmp3/logs/hello.txt
        lsコマンドを実行して、ファイルの移動を確認できます。mv-1
      • test ディレクトリを /tmp/ ディレクトリから /dir/sub-dir/ ディレクトリに移動します。
        hadoop fs -mv /tmp/test /dir/sub-dir/
        lsコマンドを実行して、ディレクトリの移動を確認できます。mv-2

    copyFromLocal

    重要 Alluxioシェルコマンド copyFromLocal または Hadoop シェルコマンド put を実行して、ローカルファイルを Alluxio の指定されたディレクトリにアップロードできます。

    ローカルファイルをAlluxioの指定されたディレクトリにアップロードします。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs copyFromLocal <src> <remoteDst>
      • Hadoopシェルコマンド:
        hadoop dfs -put <src> alluxio://<remoteDst>
    • 例： ローカルファイル hello_world.txt を Alluxio の /dir/logs2 ディレクトリにアップロードします。
      alluxio fs copyFromLocal hello_world.txt /dir/logs2
      次の情報が返された場合、ファイルはアップロードされます。
      Copied file:///root/hello_world.txt to /dir/logs2

    copyToLocal

    重要 Alluxioシェルコマンド copyToLocal または Hadoop シェルコマンド get を実行して、Alluxio の指定されたディレクトリに格納されているファイルをローカルディレクトリにダウンロードできます。

    Alluxioの指定されたディレクトリに格納されているファイルをローカルディレクトリにダウンロードします。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs copyToLocal <src> <localDst>
      • Hadoopシェルコマンド:
        hadoop dfs -get <src> alluxio://<localDst>
    • 例： Alluxio の hello_world2.txt/dir/sub-dir/ ディレクトリに格納されている /emr
      alluxio fs copyToLocal /dir/sub-dir/hello_world2.txt /emr
      次の情報が返された場合、ファイルはダウンロードされています。
      Copied /dir/sub-dir/hello_world2.txt to file:///emr
      ファイルをローカルディレクトリ にダウンロードします。

    rm

    Alluxioの指定されたディレクトリからファイルを削除します。

    • 構文:
      • Alluxioシェルコマンド:
        alluxio fs rm <path>
      • Hadoopシェルコマンド:
        hadoop dfs -rm alluxio://<path>
    • 例： Alluxio の hello_world.txt/dir/logs2 ディレクトリから 
      alluxio fs rm /dir/logs2/hello_world.txt
      次の情報が返された場合、ファイルは削除されます: 
      /dir/logs2/hello_world.txt has been removed
      ファイルを削除します。