このトピックでは、Hadoop Distributed File System (HDFS) から、Object Storage Service (OSS) にデータを格納する JindoFileSystem (JindoFS) にデータを移行する方法について説明します。
データの移行
Hadoop FS シェルコマンドの使用
ファイルシステム (FS) シェルコマンドを実行して、少量のデータを移行できます。
hadoop dfs -cp hdfs://emr-cluster/README.md jfs://emr-jfs/hadoop dfs -cp oss://oss_bucket/README.md jfs://emr-jfs/
Hadoop DistCp の使用
Hadoop の組み込みツールである DistCp を使用して、大量のデータを移行できます。
hadoop distcp hdfs://emr-cluster/files jfs://emr-jfs/output/hadoop distcp oss://oss_bucket/files jfs://emr-jfs/output/
説明 DistCp パラメーターの詳細については、DistCp Version2 Guide をご参照ください。
キャッシュモードの使用
キャッシュモードでは、JindoFS はメタデータとデータを変更せずに、データファイルを OSS のオブジェクトとして格納します。これらの OSS オブジェクトにアクセスすると、JindoFS はこれらの OSS オブジェクトのデータとメタデータをローカルクラスターにキャッシュできるため、次回アクセスするときにすばやくアクセスできます。詳細については、キャッシュモードの使用 をご参照ください。