HDFS 権限付与を有効にすると、必要な権限を持つユーザーのみが Hadoop 分散ファイルシステム (HDFS) にアクセスし、データの読み取りやディレクトリの作成などの操作を実行できるようになります。このトピックでは、Kerberos 以外の EMR クラスターで HDFS 権限付与を有効にする方法について説明します。
背景情報
HDFS は、次の 2 つのモードのいずれかを使用してユーザー ID を決定します:
シンプルモード:ユーザー ID は、HDFS に接続するクライアントのオペレーティングシステムによって決定されます。UNIX ライクなシステムでは、これは
whoamiコマンドの実行に相当します。Kerberos モード:ユーザー ID は、クライアントの Kerberos 認証情報によって決定されます。クラスターの作成時に Kerberos 認証を有効にします。詳細については、「概要」をご参照ください。
Kerberos モードでデプロイされたクラスターの場合、HDFS 権限は umask 027 で自動的に設定されます。追加の設定やサービスの再起動は必要ありません。
前提条件
開始する前に、以下を確認してください:
EMR クラスター (Kerberos 以外のモード)。詳細については、「クラスターの作成」をご参照ください。
HDFS 権限付与の有効化
[サービス] タブに移動します。
EMR コンソールにログインします。左側のナビゲーションウィンドウで、[EMR on ECS] をクリックします。
上部のナビゲーションバーで、クラスターが存在するリージョンとリソースグループを選択します。
[EMR on ECS] ページで対象のクラスターを見つけ、[操作] 列の [サービス] をクリックします。
[サービス] タブで HDFS サービスを見つけ、[設定] をクリックします。
[設定] タブで、次のパラメーターを設定します:
パラメーター 説明 デフォルト値 dfs.permissions.enabled権限チェックを有効にします。 trueに設定すると、HDFS へのアクセスが権限を持つユーザーのみに制限されます。falsedfs.datanode.data.dir.permDataNode のローカルストレージディレクトリの権限。 — fs.permissions.umask-modeファイルとディレクトリの作成時に適用される権限マスク。 — dfs.namenode.acls.enabledアクセス制御リスト (ACL) を有効にします。 trueに設定すると、標準の所有者/グループ/その他のモデルを超えて、個人ユーザー、グループ、その他の詳細な権限を管理できます。hadoop fs -lsを実行すると、権限文字列の末尾にある+は、そのパスに ACL が適用されていることを示します。falsedfs.permissions.superusergroupスーパーユーザーグループの名前。このグループのすべてのユーザーはスーパーユーザー権限を持ちます。 hadoop設定を保存します。
ページ下部の [保存] をクリックします。
ダイアログボックスで、[実行理由] フィールドに入力し、[保存] をクリックします。
HDFS サービスを再起動します。
HDFS サービスページの右上隅で、[その他] > [再起動] を選択します。
ダイアログボックスで、[実行理由] フィールドに入力し、[OK] をクリックします。
[確認] ダイアログボックスで、[OK] をクリックします。
再起動の進捗状況を監視するには、[サービス] タブの右上隅にある [操作履歴] をクリックします。
例:ACL 権限の設定と確認
HDFS 権限付与を有効にした後、次の例では、ディレクトリの ACL 権限を設定し、結果を確認する方法を示します。
SSH 経由でクラスターにログインします。詳細については、「クラスターへのログイン」をご参照ください。
emrtestユーザーに切り替えます:su emrtestディレクトリを作成します:
hadoop fs -mkdir /tmp/emrtestディレクトリの権限を表示します:
hadoop fs -ls /tmp出力は次のようになります:
drwxr-x--x - emrtest hadoop 0 2022-10-21 14:08 /tmp/emrtest drwxr-x--x - hadoop hadoop 0 2022-10-21 10:06 /tmp/hadoop-yarn drwx-wx-wx - hive hadoop 0 2022-10-21 10:13 /tmp/hive drwxr-x--x - hadoop hadoop 0 2022-10-21 10:23 /tmp/kyuubi-staging drwxrwxrwt - hadoop hadoop 0 2022-10-21 10:23 /tmp/logsユーザー
fooにディレクトリに対する読み取り、書き込み、実行 (rwx) 権限を付与します:hadoop fs -setfacl -m user:foo:rwx /tmp/emrtestACL が適用されていることを確認します:
hadoop fs -ls /tmp/権限文字列の後の
+は、/tmp/emrtestに ACL が設定されていることを示します:drwxrwx--x+ - emrtest hadoop 0 2022-10-21 14:08 /tmp/emrtest drwxr-x--x - hadoop hadoop 0 2022-10-21 10:06 /tmp/hadoop-yarn drwx-wx-wx - hive hadoop 0 2022-10-21 10:13 /tmp/hive drwxr-x--x - hadoop hadoop 0 2022-10-21 10:23 /tmp/kyuubi-staging drwxrwxrwt - hadoop hadoop 0 2022-10-21 10:23 /tmp/logs完全な ACL エントリを表示します:
hadoop fs -getfacl /tmp/emrtest出力は次のようになります:
# file: /tmp/emrtest # owner: emrtest # group: hadoop user::rwx user:foo:rwx group::r-x mask::rwx other::--xhadoop fs -getfacl [-R] <path>を使用して ACL を表示し、hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]を使用して変更します。