数据集是一种由数据所组成的集合,这些数据通常具有相似的特征或支撑目标。通过管理数据集您可以更新和删除从不同数据源添加的数据。本文介绍如何通过AI运维控制台管理数据集。

前提条件

  • 已安装配置AI运维控制台组件。具体操作,请参见安装云原生AI套件
  • 已获取AI运维控制台管理员账号和密码。

基于现有PVC创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表
  3. 单击待加速数据集名称右侧操作列下的一键加速
    说明 在没有创建其他数据类型的情况下, 数据集列表页面会默认展示当前集群的所有PVC。
  4. 编辑数据集对话框中:
    • 输入加速数据集名称,选择所属Namespace
    • 数据源类型选中PVC,选择数据源,输入子目录名
    • 配置runtime配置,runtime的name需与数据集的相同才能绑定成功。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: AlluxioRuntime
      metadata:
        name: fluid-imagenet
      spec:
        replicas: 4
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: "0.99"
              low: "0.8"
  5. 单击执行后,数据的状态刚开始为NotReady,过几秒后状态会变为Ready

基于OSS创建加速数据集

步骤一:创建Secret

由于OSS的部分配置是敏感数据,需要通过加密方式传递。您需要提前创建Secret,具体YAML模板如下:
apiVersion: v1
kind: Secret
metadata:
  name: imagenet-oss-xxx
  namespace: default
type: kubernetes.io/basic-auth
stringData:
  username: <ACCESS_ID>
  password: <ACCESS_KEY>

执行以下命令创建Secret。

kubectl create -f oss_access_secret.yaml

步骤二:基于OSS创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表
  3. 单击添加
  4. 创建数据集对话框中:
    1. 输入数据集名称,选择所属Namespace
    2. 数据源类型选中OSS,相关参数的输入说明请参见下表。
      AI-6
      参数 示例 说明
      名称 oss-imagenet 可以自定义。
      Namespace default 使用创建Secret操作中创建的namespace,请参见创建Secret
      数据源 oss://my-dawnbench-v2/ 无。
      子目录名 mydawnbench-v2 可以自定义。
      endpoint oss-xxx.aliyuncs.com 无。
      accessKeyId
      • secret:imagenet-oss-xxx
      • secretKey:username
      • secret使用创建Secret操作中创建的name,请参见创建Secret
      • secretkey使用创建Secret操作中创建的username,请参见创建Secret
      accessKeySecret
      • secret:imagenet-oss-xxx
      • secretKey:password
      • secret使用创建Secret操作中创建的name,请参见创建Secret
      • secretkey使用创建Secret操作中创建的password,请参见创建Secret
    3. 为了控制数据集创建在待访问的节点上,执行以下命令添加节点亲和性。
      aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
    4. 设置runtime配置,runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: JindoRuntime
      metadata:
        name: oss-imagenet
      spec:
        replicas: 2
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: '0.99'
              low: '0.8'
  5. 单击保存后,数据的状态刚开始为NotReady,过几秒后状态会变为Ready

基于其他外部存储创建加速数据集

  1. 用管理员账号登录AI运维控制台。
  2. 在AI运维控制台左侧导航栏中,选择数据集 > 数据集列表
  3. 单击创建
  4. 创建数据集对话框中:
    • 输入数据集名称,选择所属Namespace
    • 数据源类型选中其他,输入数据源子目录名
    • 配置runtime配置,runtime的name需与创建数据集名称保持一致。

      runtime配置的模板样例如下:

      apiVersion: data.fluid.io/v1alpha1
      kind: AlluxioRuntime
      metadata:
        name: fluid-imagenet
      spec:
        replicas: 4
        data:
          replicas: 1
        tieredstore:
          levels:
            - mediumtype: SSD
              path: /var/lib/docker/alluxio
              quota: 150Gi
              high: "0.99"
              low: "0.8"
  5. 单击执行后,数据的状态刚开始为NotReady,等待几秒后状态会变为Ready

删除数据集

注意 暂不支持在用户界面删除未加速的数据集,请联系主账号(即阿里云账号)管理员在阿里云控制台删除。
  1. 用管理员账号登录AI-Dashboard控制台。
  2. 单击待删除数据集名称右侧操作列下的删除