任务管理页面集中展示通过 DLC 提交的分布式训练任务,支持创建、查看状态、克隆和停止等操作。
操作账号和权限要求
阿里云主账号:拥有所有操作权限,无需额外授权。
RAM 用户:需要添加为工作空间成员并配置角色权限,详情参见附录:角色及权限列表。
创建分布式训练任务
您可以在分布式训练(DLC)页签,创建DLC分布式训练任务,操作步骤如下。
管理分布式训练任务
分布式训练任务汇总了从DLC、Designer 中运行在 DLC 上的算法节点、DLC 命令行工具等入口提交的分布式训练任务。您可以参照下图管理任务。
DLC任务删除后无法恢复,请谨慎操作。
①:使用任务名称、任务 ID、时间区间、框架或状态快速定位目标任务。
②:单击任务名称,进入任务详情页面,查看任务执行状态、实例执行状态、资源视图及日志等。
③:将鼠标悬浮到 ③ 位置,快速查看任务执行状态。
④:您可以克隆一个新的任务,或单击操作列下的Tensorboard,为该任务创建 Tensorboard 实例,通过可视化界面查看训练结果。
通过关键词查询聚合日志
操作步骤
您可以在日志页签通过关键词搜索日志,操作步骤如下。
在左侧导航栏选择AI资产管理>任务,然后在分布式训练(DLC)页面单击任务名称。
单击日志页签,按以下步骤设置。
在任务信息上方选择日志采集时间范围。
说明日志采集时间可能晚于任务结束时间,请根据实际情况选择。
在实例列表区域勾选实例。
在右侧搜索框内输入关键词,搜索相关日志或事件。
基本查询规则
聚合日志关键词查询需要使用完整的词,但由于 DLC 使用的 SLS 日志服务采用分词法,精确查询时可能无法完全匹配关键词。
例如,关键词为abc def,查询结果将包含所有abc和def的日志,无法完全匹配完整的abc def。
模糊查询规则
聚合日志关键词查询支持使用星号(*)和半角问号(?)进行模糊查询,其余特殊符号无效。规则如下:
星号(*)代表多个任意字符的词,半角问号(?)代表单个字符的词。
星号(*)和半角问号(?)需要加在关键词的中间或者末尾,放在关键词的开头会被视为无效。
例如,关键词abc*代表查询以abc开头的词,关键词ab?d代表查询以ab开头、d结尾且中间包含单个字符的词。
模糊查询最多匹配 100 个搜索词。如果前缀过短且日志词汇量超过 100 个,结果可能不精准。关键词越精确,查询结果越准确。
分词符限制
DLC 使用的 SLS 日志服务将以下常见字符内置为分词符:, '";=()[\",\"]{}?@&<>/:\n\t\r
分词符用于将日志内容拆分为多个词。如果关键词仅由分词符组成,搜索结果为空。
示例一:关键词为&&&,无法成功查询到相关的日志,建议结合待查询的关键词的上下文重新构建关键词。
示例二:若需要查询包含 a&b 的日志,建议使用 a&b 作为关键词,而非单独的 &。关键词越详细,结果越精准。
关键词示例
查询需求 | 关键词示例 |
搜索包含Error的日志。 | Error |
搜索包含loss和acc的日志。 | loss acc |
模糊搜索关于所有涉及Traceback的日志。 | Traceback* |
搜索包含abc&def的日志。 | abc&def |