大数据开发治理平台 DataWorks：在PyODPS节点中调用第三方包

使用限制

• 在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组，详情请参见独享调度资源组。
• DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行资源的不同规格（包括公共调度资源组和独享调度资源组），处理的本地数据过多并超出操作系统阈值时可能发生OOM（Got killed）错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
• 如果您发现有Got killed报错，即表明内存使用超限，进程被中止。因此，请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务（除to_pandas外）不受此限制。
• 非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
• 由于兼容性原因，在DataWorks中，options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel，需要手动将该值设置为True。

依赖普通的Python脚本

1. 进入数据开发页面。

   登录DataWorks控制台，单击左侧导航栏的数据建模与开发 > 数据开发，在下拉框中选择对应工作空间后单击进入数据开发。

2. 创建Python资源。
   1. 在DataStudio（数据开发）页面，鼠标悬停至图标，单击新建资源 > Python。
      您也可以展开业务流程目录下的目标业务流程，右键单击MaxCompute，选择新建资源 > Python。
   2. 在新建资源对话框中，输入名称（示例为pyodps_packagetest.py）。
      重要 资源名称只能包含中文、字母、数字、点、下划线（_）、减号（-），且必须加后缀名.py。
   3. 单击新建。
   4. 在新建的Python资源中，输入需要引用的第三方包的代码，示例如下。

      # import os
      # print os.getcwd()
      # print os.path.abspath('.')
      # print os.path.abspath('..')
      # print os.path.abspath(os.curdir)
      
      def printname():
          print 'test2'
      print 123

   5. 单击工具栏中的图标。
3. 创建PyODPS 2节点。
   1. 展开业务流程目录下的目标业务流程，右键单击MaxCompute，选择新建节点 > PyODPS 2。
   2. 在新建节点对话框中，输入名称（示例为pyodps_testpackage）。
      说明 节点名称必须是大小写字母、中文、数字、下划线（_）和小数点（.），且不能超过128个字符。
   3. 单击确认。
4. 打开PyODPS 2节点的编辑页面，右键单击目标Python资源名称，选择引用资源。
   引用后，PyODPS 2节点中会自动写入引用语句##@resource_reference{"pyodps_packagetest.py"}。
5. 在PyODPS 2节点内输入引用第三方包的代码，示例如下。

   ##@resource_reference{"pyodps_packagetest.py"} #用于引用之前新建的Python资源，该语句必须添加。
   
   import sys
   import os
   sys.path.append(os.path.dirname(os.path.abspath('pyodps_packagetest.py'))) #引入资源至工作空间。
   import pyodps_packagetest #引用资源，资源名需要删除后缀.py。
   pyodps_packagetest.printname() #调用方法。

6. 单击工具栏中的图标，在页面下方的运行日志区域查看结果。
   

依赖开源的三方包