MaxCompute：Migrasi data dari MaxCompute ke OSS

Prosedur

1. Aktifkan layanan

   1. Aktifkan MaxCompute

   2. Aktifkan DataWorks

2. Buat tabel di DataWorks

   1. Login ke Konsol DataWorks dan pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, klik Workspace.

   3. Pada halaman Workspaces, temukan workspace target dan pada kolom Actions, pilih Shortcuts > DataStudio.

   4. Pada halaman DataStudio, buat node MaxCompute SQL. Gunakan pernyataan berikut untuk membuat tabel bernama transs.

      CREATE TABLE transs
      (name    STRING,
      id    STRING,
      gender    STRING);

3. Impor data ke tabel transs

   1. Simpan data sampel berikut ke komputer Anda sebagai file CSV.

      qwe,145,F
      asd,256,F
      xzc,345,M
      rgth,234,F
      ert,456,F
      dfg,12,M
      tyj,4,M
      bfg,245,M
      nrtjeryj,15,F
      rwh,2344,M
      trh,387,F
      srjeyj,67,M
      saerh,567,M

   2. Pada panel navigasi kiri, pilih Data Integration > Data Upload and Download.

   3. Klik Go to Data Upload and Download.

   4. Pada panel navigasi kiri, klik ikon upload lalu klik Upload Data.

4. Buat file di OSS

   1. Login ke Konsol Object Storage Service (OSS).

   2. Pada panel navigasi kiri, klik Buckets.

   3. Pada halaman Buckets, klik Create Bucket.

   4. Buat file bernama qwee.csv di komputer Anda dan unggah ke OSS. Untuk informasi selengkapnya, lihat Upload objects. Pastikan nama bidang dalam file qwee.csv sesuai dengan nama bidang di tabel transs.

5. Tambahkan sumber data MaxCompute di DataWorks

   1. Login ke Konsol DataWorks dan pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, klik Workspace.

   3. Pada halaman Workspaces, klik nama workspace target.

   4. Pada halaman Workspace Details, klik Data Sources pada panel navigasi kiri.

   5. Pada tab Data Source, klik Add Data Source, lalu pilih MaxCompute.

   6. Pada halaman Add MaxCompute Data Source, konfigurasikan Basic Information.

      Untuk informasi selengkapnya, lihat Configure a MaxCompute data source.

6. Tambahkan sumber data OSS di DataWorks

   Untuk informasi selengkapnya, lihat Configure an OSS data source.

7. Konfigurasikan reader MaxCompute (ODPS) dan writer OSS

   1. Login ke Konsol DataWorks dan pilih Wilayah di pojok kiri atas.

   2. Pada panel navigasi kiri, pilih Data Development and O&M > Data Development.

   3. Pada bagian Select Workspace, klik Go To DataStudio.

   4. Pada panel kiri DataStudio, klik ikon lalu pilih Create Node > Data Integration > Batch Synchronization.

      • Untuk Data source, pilih OSS.

      • Untuk Data destination, pilih MaxCompute (ODPS).

   5. Pada halaman konfigurasi node, konfigurasikan parameter-parameter berikut.

      • Data Source > Source: Pilih sumber data OSS yang baru ditambahkan.

      • Data Source-Destination: Pilih sumber data MaxCompute tujuan.

      • Untuk Data Source - Text Type: Pilih CSV.

      • Data Source > File Path: Jalur file input.

      • Destination-Table: Tabel MaxCompute tujuan.

      • Runtime Resource: Pilih kelompok sumber daya khusus.

      • Biarkan nilai default untuk parameter lainnya.

      Anda juga dapat mengklik ikon di atas bagian konfigurasi untuk beralih ke editor kode dan mengonfigurasi node menggunakan skrip. Kode berikut merupakan contoh:

      {
          "order":{
              "hops":[
                  {
                      "from":"Reader",
                      "to":"Writer"
                  }
              ]
          },
          "setting":{
              "errorLimit":{
                  "record":"0"
              },
              "speed":{
                  "concurrent":1,
                  "dmu":1,
                  "throttle":false
              }
          },
          "steps":[
              {
                  "category":"reader",
                  "name":"Reader",
                  "parameter":{
                      "column":[
                          "name",
                          "id",
                          "gender"
                      ],
                      "datasource":"odps_first",
                      "partition":[],
                      "table":"Transs"
                  },
                  "stepType":"odps"
              },
              {
                  "category":"writer",
                  "name":"Writer",
                  "parameter":{
                      "datasource":"Trans",
                      "dateFormat":"yyyy-MM-dd HH:mm:ss",
                      "encoding":"UTF-8",
                      "fieldDelimiter":",",
                      "fileFormat":"csv",
                      "nullFormat":"null",
                      "object":"qwee.csv",
                      "writeMode":"truncate"
                  },
                  "stepType":"oss"
              }
          ],
          "type":"job",
          "version":"2.0"
      }                           

   6. Klik Run.

8. Lihat data yang telah disinkronkan di Konsol OSS. Untuk informasi selengkapnya, lihat Download objects.