Migrasi Data JSON dari MongoDB ke MaxCompute - DataWorks

Topik ini menjelaskan cara menggunakan layanan Data Integration dari DataWorks untuk memigrasikan bidang berformat JSON dari MongoDB ke MaxCompute.

Prasyarat

Layanan MaxCompute dan DataWorks telah diaktifkan. Untuk informasi lebih lanjut, lihat Aktivasi MaxCompute dan DataWorks.
Sumber data MaxCompute telah ditambahkan. Untuk informasi lebih lanjut, lihat Tambahkan sumber data MaxCompute.
Sebuah alur kerja dibuat di ruang kerja Anda di konsol DataWorks. Dalam contoh ini, sebuah alur kerja dibuat di ruang kerja yang berada dalam mode dasar. Untuk informasi lebih lanjut, lihat Buat alur kerja.

Siapkan data uji di MongoDB

Siapkan akun.
Buat pengguna di database Anda untuk menyiapkan informasi guna membuat koneksi di DataWorks. Dalam contoh ini, jalankan perintah berikut:
```
db.createUser({user:"bookuser",pwd:"123456",roles:["user1"]})
```
Dalam contoh ini, seorang pengguna bernama bookuser dibuat dengan kata sandi 123456. Pengguna tersebut diberi peran yang memiliki izin akses data.
Siapkan data.
Unggah data ke database MongoDB.
Masuk ke database MongoDB di konsol Data Management (DMS). Dalam contoh ini, nama database adalah admin, dan nama koleksi adalah userlog. Anda dapat menjalankan perintah berikut untuk melihat data yang diunggah.
```
db.userlog.find().limit(10)
```

Migrasi Data JSON dari MongoDB ke MaxCompute Menggunakan DataWorks

Login Konsol DataWorks.
Buat tabel di DataWorks. Tabel ini digunakan untuk menyimpan data yang dimigrasi dari MongoDB.
1. Klik kanan Workflow yang telah dibuat, lalu pilih Create Table > Table.
2. Di halaman Create Table, pilih tipe mesin dan masukkan Name.
3. Di halaman pengeditan tabel, klik DDL Statement.
4. Di kotak dialog DDL Statement, masukkan pernyataan berikut dan klik Generate Table Schema:
  Penting
  Nama tabel yang Anda tentukan dalam pernyataan pembuatan tabel harus sama dengan nilai parameter Name yang Anda konfigurasikan di kotak dialog Create Table.
```
create table mqdata (mqdata string);
```
5. Klik Commit to Production Environment.
Tambahkan sumber data MongoDB. Untuk informasi lebih lanjut, lihat Tambahkan sumber data MongoDB.

Buat node sinkronisasi batch.

Buka halaman analitik data. Klik kanan alur kerja yang ditentukan dan pilih Create Node > Data Integration > Offline synchronization.
Di kotak dialog create a node, masukkan node name, dan klik submit.
Di bilah navigasi atas, pilih ikon .
Dalam mode skrip, klik ikon .
Di kotak dialog import Template, pilih SOURCE type, data source, target type, dan data source, lalu klik confirm.

Masukkan skrip berikut:

{
    "type": "job",
    "steps": [
    {
        "stepType": "mongodb",
        "parameter": {
            "datasource": "mongodb_userlog", // Nama sumber data. 
            "column": [
                {
                "name": "store.bicycle.color", // Jalur bidang berformat JSON. Dalam contoh ini, bidang warna diekstraksi. 
                "type": "document.String" // Untuk bidang selain bidang tingkat atas, tipe data dari bidang tersebut adalah tipe yang diperoleh pada akhirnya. Jika bidang berformat JSON yang ditentukan adalah bidang tingkat atas, seperti bidang expensive dalam contoh ini, masukkan string. 
                }
              ],
            "collectionName": "userlog" // Nama koleksi. 
            },
        "name": "Reader",
        "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
            "partition": "",
            "isCompress": false,
            "truncate": true,
            "datasource": "odps_source",// Nama sumber data MaxCompute.
            "column": [
            "mqdata" // Nama kolom dalam tabel MaxCompute. 
            ],
            "emptyAsNull": false,
            "table": "mqdata"
            },
            "name": "Writer",
            "category": "writer"
            }
            ],
            "version": "2.0",
            "order": {
            "hops": [
            {
            "from": "Reader",
            "to": "Writer"
            }
            ]
            },
            "setting": {
            "errorLimit": {
            "record": ""
            },
            "speed": {
            "concurrent": 2,
            "throttle": false,
            }
            }
        }

Klik ikon untuk menjalankan kode.
Anda dapat melihat hasilnya di operation Log.

Verifikasi hasil migrasi

Klik kanan alur kerja dan pilih new > MaxCompute > ODPS SQL.
Di kotak dialog create a node, masukkan node name, dan klik submit.
Di tab konfigurasi node ODPS SQL, masukkan pernyataan berikut:
```
SELECT * from mqdata;
```
Klik ikon untuk menjalankan kode.
Anda dapat melihat hasilnya di operation Log.