Gunakan Data Integrasi untuk mensinkronkan data ke tujuan -

Topik ini menjelaskan cara menggunakan Data Integrasi untuk mensinkronkan data dari sumber LogHub Simple Log Service ke berbagai tujuan yang didukung, seperti MaxCompute, Object Storage Service (OSS), Tablestore, sistem manajemen basis data relasional (RDBMS), dan DataHub. Dalam topik ini, sumber data MaxCompute digunakan sebagai contoh tujuan.

Prasyarat

Sumber data MaxCompute telah ditambahkan. Untuk informasi lebih lanjut, lihat Tambahkan Sumber Data MaxCompute.
Logstore sumber dan tabel MaxCompute tujuan telah disiapkan.

Informasi latar belakang

Anda dapat mensinkronkan data dari sumber LogHub ke tujuan dalam skenario berikut:

Mensinkronkan data dari sumber LogHub ke sumber data lain, seperti MaxCompute, lintas wilayah.
Mensinkronkan data dari sumber LogHub ke sumber data lain, seperti MaxCompute, lintas akun Alibaba Cloud.
Mensinkronkan data dari sumber LogHub ke sumber data lain, seperti MaxCompute, dalam akun Alibaba Cloud yang sama.
Mensinkronkan data dari sumber LogHub ke sumber data lain, seperti MaxCompute, antara Alibaba Cloud publik dan Alibaba Finance Cloud.

Jika Anda memiliki Akun A dan B di Alibaba Cloud, Anda dapat menggunakan Akun B untuk membuat tugas sinkronisasi di Data Integrasi. Kemudian, gunakan tugas tersebut untuk mensinkronkan data LogHub di Akun A ke sumber data MaxCompute di Akun B. Berikut adalah penjelasan rinci:

Gunakan ID AccessKey dan Rahasia AccessKey Akun A untuk menambahkan sumber data LogHub.
Dengan Akun B, Anda dapat mensinkronkan data di semua Proyek Layanan Log Sederhana yang dibuat dengan Akun A.
Gunakan ID AccessKey dan Rahasia AccessKey Pengguna RAM A1 di Akun A untuk menambahkan sumber data LogHub.
- Gunakan Akun A untuk melampirkan kebijakan sistem AliyunLogFullAccess dan AliyunLogReadOnlyAccess kepada Pengguna RAM A1 agar memberikan izin umum pada Layanan Log Sederhana kepada Pengguna RAM A1. Untuk informasi lebih lanjut, lihat Buat Pengguna RAM dan Otorisasi Pengguna RAM untuk Mengakses Layanan Log Sederhana.
  Catatan
  Setelah kebijakan sistem AliyunLogFullAccess dan AliyunLogReadOnlyAccess dilampirkan ke Pengguna RAM A1, Anda dapat menggunakan Pengguna RAM A1 untuk mengakses semua Proyek Layanan Log Sederhana yang dibuat dengan Akun A.
- Gunakan Akun A untuk memberikan izin kustom pada Layanan Log Sederhana kepada Pengguna RAM A1.
  Masuk ke RAM console menggunakan Akun A. Di panel navigasi sebelah kiri, pilih Permissions > Policies. Pada halaman Kebijakan, klik Create Policy.
  Untuk informasi lebih lanjut tentang RAM dan cara memberikan izin kustom pada Layanan Log Sederhana kepada pengguna RAM, lihat Ikhtisar RAM dan Ikhtisar.
  Jika kebijakan berikut dilampirkan ke Pengguna RAM A1, Anda dapat menggunakan Akun B untuk mensinkronkan hanya data project_name1 dan project_name2 yang dimiliki oleh Pengguna RAM A1 di Layanan Log Sederhana.
```
{
    "Version": "1",
    "Statement": [
        {
            "Action": [
                "log:Get*",
                "log:List*",
                "log:CreateConsumerGroup",
                "log:UpdateConsumerGroup",
                "log:DeleteConsumerGroup",
                "log:ListConsumerGroup",
                "log:ConsumerGroupUpdateCheckPoint",
                "log:ConsumerGroupHeartBeat",
                "log:GetConsumerGroupCheckPoint"
            ],
            "Resource": [
                "acs:log:*:*:project/project_name1",
                "acs:log:*:*:project/project_name1/*",
                "acs:log:*:*:project/project_name2",
                "acs:log:*:*:project/project_name2/*"
            ],
            "Effect": "Allow"
        }
    ]
}
```

Tambahkan sumber data LogHub

Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri halaman Integrasi Data, klik Data Source.
Pada halaman Data source, klik Add Data Source.
Dalam kotak dialog Add Data Source, klik LogHub.

Dalam kotak dialog Add LogHub Data Source, konfigurasikan parameter yang diperlukan.

Parameter	Deskripsi
Data Source Name	Nama sumber data. Nama tersebut hanya dapat berisi huruf, angka, dan garis bawah (_) dan harus dimulai dengan huruf.
Data Source Description	Deskripsi sumber data. Deskripsi tidak boleh melebihi 80 karakter.
LogHub Endpoint	URL yang digunakan untuk mengakses proyek Layanan Log Sederhana. URL tersebut harus dalam format `http://example.com`. example.com menunjukkan titik akhir proyek Layanan Log Sederhana. Untuk informasi lebih lanjut, lihat Titik Akhir.
Project	Nama proyek Layanan Log Sederhana.
AccessKey ID	ID AccessKey akun Alibaba Cloud yang Anda gunakan untuk terhubung ke proyek Layanan Log Sederhana. Anda dapat menyalin ID AccessKey di halaman AccessKey Pair.
AccessKey Secret	Rahasia AccessKey akun Alibaba Cloud yang Anda gunakan untuk terhubung ke proyek Layanan Log Sederhana.

Temukan grup sumber daya yang ingin digunakan dan klik Test Network Connectivity di kolom Status Koneksi (Lingkungan Produksi).
Jika tes konektivitas berhasil, klik Complete.

Buat tugas sinkronisasi batch

Pada halaman Data Source, klik ikon di sudut kiri atas dan pilih All Products > DataStudio.
Pada halaman DataStudio, gerakkan pointer di atas ikon dan pilih Create Workflow.
Dalam kotak dialog Create Workflow, konfigurasikan parameter Workflow Name dan Description, lalu klik Create.
Klik nama alur kerja yang dibuat di panel Alur Kerja Terjadwal, klik kanan Data Integration, dan pilih Create Node > Offline synchronization.
Dalam kotak dialog Create Node, konfigurasikan parameter Name dan pilih jalur dari daftar drop-down Path.
Klik Confirm untuk pergi ke tab konfigurasi tugas sinkronisasi batch.

Konfigurasikan tugas sinkronisasi menggunakan UI tanpa kode

Pada langkah Konfigurasi Koneksi Jaringan dan Grup Sumber Daya, pilih sumber dan tujuan yang ingin digunakan.

数据来源

Parameter	Deskripsi
Source	Pilih LogHub.
Data Source Name	Pilih sumber data LogHub yang telah Anda tambahkan.
Resource Group	Pilih grup sumber daya eksklusif untuk Integrasi Data yang ingin Anda gunakan.
Destination	Pilih MaxCompute.
Data Source Name	Pilih sumber data MaxCompute yang telah Anda tambahkan.

Uji konektivitas jaringan antara grup sumber daya eksklusif untuk Integrasi Data dan sumber serta tujuan. Jika tes konektivitas jaringan berhasil, klik Next.

Konfigurasikan informasi seperti Logstore sumber dan tabel tujuan.

Tabel berikut menjelaskan parameter untuk sumber.

Parameter	Deskripsi
Logstore	Nama Logstore dari mana Anda ingin membaca data.
Log start time	Waktu mulai konsumsi data. Parameter ini mendefinisikan batas kiri rentang waktu (tertutup kiri dan terbuka kanan) dalam format yyyyMMddHHmmss. Contoh: 20180111013000. Anda dapat menggunakan parameter ini bersama dengan parameter penjadwalan di DataWorks.
Log end time	Waktu akhir konsumsi data. Parameter ini mendefinisikan batas kanan rentang waktu (tertutup kiri dan terbuka kanan) dalam format yyyyMMddHHmmss. Contoh: 20180111013010. Anda dapat menggunakan parameter ini bersama dengan parameter penjadwalan di DataWorks.
Number of batches	Jumlah catatan data yang dibaca dalam satu waktu. Nilai default: 256.

Catatan

Anda dapat mengklik Pratinjau Data untuk melihat pratinjau data. Hanya sejumlah kecil catatan data LogHub yang ditampilkan. Catatan data yang ditampilkan mungkin berbeda dari data aktual yang akan disinkronkan karena waktu mulai dan waktu akhir yang Anda tentukan.

Pada bagian Pemetaan Bidang, konfigurasikan pemetaan antara bidang sumber dan bidang tujuan.
Pada bagian Channel Control, konfigurasikan parameter seperti Synchronization rate dan Policy for Dirty Data Records.
Di panel navigasi sebelah kanan tab konfigurasi tugas sinkronisasi, klik Properties. Pada tab Properti, konfigurasikan pengaturan seperti properti ulang otomatis, grup sumber daya untuk penjadwalan, dan tugas leluhur untuk tugas sinkronisasi.
Catatan
Saat mengonfigurasi tugas leluhur untuk tugas sinkronisasi, pilih Add Root Node.
Verifikasi bahwa konfigurasi sebelumnya benar, dan klik ikon di bilah alat atas.
Jalankan tugas sinkronisasi batch.
Anda dapat menggunakan salah satu metode berikut untuk menjalankan tugas sinkronisasi batch:
- Jalankan tugas hanya sekali.
  Klik ikon di bilah alat atas untuk menjalankan tugas di tab konfigurasi.
  Catatan
  Sebelum menjalankan tugas, Anda harus menentukan nilai untuk parameter kustom yang dikonfigurasikan untuk tugas tersebut.
- Aktifkan sistem penjadwalan untuk menjalankan tugas berdasarkan properti penjadwalan.
  1. Klik tab Properties di panel navigasi sebelah kanan tab konfigurasi tugas dan konfigurasikan properti waktu seperti siklus penjadwalan untuk tugas tersebut.
  2. Kemudian, klik ikon dan secara berurutan di bilah alat atas untuk mengirimkan tugas ke sistem penjadwalan. Sistem penjadwalan akan menjalankan tugas secara berkala mulai hari berikutnya berdasarkan properti yang dikonfigurasikan untuk tugas tersebut.

Konfigurasikan tugas sinkronisasi batch menggunakan editor kode

Pada tab konfigurasi tugas sinkronisasi batch, klik ikon Conversion script di bilah alat atas.
Dalam pesan Tips, klik OK untuk beralih ke editor kode.
Klik ikon Import Template di bilah alat atas.
Dalam kotak dialog Import Template, konfigurasikan parameter Jenis Sumber, Sumber Data, Jenis Tujuan, dan Sumber Data, lalu klik Confirmation untuk menerapkan template.

Ubah kode di editor kode sesuai dengan kebutuhan bisnis Anda. Contoh kode:

{
    "type": "job",
    "version": "1.0",
    "configuration": {
        "reader": {
            "plugin": "loghub",
            "parameter": {
                "datasource": "loghub_lzz",// Nama sumber data LogHub dari mana Anda ingin membaca data. Nama tersebut harus sama dengan nama sumber data yang telah Anda tambahkan.
                "logstore": "logstore-ut2",// Nama Logstore dari mana Anda ingin membaca data. Logstore adalah unit Layanan Log Sederhana untuk mengumpulkan, menyimpan, dan menanyakan data log.
                "beginDateTime": "${startTime}",// Waktu mulai konsumsi data. Parameter ini mendefinisikan batas kiri rentang waktu (tertutup kiri, terbuka kanan).
                "endDateTime": "${endTime}",// Waktu akhir konsumsi data. Parameter ini mendefinisikan batas kanan rentang waktu (tertutup kiri, terbuka kanan).
                "batchSize": 256,// Jumlah catatan data yang dibaca dalam satu waktu. Nilai default: 256.
                "splitPk": "",
                "column": [
                    "key1",
                    "key2",
                    "key3"
                ]
            }
        },
        "writer": {
            "plugin": "odps",
            "parameter": {
                "datasource": "odps_source",// Nama sumber data ke mana Anda ingin menulis data. Nama tersebut harus sama dengan nama sumber data yang telah Anda tambahkan.
                "table": "test",// Nama tabel ke mana Anda ingin menulis data.
                "truncate": true,
                "partition": "",// Informasi partisi di tabel tujuan.
                "column": [// Nama kolom ke mana Anda ingin menulis data.
                    "key1",
                    "key2",
                    "key3"
                ]
            }
        },
        "setting": {
            "speed": {
                "mbps": 8,// Laju transmisi maksimum. Unit: MB/s.
                "concurrent": 7// Jumlah maksimum thread paralel.
            }
        }
    }
}