DataWorks:Praktik terbaik RestAPI Reader

Praktik 1: Membaca data dari API yang mengkueri data dalam rentang waktu

Skenario contoh: Definisi API

Persiapan: Buat tabel partisi MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2
(
  `axis`  STRING
  ,`value` BIGINT
  ,`createTime` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Konfigurasi tugas sinkronisasi

1. Tambahkan sumber data RestAPI.

   Tambahkan sumber data RestAPI di ruang kerja DataWorks Anda. Untuk informasi selengkapnya, lihat Tambahkan sumber data RestAPI. Di dialog Add RestAPI Data Source, tentukan Data Source Name dan Data Source Description, pilih Applicable Environment (development atau production), dan konfigurasikan Default Request Header (nilai default: {}). Konfigurasi utama adalah sebagai berikut.

   • url: Atur ke alamat RESTful API.

   • Authentication Method: Pilih metode autentikasi yang didukung oleh API sumber data Anda dan konfigurasikan parameter autentikasi yang diperlukan.

   • Resource group connectivity: Sumber data RestAPI hanya mendukung grup sumber daya eksklusif untuk Data Integration. Pilih grup sumber daya eksklusif untuk Data Integration dan uji konektivitas antara sumber data dan grup sumber daya.

2. Buat node sinkronisasi batch dan konfigurasikan tugas sinkronisasi.

   Buat node sinkronisasi batch di DataWorks DataStudio. Untuk informasi selengkapnya, lihat Buat node sinkronisasi batch. Konfigurasi utama adalah sebagai berikut.

   • Data Source konfigurasi:

     • Data Source: Pilih sumber data RestAPI yang dibuat pada langkah sebelumnya.

     • Request Method: API contoh adalah API GET. Pilih GET.

     • Return Data Structure: Respons API contoh adalah array JSON. Pilih Array Data.

     • The JSON path for data storage: Data yang dikembalikan oleh API contoh disimpan di bawah field data. Atur ke data.

     • Request Param: Gunakan parameter permintaan bersama dengan parameter penjadwalan untuk menyinkronkan data hari ini setiap hari.

       • Atur parameter permintaan ke startTime=${extract_day} ${start_time}&endTime=${extract_day} ${end_time}

       • Di pengaturan jadwal, tambahkan tiga parameter penjadwalan: extract_day=${yyyy-mm-dd}, start_time=00:00:00, dan end_time=23:59:59.

       Jika tanggal eksekusi adalah 2023-01-05, nilai extract_day adalah 2023-01-04, dan parameter permintaan digabungkan menjadi: startTime=2023-01-04 00:00:00&endTime=2023-01-04 23:59:59.

   • Data Destination konfigurasi:

     • Data Source dan Table: Pilih tabel partisi MaxCompute yang dibuat pada langkah sebelumnya.

     • Partition Information: Gunakan informasi partisi bersama dengan parameter penjadwalan.

       • Atur informasi partisi ke ${bizdate}.

       • Di pengaturan jadwal, tambahkan satu parameter penjadwalan: bizdate=$bizdate.

       Jika tanggal eksekusi adalah 2023-01-05, nilai informasi partisi adalah 20230104.

   • Field Mapping konfigurasi: Berdasarkan definisi data di API, masukkan nama kolom dari respons RestAPI. Nama kolom bersifat case-sensitive. Setelah Anda menambahkan kolom, gunakan The same name mapping atau gambar garis secara manual untuk membuat pemetaan kolom.

Jalankan pengujian

Verifikasi data

select * from ods_xiaobo_rest2 where ds='20230104' order by createtime;

Kirim, terapkan, dan isi ulang data

Praktik 2: Membaca data dari RestAPI terpaginasi

Skenario contoh: Definisi API

Persiapan: Buat tabel partisi MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest1
(
  `id` BIGINT
  ,`name` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Konfigurasi tugas sinkronisasi

1. Tambahkan sumber data RestAPI.

   Tambahkan sumber data RestAPI di ruang kerja DataWorks Anda. Untuk informasi selengkapnya, lihat Tambahkan sumber data RestAPI. Di dialog Add RestAPI Data Source, tentukan Data Source Name dan Data Source Description, pilih Applicable Environment (development atau production), dan konfigurasikan Default Request Header (nilai default: {}). Konfigurasi utama adalah sebagai berikut.

   • url: Atur ke alamat RESTful API.

   • Authentication Method: Pilih metode autentikasi yang didukung oleh API sumber data Anda dan konfigurasikan parameter autentikasi yang diperlukan.

   • Resource group connectivity: Sumber data RestAPI hanya mendukung grup sumber daya eksklusif untuk Data Integration. Pilih grup sumber daya eksklusif untuk Data Integration dan uji konektivitas antara sumber data dan grup sumber daya.

2. Buat node sinkronisasi batch dan konfigurasikan tugas sinkronisasi.

   Buat node sinkronisasi batch di DataWorks Data Studio. Untuk informasi selengkapnya, lihat Buat node sinkronisasi batch. Konfigurasi utama adalah sebagai berikut.

   • Data Source konfigurasi:

     • Data Source: Pilih sumber data RestAPI yang dibuat pada langkah sebelumnya.

     • Request Method: API contoh adalah API GET. Pilih GET.

     • Return Data Structure: Respons API contoh adalah array JSON. Pilih Array Data.

     • The JSON path for data storage: Data yang dikembalikan oleh API contoh disimpan di bawah field data. Atur ke data.

     • Request Param: Ukuran halaman bersifat tetap. Atur ke pageSize=50. Disarankan agar Anda tidak mengatur ukuran halaman yang terlalu besar karena dapat memberikan tekanan berlebihan pada server RestAPI dan tugas sinkronisasi.

     • The number of requests: Pilih Multiple Requests untuk contoh ini.

       Parameter paginasi untuk API ini adalah pageNum. Setelah Anda memilih Multiple Requests, konfigurasikan parameter terkait sebagai berikut:

       • Parameter used for multiple requests: Atur ke pageNum.

       • StartIndex: Atur ke 1.

       • Step: Atur ke 1.

       • EndIndex: Atur ke 100.

   • Data Destination konfigurasi:

     • Data Source dan Table: Pilih tabel partisi MaxCompute yang dibuat pada langkah sebelumnya.

     • Partition Information: Gunakan informasi partisi bersama dengan parameter penjadwalan.

       • Atur informasi partisi ke ${bizdate}.

       • Di pengaturan jadwal, tambahkan satu parameter penjadwalan: bizdate=$bizdate.

       Jika tanggal eksekusi adalah 2023-01-05, nilai informasi partisi adalah 20230104.

   • Field Mapping konfigurasi: Berdasarkan definisi data di API, masukkan nama kolom dari respons RestAPI. Nama kolom bersifat case-sensitive. Setelah Anda menambahkan kolom, gunakan The same name mapping atau gambar garis secara manual untuk membuat pemetaan kolom.

Jalankan pengujian

Verifikasi data

select * from ods_xiaobo_rest1 where ds='20230104' order by id;

Praktik 3: Membaca data dari RestAPI tipe POST

Skenario contoh: Definisi API

Persiapan: Buat tabel partisi MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest3
(
  `user_id` BIGINT
  ,`name` STRING
  ,`axis`  STRING
  ,`value` BIGINT
  ,`create_time` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Konfigurasi tugas sinkronisasi

1. Tambahkan sumber data RestAPI.

   Tambahkan sumber data RestAPI di ruang kerja DataWorks Anda. Untuk informasi selengkapnya, lihat Tambahkan sumber data RestAPI. Di dialog Add RestAPI Data Source, tentukan Data Source Name dan Data Source Description, pilih Applicable Environment (development atau production), dan konfigurasikan Default Request Header (nilai default: {}). Konfigurasi utama adalah sebagai berikut.

   • url: Atur ke alamat RESTful API.

   • Authentication Method: Pilih metode autentikasi yang didukung oleh API sumber data Anda dan konfigurasikan parameter autentikasi yang diperlukan.

   • Resource group connectivity: Sumber data RestAPI hanya mendukung grup sumber daya eksklusif untuk Data Integration. Pilih grup sumber daya eksklusif untuk Data Integration dan uji konektivitas antara sumber data dan grup sumber daya.

2. Buat node sinkronisasi batch dan konfigurasikan tugas sinkronisasi.

   Buat node sinkronisasi batch di DataWorks Data Studio. Untuk informasi selengkapnya, lihat Buat node sinkronisasi batch. Konfigurasi utama adalah sebagai berikut.

   • Data Source konfigurasi:

     • Data Source: Pilih sumber data RestAPI yang dibuat pada langkah sebelumnya.

     • Request Method: API contoh adalah API POST. Pilih POST.

     • Return Data Structure: Respons API contoh adalah array JSON. Pilih Array Data.

     • The JSON path for data storage: Data yang dikembalikan oleh API contoh disimpan di bawah field data. Atur ke data.

     • Header: API POST dalam contoh ini menerima badan permintaan JSON. Atur ke {"Content-Type":"application/json"}.

     • Request Param: Gunakan parameter permintaan bersama dengan parameter penjadwalan untuk menyinkronkan data hari ini setiap hari.

       • Atur parameter permintaan ke

         {
         
             "userId":16,
         
             "startTime":"${extract_day} 00:00:00",
         
             "endTime":"${extract_day} 23:59:59"
         
         }

       • Di pengaturan jadwal, tambahkan satu parameter penjadwalan: extract_day=${yyyy-mm-dd}.

   • Data Destination konfigurasi:

     • Data Source dan Table: Pilih tabel partisi MaxCompute yang dibuat pada langkah sebelumnya.

     • Partition Information: Gunakan informasi partisi bersama dengan parameter penjadwalan.

       • Atur informasi partisi ke ${bizdate}.

       • Di pengaturan jadwal, tambahkan satu parameter penjadwalan: bizdate=$bizdate.

       Jika tanggal eksekusi adalah 2023-01-05, nilai informasi partisi adalah 20230104.

   • Field Mapping konfigurasi: Berdasarkan definisi data di API, masukkan nama kolom dari respons RestAPI. Anda dapat menggunakan titik (.) untuk memisahkan kolom bersarang. Nama kolom bersifat case-sensitive. Setelah Anda menambahkan kolom, gunakan The same name mapping atau gambar garis secara manual untuk membuat pemetaan kolom.

Jalankan pengujian

Verifikasi data

select * from ods_xiaobo_rest3 where ds='20230105' order by create_time;

Praktik 4: Mengulangi parameter permintaan untuk membaca dari RestAPI

Skenario contoh: Definisi API

Dalam praktik ini, Anda membaca data secara iteratif dari RESTful API dan menulisnya ke tabel partisi MaxCompute. RESTful API contoh adalah API GET uji coba buatan sendiri yang mengembalikan data suhu berdasarkan parameter input tanggal, provinsi, dan kota.

Saat melakukan operasi sebenarnya, sesuaikan konfigurasi berdasarkan API yang Anda gunakan. API dalam contoh ini hanya digunakan sebagai demonstrasi untuk memandu Anda melalui alur kerja.

• Permintaan contoh:

  http://TestAPIAddress:Port/rest/test5?date=2023-01-04&province=zhejiang&city=hangzhou

• Respons contoh:

  {
    "province": "P1",
    "city": "hz",
    "date": "2023-01-04",
    "minTemperature": "-14",
    "maxTemperature": "-7",
    "unit": "℃",
    "weather": "cool"
  }

• Pemanggilan API contoh dalam tool pengujian: Kirim permintaan GET di tool pengujian API seperti Postman. Masukkan parameter date=2023-01-04, province=p1, dan city=hz. API mengembalikan respons JSON yang berisi informasi minTemperature (-14), maxTemperature (-7), unit (℃), dan weather (COOL) yang sesuai.

Persiapan: Buat tabel parameter dan tabel partisi MaxCompute

Dalam praktik ini, data yang dibaca dari API disinkronkan ke tabel partisi MaxCompute. Anda harus terlebih dahulu membuat tabel parameter untuk menyimpan nilai provinsi dan kota untuk iterasi, lalu membuat tabel partisi untuk menyimpan data yang disinkronkan.

Ketika tabel partisi digunakan dengan perintah overwrite, efek overwrite partisi tercapai. Hal ini memungkinkan tugas sinkronisasi dijalankan ulang tanpa duplikasi data, serta mempermudah analisis data menggunakan tabel partisi.

Pernyataan CREATE TABLE adalah sebagai berikut:

CREATE TABLE IF NOT EXISTS `citys`
(
  `province` STRING ,
  `city` STRING
);

insert into citys
select 'shanghai','shanghai'
union all select 'zhejiang','hangzhou'
union all select 'sichuan','chengdu';

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest5
(
    `minTemperature` STRING ,
    `maxTemperature` STRING ,
    `unit` STRING ,
    `weather` STRING 
)
PARTITIONED BY 
(
    `province` STRING ,
    `city` STRING ,
    `ds`  STRING
)
LIFECYCLE 3650;

Jika Anda menggunakan DataWorks Edisi Standar dan mengirimkan tabel yang dibuat ke lingkungan produksi, Anda dapat melihat tabel tersebut di Peta Data.

Konfigurasi tugas sinkronisasi

1. Tambahkan sumber data RestAPI.

   Tambahkan sumber data RestAPI di ruang kerja DataWorks Anda. Untuk informasi selengkapnya, lihat Menambahkan sumber data RestAPI. Pada dialog Add RestAPI Data Source, tentukan Data Source Name dan Data Source Description, pilih Applicable Environment (pengembangan atau produksi), serta konfigurasikan Default Request Header (nilai default: {}). Konfigurasi utamanya adalah sebagai berikut:

   • url: Atur ke alamat RESTful API.

   • Authentication Method: Pilih metode autentikasi yang didukung oleh API sumber data Anda dan konfigurasikan parameter autentikasi yang diperlukan.

   • Resource group connectivity: Pilih grup sumber daya yang ditentukan dan uji konektivitasnya.

2. Buat node assignment bernama setval_citys di DataStudio. Untuk informasi selengkapnya, lihat Buat node assignment.

   Konfigurasi utama adalah sebagai berikut:

   No.	Description
   ①	Assignment language: ODPS SQL Assignment code: SELECT province ,city FROM citys;
   ②	Properti Rerun: Atur ke You can run again after successful or failed operation..

   Setelah konfigurasi selesai, kirim dan terapkan node assignment tersebut.

3. Buat node for-each di DataStudio. Untuk informasi selengkapnya, lihat Buat node for-each. Konfigurasi utama adalah sebagai berikut:

   No.	Description
   ①	Rerun property: Atur ke You can run again after successful or failed operation..
   ②	Upstream node dependency: Pilih node dari langkah sebelumnya, yaitu node setval_citys.
   ③	Node context parameter: Pilih sumber parameter input.
   ④	Batch synchronization node: Konfigurasikan node sinkronisasi batch di dalam node for-each. Untuk detailnya, lihat langkah-langkah berikut.

4. Buat node sinkronisasi batch dan konfigurasikan tugas sinkronisasi. Untuk informasi selengkapnya, lihat Buat node sinkronisasi batch.

   Konfigurasi utama adalah sebagai berikut:

   No.	Description
   ①	Konfigurasikan parameter penjadwalan sebagai berikut: bizdate=$[yyyymmdd-1] bizdate_year=$[yyyy-1] bizdate_month=$[mm-1] bizdate_day=$[dd-1]
   ②	Konfigurasikan parameter permintaan RestAPI. Parameter province dan city berasal dari node for-each. date=${bizdate_year}-${bizdate_month}-${bizdate_day}&province=${dag.foreach.current[0]}&city=${dag.foreach.current[1]}
   ③	Konfigurasikan parameter partisi MaxCompute. Parameter province berasal dari node for-each. province=${dag.foreach.current[0]}
   ④	Konfigurasikan parameter partisi MaxCompute. Parameter city berasal dari node for-each. city=${dag.foreach.current[1]}
   ⑤	Konfigurasikan parameter partisi MaxCompute. Parameter ds berasal dari parameter penjadwalan. ds=${bizdate}
   ⑥	Berdasarkan definisi data di API, masukkan nama kolom dari respons RestAPI. Nama kolom bersifat case-sensitive. Setelah Anda menambahkan kolom, gunakan The same name mapping atau gambar garis secara manual untuk membuat pemetaan kolom.

   Setelah konfigurasi selesai, kirim dan terapkan node for-each tersebut.

Jalankan pengujian

1. Setelah Anda berhasil mengirim dan menerapkan node assignment dan node for-each, buka tugas terjadwal di Pusat Operasi dan lakukan operasi isi ulang data pada node assignment. Untuk informasi selengkapnya, lihat Isi ulang data.

2. Pilih tanggal bisnis untuk tugas isi ulang data dan node hilir berdasarkan skenario aktual Anda.

3. Setelah tugas berjalan, periksa parameter eksekusi di detail instans isi ulang data untuk memverifikasi apakah sesuai harapan, dan periksa log waktu proses untuk kebenarannya.

   Dalam contoh ini, data ditulis ke partisi province=shanghai,city=shanghai,ds=20231215 dari tabel MaxCompute.

Verifikasi data

Anda dapat menjalankan kueri ad hoc di Data Studio untuk memverifikasi apakah data telah disinkronkan dengan benar ke MaxCompute. Berikut adalah contoh kueri:

Dalam contoh ini, ods_xiaobo_rest5 adalah tabel partisi MaxCompute yang dibuat pada langkah Persiapan.

SELECT  weather
        ,mintemperature
        ,maxtemperature
        ,unit
        ,province
        ,city
        ,ds
FROM    ods_xiaobo_rest5
WHERE   ds != 1
ORDER BY ds,province,city;

Setelah kueri selesai, periksa apakah data telah disinkronkan dengan benar ke MaxCompute.