cara mengonfigurasi node remote command ECS - Data Management

Saat alur tugas DMS Anda perlu menjalankan skrip kustom—seperti pekerjaan pemrosesan data Python, program Hadoop, atau generator laporan email—langsung pada instans Elastic Compute Service (ECS), tambahkan node ECS remote commands. Node ini menggunakan Cloud Assistant untuk mengeksekusi skrip shell, PowerShell, atau batch tanpa memerlukan akses SSH dan dapat meneruskan output JSON ke node berikutnya sebagai variabel.

Skenario

Pemrosesan data menggunakan alat lanjutan, termasuk pustaka NumPy dan scikit-learn untuk Python serta pustaka MLlib dari Apache Spark. Model yang dihasilkan setelah pemrosesan data dapat diterapkan pada fitur pengurutan presisi dan rekomendasi sistem pencarian.
Mengonsumsi data. Misalnya, Anda dapat menghasilkan skrip Excel saat membaca data atau membuat skrip untuk mengirim email secara otomatis berisi data yang telah dibaca.
Memanggil program Hadoop MapReduce atau Apache Spark buatan sendiri.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Memiliki instans ECS. Lihat Buat instans di tab Custom Launch.
Menambahkan tag pada instans ECS dengan kunci dms dan nilai script-for-dms. Lihat Ubah tag instans.
Agen Asisten Cloud yang diinstal pada instance ECS. Lihat Menginstal Agen Asisten Cloud.
Catatan
Instans ECS yang dibuat dari gambar publik setelah 1 Desember 2017 telah memiliki Agen Cloud Assistant yang dipra-instal.
Diberikan izin ecs:InvokeCommand kepada Pengguna RAM Anda. Untuk memberikan izin ini:
1. Buat kebijakan RAM kustom menggunakan JSON berikut. Lihat Buat kebijakan kustom. Pernyataan kebijakan adalah sebagai berikut:
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ecs:InvokeCommand"
      ],
      "Resource": [
        "*"
      ],
      "Condition": {}
    }
  ]
}
```
2. Lampirkan kebijakan tersebut ke Pengguna RAM Anda. Lihat Berikan izin kepada Pengguna RAM.

Tambahkan dan konfigurasi node

Masuk ke DMS 5.0.
Di bilah navigasi atas, pilih DTS > Data Development > Task Orchestration.
Catatan
Jika Konsol dalam mode simple, klik ikon menu di pojok kiri atas, pilih All functions, lalu di panel navigasi pilih DTS > Data Development > Task Orchestration.
Klik nama alur tugas yang ingin Anda edit.
Catatan
Untuk membuat alur tugas terlebih dahulu, lihat Ikhtisar.
Di daftar Task Type di sisi kiri kanvas, seret tipe node ECS remote commands ke area kosong pada kanvas.
Klik dua kali node ECS remote commands pada kanvas untuk membuka halaman konfigurasinya.

Atur parameter berikut.

Catatan

Daftar dropdown ECS Instance ID hanya menampilkan instans yang ditandai dengan kunci dms dan nilai script-for-dms. Jika instans Anda tidak muncul dalam daftar, pastikan kunci dan nilai tag pada instans telah diatur dengan benar.

Kategori	Parameter	Wajib	Deskripsi
Konfigurasi dasar	Region	Ya	Wilayah tempat instans ECS Anda berada.
	ECS Instance ID	Ya	Instans ECS tempat perintah akan dijalankan. Pilih dari dropdown. Anda dapat memilih beberapa instans, tetapi semuanya harus menjalankan sistem operasi yang sama.
	Command Type	Ya	Jenis skrip: Shell (Linux) untuk instans Linux, Bat (Windows) atau PowerShell (Windows) untuk instans Windows.
	Timeout	Ya	Lama waktu, dalam detik, sebelum perintah mengalami timeout.
	Working Directory	Ya	Direktori pada instans ECS tempat perintah dijalankan. Jika dibiarkan kosong, default-nya adalah `/root` untuk Linux dan `C:\Windows\System32` untuk Windows.
Pengaturan lanjutan	User	Ya	Akun pengguna OS tempat perintah dijalankan. Jika Anda menentukan pengguna non-root atau non-system, pastikan pengguna tersebut telah diberikan izin yang diperlukan terlebih dahulu. Lihat Jalankan perintah Cloud Assistant sebagai pengguna biasa.
Pengaturan lanjutan	Password Name for Windows	Ya	Password untuk akun pengguna pada instans Windows. Lihat Jalankan perintah Cloud Assistant sebagai pengguna biasa.
Pengaturan perintah	Command Settings	Ya	Perintah yang akan dijalankan pada instans ECS. Contohnya: `python /home/admin/hello.py`.

Opsi: Konfigurasi variabel output agar node berikutnya dapat mereferensikan hasil dari node ini.
1. Klik tab Variable Setting di panel navigasi kanan.
2. Klik tab Output Variables.
3. Klik Increase Variable.
4. Di bidang Variable Name, masukkan nama untuk variabel tersebut. Lihat Variabel untuk aturan penamaan.
Catatan
Untuk setiap instans ECS yang dipilih, jika baris terakhir dari output perintah berupa JSON yang valid, kuncinya akan tersedia sebagai variabel output. Misalnya, jika instans A menghasilkan output {"a":"hello"} dan instans B menghasilkan output {"b":"world"}, maka kedua kunci a dan b tersedia sebagai variabel output di node berikutnya.
Klik Try Run di bilah alat atas untuk menguji node.
- Jika baris terakhir log menampilkan SUCCEEDED, artinya node berhasil dijalankan.
- Jika baris terakhir menampilkan FAILED, klik Log di bilah alat atas untuk melihat output lengkapnya. Identifikasi kesalahan, perbarui konfigurasi, lalu jalankan kembali node tersebut.