Topik ini menjelaskan cara membuat tabel E-MapReduce (EMR).
Informasi latar belakang
Setelah Anda membuat Legacy Data Development: resource komputasi EMR, platform secara otomatis membuat crawler metadata EMR di Data Map untuk mengumpulkan metadata kluster. Jika Anda masih tidak dapat memilih database EMR di halaman ini setelah membuat resource komputasi EMR, buka Data Map, temukan crawler metadata untuk kluster tersebut, lalu kumpulkan kembali metadatanya. Untuk informasi selengkapnya, lihat Kumpulkan metadata E-MapReduce.
Prosedur
-
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di wilayah target, klik pada panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Development.
-
Arahkan kursor ke ikon
dan klik .Atau, temukan alur kerja target, klik kanan EMR, lalu klik Create Table.
-
Pada kotak dialog Create Table, konfigurasikan parameter tabel, seperti instans engine dan path.
Untuk Engine Type, pilih EMR. Tentukan Database dan Name, lalu klik Create.
-
Klik Create untuk membuka editor tabel.
-
Pada bagian General, konfigurasikan parameter.
Parameter
Deskripsi
Level-1 Folder
Folder level-1 untuk tabel tersebut.
CatatanFolder level-1 dan level-2 mengorganisasi tabel di DataWorks agar lebih mudah dikelola.
Level-2 Folder
Folder level-2 untuk tabel tersebut.
Create Folder
Klik Create Folder untuk membuka halaman Folder Management. Di halaman ini, Anda dapat membuat folder level-1 dan level-2.
Refresh
Setelah membuat folder, klik Refresh.
Description
Deskripsi singkat tentang tabel baru.
-
Pada bagian Physical Model, konfigurasikan parameter.
Format penyimpanan yang didukung meliputi ORC, PARQUET, SEQUENCEFILE, AVRO, TEXTFILE, JSON, RCFile, dan Custom.
Parameter
Deskripsi
Layer
Pilih layer dan klasifikasi fisik dari daftar drop-down. Untuk membuat layer atau klasifikasi fisik baru, hubungi administrator ruang kerja Anda, klik Create Level, lalu tambahkan di halaman Level Management. Setelah membuatnya, klik Refresh.
Physical classification
Partition Type
Opsi yang tersedia adalah Partitioned Table dan Non-partitioned Table.
Table Type
Opsi yang tersedia adalah Internal Table dan External Table.
Select storage format
Pilih format penyimpanan untuk file dalam tabel sesuai kebutuhan bisnis Anda.
-
Pada bagian Schema, konfigurasikan parameter.
Parameter
Deskripsi
Create Field
Klik Create Field, konfigurasikan informasi field, lalu klik Save untuk menambahkan field baru.
Up
Menyesuaikan urutan field untuk tabel baru. Jika Anda mengubah urutan field pada tabel yang sudah ada, Anda harus menghapus tabel tersebut dan membuat tabel baru dengan nama yang sama. Operasi ini dilarang di lingkungan produksi.
Down
Field Name
Nama field. Hanya boleh berisi huruf, angka, dan garis bawah (_).
Field Type
Tipe data yang didukung: TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, CHAR, STRING, BINARY, DATETIME, DATE, TIMESTAMP, BOOLEAN, ARRAY, MAP, dan STRUCT.
Definition or Maximum Value Length
Jika tipe data yang dipilih memerlukan panjang tertentu, tentukan panjang tersebut di kotak teks.
Description
Deskripsi tentang field tersebut.
Primary Key
Menetapkan field sebagai primary key. Primary key merupakan konsep bisnis yang menjamin keunikan record. DataWorks tidak menerapkan batasan primary key.
Edit
Setelah field disimpan, klik Edit untuk mengubah konfigurasinya, lalu klik Save.
Delete
Menghapus field tersebut.
CatatanJika Anda menghapus field dari tabel yang sudah ada dan mengirimkan perubahan tersebut, Anda harus menghapus tabel saat ini dan membuat tabel baru dengan nama yang sama. Operasi ini dilarang di lingkungan produksi.
Add Partition
Jika Anda menetapkan Partition Type ke Partitioned Table di bagian Physical Model, Anda harus mengonfigurasi field partisi.
Anda dapat menambahkan partisi ke tabel saat ini. Jika Anda menambahkan partisi ke tabel yang sudah ada, Anda harus menghapus tabel tersebut dan membuat tabel baru dengan nama yang sama. Operasi ini dilarang di lingkungan produksi.
-
Di bilah alat, klik ikon
untuk mengirimkan tabel EMR ke lingkungan produksi.Jika Anda menggunakan ruang kerja dalam Standard Mode, Anda harus terlebih dahulu mengirimkan tabel ke lingkungan pengembangan, lalu ke lingkungan produksi.
CatatanSaat mengirimkan tabel, Anda harus memilih kelompok sumber daya penjadwalan. Jika Anda menggunakan kelompok sumber daya arsitektur tanpa server, DataWorks akan mengirimkan tugas pembuatan tabel ke engine dan mencetak log eksekusi. Anda dapat menggunakan log eksekusi tersebut untuk memecahkan masalah pengiriman. Jika tidak tersedia kelompok sumber daya arsitektur tanpa server, beli dan konfigurasikan terlebih dahulu. Untuk informasi selengkapnya, lihat Gunakan kelompok sumber daya arsitektur tanpa server.