Topik ini menjelaskan cara melakukan kueri data di layanan OSS-HDFS menggunakan Trino dalam kluster EMR.
Prasyarat
-
Anda memiliki kluster EMR versi EMR-3.42.0 atau yang lebih baru, atau EMR-5.8.0 atau yang lebih baru, dengan layanan Trino yang telah dipilih. Untuk informasi selengkapnya, lihat Buat kluster.
-
Anda telah mengaktifkan layanan OSS-HDFS dan memberikan otorisasi akses. Untuk informasi selengkapnya, lihat Aktifkan layanan OSS-HDFS.
Prosedur
-
Masuk ke konsol E-MapReduce. Di panel navigasi sebelah kiri, klik EMR on ECS dan buat kluster EMR.
Saat membuat kluster EMR, pastikan bahwa Product Version adalah EMR-3.46.2 atau yang lebih baru, atau EMR-5.12.2 atau yang lebih baru, dan Root Storage Directory of Cluster diatur ke bucket yang telah diaktifkan OSS-HDFS. Gunakan nilai default untuk parameter lainnya. Untuk detail selengkapnya, lihat Buat kluster.
-
Lakukan kueri data di layanan OSS-HDFS.
-
Koneksikan ke Trino menggunakan command-line interface (CLI).
Di konsol EMR on ECS, buka Services > Trino > tab Configure untuk mendapatkan <Trino_server_address> dan <Trino_server_port>.
trino --server <Trino_server_address>:<Trino_server_port> --catalog hive -
Buat skema untuk OSS.
create schema testDB with (location='oss://{yourBucketName}.{yourBucketEndpoint}/{schema_dir}'); -
Gunakan skema tersebut.
use testDB; -
Buat tabel.
create table tbl (key int, val int); -
Masukkan data ke dalam tabel.
insert into tbl values (1,666); -
Lakukan kueri data di tabel.
select * from tbl;
-