Migrate self-built Hadoop data to Alibaba Cloud EMR

ベストプラクティスの概要

アプリケーションシナリオ

お客様が IDC またはパブリッククラウド環境で独自の Hadoop クラスタを構築し、データはデータ分析タスクのために HDFS ファイルシステムに集中保存されています。ただし、自社構築の HDFS の容量制限により、長期データを保存できない場合や、Hadoop クラスタをクラウドに移行する必要がある場合があります。本実践プランでは、以下のシナリオに対するベストプラクティスを紹介します。

IPSec VPN トンネル + DistCp (Hadoop ネイティブツール) を使用してデータを Alibaba Cloud EMR クラスタに移行します。移行先のストレージには HDFS、Alibaba Cloud OSS、および Alibaba Cloud EMR の Jindo が含まれます。

技術アーキテクチャ

本実践プランは、下図に示す技術アーキテクチャおよび主なプロセスに基づいています。

ソリューションの利点

・セキュリティ
IPSec VPN / 専用回線による安全なデータ送信。
・低コスト
Alibaba Cloud 上で Hadoop タイプの EMR クラスタを作成する方が、自社構築の Hadoop クラスタと比較してコスト面で有利です。同時に、Alibaba Cloud EMR では OSS を基盤ストレージとして使用することで、さらにコストを削減できます。

本記事を進める前に、以下の事前準備を完了する必要があります。

・Alibaba Cloud の実名認証アカウントを保有していること。
・ICP 登録済みのドメイン名を保有していること。
・アカウント残高が 100 人民元以上であること。
・ECS、OSS、EMR、VPN Gateway などのサービスを有効化していること。

リソースプランニングの説明
本ソリューションで実践するリソースプランニングは、実践デモ専用であり、実際のビジネスシナリオのリソースはユーザーの実際の要件に従います。
本実践ソリューションでは、Alibaba Cloud リソースの有効化と購入が含まれます。本記事の後続の例では、サービス有効化に関する操作は個別に記載されていないため、ユーザー自身で完了してください。
本実践プランの利用中に、全体フローおよび実際の操作にかかる時間は以下の通りです (ドキュメント読了時間は含まれません)。ユーザーの参考としてください。

1. 自社 Hadoop クラスタ環境の構築
本実践プランでは、上海 VPC 環境を使用して顧客の IDC ネットワークをシミュレートし、主に以下のコンポーネントをインストールします。

(1) FlexGW VPN を ECS にインストールし、顧客の IDC ネットワーク内の VPN Gateway をシミュレートする。
(2) Apache ログシミュレーターを ECS にインストールし、Apache 形式のログ情報を生成する。
(3) Kafka を ECS にインストールし、Flume から送信されたログを集中保存する。
(4) 3 ノードの Hadoop クラスタを ECS 上にインストールする。HDFS を使用してログデータ情報を集中保存する。

1.1. VPC ネットワークの作成
ステップ 1 VPC コンソールにログインします。
ステップ 2 [VPC を作成] をクリックします。
image.png
ステップ 3 [VPC を作成] ページで、次の表を参照して VPC およびスイッチのパラメータを設定し、[OK] をクリックします。

ステップ 4 VPC とスイッチが正常に作成されたら、[完了] をクリックします。

1.2. ECS インスタンスの一括作成
ECS インスタンスの作成
ステップ 1 上海リージョンの ECS コンソールにログインします。
ステップ 2 右上の [インスタンスの作成] をクリックします。
ステップ 3 カスタム購入モードで、関連パラメータを設定します。
次の表を参照して、基礎設定の関連項目を設定します。
設定が完了したら、[次へ: ネットワークとセキュリティグループ] をクリックします。
[履歴価格を表示] をクリックします。プリエンプティブルインスタンスの履歴価格チャートで、現在のゾーン F の市場価格が 0.034 であることを確認できます。そのため、単一インスタンスの上限価格を 0.04 に設定します。これは現在の市場価格より若干高めです。

ステップ 4 [ネットワークとセキュリティグループ] ページで、次の表を参照して関連パラメータを設定します。

設定が完了したら、[次へ: システム設定] をクリックします。

ステップ 5 システム設定ページで、次の表を参照して関連パラメータを設定します。

設定が完了したら、[注文の確認] をクリックします。

ステップ 6 注文確認ページで、パラメータ情報を確認します。内容が正しいことを確認し、「クラウドサーバ ECS の利用規約」と「ミラープロダクトの利用規約」を読み、同意の上チェックを入れ、[インスタンスの作成] をクリックします。

ステップ 7 タスクが正常に送信されたら、[管理コンソール] をクリックして ECS インスタンス一覧ページに移動し、詳細を確認します。コンソールでの ECS の用途を識別しやすくするため、まず次の図のようにインスタンス名を変更します。

ステップ 8 Kafka キューと FlexGW VPN の 2 つのインスタンスを停止し、システムディスクをクラウドマーケットプレイスのイメージと交換して、基本環境のデプロイ時間を短縮します。

ステップ 9 まず FlexGW VPN Gateway インスタンスのシステムディスクを交換します。

インスタンスの操作列で [詳細] > [ディスクとイメージ] > [OS の交換] をクリックします。

右下の [OK] をクリックして、システムディスクの交換を実行します。

イメージマーケットプレイスを選択し、[イメージマーケットプレイスから選択 (オペレーティングシステムを含む)] をクリックします。

検索ボックスに flexgw と入力し、FlexGW IPsec VPN Server Enterprise Edition を見つけて [使用] をクリックします。

カスタムパスワードを選択し、ログインパスワードを設定します。

ステップ 10 ステップ 9 を参照して、Kafka キューインスタンスのシステムディスクを交換し、次のイメージを選択します。

(オプション) セキュリティグループの設定

インスタンスが属するセキュリティグループで、ポート 22、80、443 が開放されていることを確認します。未開放のポートがある場合は、以下の手順に従って開放します。
ステップ 1 ECS コンソールで、FlexGW VPN Gateway インスタンスの操作列の [管理] をクリックします。
ステップ 2 左側のナビゲーションバーで、本インスタンスのセキュリティグループをクリックします。

ステップ 3 該当するセキュリティグループの操作列で [ルールの設定] をクリックします。

ステップ 4 インバウンドタブで、[ルールのクイック作成] をクリックします。

ステップ 5 [ルールのクイック作成] ダイアログボックスで、次の図に従って関連パラメータを設定し、[OK] をクリックします。