专有网络VPC(Virtual Private Cloud)可以为您创建一个隔离的网络环境,支持自定义IP地址范围、划分网络、配置路由表和网关等。您可以将多个E-MapReduce集群创建在不同的VPC下,通过高速通道的配置使其可以互连。

背景信息

VPC的详细信息请参见专有网络产品简介。通过高速通道可以实现VPC与物理IDC机房互通,通过云企业网可以实现跨地域或跨用户的VPC内网互通。

创建专有网络集群

  • VPC:选择当前创建的E-MapReduce集群归属的VPC,如果还没创建可以进入VPC控制台进行创建,通常一个账号最多创建2个VPC网络,超过2个时需提交工单处理。
  • 交换机:E-MapReduce集群内的ECS实例通过交换机进行通信,如果还没创建可以进入VPC控制台,单击交换机页签进行创建。因为交换机有可用区的属性,所以创建交换机的可用区需要和在E-MapReduce创建集群时一致。
  • 安全组名称:集群所属的安全组,经典网络的安全组不能在VPC中使用,VPC的安全组只能在当前VPC中使用。安全组列表中只展示您在E-MapReduce产品中创建的安全组。如果需要新建安全组,直接输入安全组名称即可。

同账号不同VPC下的E-MapReduce互连示例

本示例将创建两个不同VPC下的E-MapReduce集群,并通过云企业网配置使其中一个集群可以访问另一个集群(Hive访问HBase)。
  1. 创建集群,详情请参见创建集群

    在E-MapReduce控制台上创建两个集群,Hive集群C1处于VPC1中,HBase集群C2处于VPC2中,两个集群都在杭州区域。

  2. 配置同帐号VPC互连。

    详细配置信息,请参见创建云企业网实例

  3. 使用SSH登录HBase集群,通过HBase Shell创建表。
    create 'testfromHbase','cf'
  4. 使用SSH登录Hive集群,然后进行以下配置。
    1. 修改hosts,增加如下信息。
      $zk_ip emr-cluster //$zk_ip为HBase集群的ZooKeeper节点IP。
    2. 通过Hive Shell访问HBase。
      set hbase.zookeeper.quorum=172.*.*.111,172.*.*.112,172.*.*.113;
      CREATE EXTERNAL TABLE IF NOT EXISTS testfromHive (rowkey STRING, pageviews Int, bytes STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,cf:c1,cf:c2') TBLPROPERTIES ('hbase.table.name' = 'testfromHbase');
      如果提示java.net.SocketTimeoutException异常信息,则您需要在HBase集群的安全组中新增安全组规则给Hive集群开放端口,示例如下。安全组规则列表