阿里雲為了滿足大資料情境下的儲存的需求,在雲上推出了本地碟的機型:D1系列。這個系列提供了本地碟而非雲端硬碟作為儲存。解決了之前使用雲端硬碟的多份冗餘資料導致的成本高問題,同時資料的傳輸不再需要全部通過網路,從而提高了磁碟的吞吐能力。同時還能發揮 Hadoop 的就近計算的優勢。

相比於使用雲端硬碟的方式,極大的提高了儲存的效能,並降低了儲存的單價,達到和線下物理機幾乎相同的成本。

本地碟機型在提供了大量的優勢的情況下,也帶來了一個問題:資料可靠性。對於雲端硬碟來說,由於有阿里雲預設的磁碟多備份策略,所以使用者可以說完全感知不到磁碟的損壞,由雲端硬碟自動保證資料可靠,當使用了本地碟以後這個就需要由上層的軟體來保證。同時如果有磁碟與節點的故障情況,也需要進行人工的營運處理。

EMR + D1 方案

EMR 產品針對本地碟機型,如 D1,推出了一整套的自動化營運方案,協助阿里雲使用者方便可靠的使用本地碟機型,不需要關心整個營運的過程的同時,做到資料高可靠,服務高可用。

主要的一些點如:

  • 強制節點的高可靠分布
  • 本地碟與節點的故障監控
  • 資料移轉時機自動決策
  • 自動的故障節點遷移與資料平衡
  • 自動的HDFS資料檢測
  • 網路拓撲調優
EMR通過整個背景管控系統的自動化營運,協助使用者更好的使用本地碟機型,實現高性價比的大資料系統。
说明 如需使用 D1 機型搭建 Hadoop 叢集,請工單聯絡我們協助操作。