1. 存取控制
1.1 認證
支援的使用者身份包括阿里雲帳號、RAM使用者、RAM角色,同時支援AccessKey和AccessKey Secret認證、多因素認證MFA(Multi-Factor Authentication)以及STS模式授權(Security Token Service)許可權委託機制。
什麼是存取控制:什麼是存取控制
存取金鑰管理(AccessKey):存取金鑰管理(AccessKey)
RAM角色概覽:RAM角色概覽
什麼是STS:什麼是STS
1.2 授權
DataHub已經接入RAM(存取控制),支援資源(project / topic / 訂閱)層級授權,通過RAM授權,使用者可以精準控制每個帳號的可以訪問的資源以及對資源的操作,實現最小化許可權管理。
資源 | RAM中的資源描述 |
Project | acs:dhs:$region:$accountid:projects/$projectName |
Topic | acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName |
Subscription | acs:dhs:$region:$accountid:projects/$projectName/topics/$topicName/subscriptions/$subId |
DataHub支援的安全限制 Condition
Condition | 功能 | 合法取值 |
acs:SourceIp | 指定ip網段 | 普通ip, 支援*通配 |
acs:SecureTransport | 是否是https協議 | true/false |
acs:MFAPresent | 是否多裝置認證 | true/false |
acs:CurrentTime | 指定訪問時間 | ISO8601格式 |
權限原則管理:許可權管理原則
許可權控制:許可權控制
1.3 IP 白名單
支援通過RAM限制訪問的源端IP和源端VpcId,並且支援限制AK的源端IP和VpcId。
暫不支援ipv6。
權限原則基本元素:權限原則基本元素
AccessKey網路訪問限制策略:AccessKey網路訪問限制策略
2. 資料完整性、保密性、可用性
2.1 資料轉送加密
DataHub支援公網和VPC兩種網域名稱,VPC網路採用阿里雲專用網路隧道,通過用戶端SDK、Open API等方式串連DataHub時強制要求使用HTTPS TLS v1.2加密協議,防止資料在傳輸過程中被明文截取和篡改。
DataHub網域名稱列表:DataHub網域名稱列表
2.2 資料存放區完整性和保密性
DataHub 採用Distributed File System,自動為儲存的資料建立多個副本(預設為三副本)。這些副本會被分布在不同的物理機器和機架上,以防止單點故障導致的資料丟失,確保資料的持久性和完整性。
DataHub將資料存放區在飛天Distributed File System中,系統提供一個扁平的線性儲存空間,並對線性地址進行切片,一個分區稱為一個Chunk。每一個Chunk會複製出三個副本,並將這些副本按照一定的策略存放在叢集中的不同節點上,以防止由於一個Chunk Server或一個機架的故障導致的資料不可用。使用者新增、修改、刪除資料的操作均會同步到三個副本中,以保障使用者資料的完整性和一致性。對於使用者刪除資料釋放的儲存空間,檔案系統會進行回收,禁止其他使用者訪問,並進行資料擦除,以確保使用者已刪除資料的不可還原性。
3. 可營運可觀測
3.1 支援的觀測指標
控制台上可以查看 讀寫的QPS、RPS、throughout,throughout(Uncompressed),Latency、Fails多項指標,並且有歷史流量趨勢。
所有指標資料均接入CloudMonitor,通過CloudMonitorAPI可以直接擷取指標。
名稱 | 指標描述 |
readMetric | 資料消費每秒請求數 (單位:count) |
資料消費壓縮後輸送量(單位:KB) | |
資料消費原始輸送量(單位:KB) | |
資料消費失敗數(單位:count) | |
資料消費每秒資料量(單位:count) | |
資料消費請求延遲(單位:us) | |
writeMetric | 資料寫入每秒請求數 (單位:count) |
資料寫入壓縮後輸送量(單位:KB) | |
資料寫入原始輸送量(單位:KB) | |
資料寫入失敗數(單位:count) | |
資料寫入每秒資料量(單位:count) | |
資料寫入請求延遲(單位:us) | |
訂閱消費 | 消費堆積量(單位:count) |
消費延遲(單位:seconds) | |
訂閱延遲(單位:seconds) |
3.2 支援的警示類型
所有接入CloudMonitor的指標,都可以在CloudMonitor配置相關警示項。例如:throughput超過指定閾值警示。除此之外,還可以配置消費延遲和消費堆積量閾值警示。
CloudMonitor警示:CloudMonitor警示
3.3 審計日誌
已對接阿里雲審計日誌 Action Trail。