資料轉寄到DataHub
通過物聯網平台雲產品流轉功能將裝置資料流轉到資料匯流排DataHub後,使用者可以編寫應用程式或者使用Realtime Compute引擎來處理寫入到資料匯流排DataHub的流式資料(例如再流轉至Realtime Compute、MaxCompute等服務中),產出各種即時的資料處理結果,例如即時圖表、警示資訊、即時統計等。本文介紹將資料流轉到資料目的地的完整流程。
工作原理
雲產品流轉將裝置的Topic訊息轉寄到DataHub Project中的Topic,使用DataHub服務進行清洗、分析、歸檔資料等操作。詳細內容,請參見資料匯流排DataHub。
在上圖中:
應用情境
將物聯網平台資料寫入DataHub進行統一管理:
可投遞到下遊的分析、歸檔等系統,構建清晰的資料流,讓您更好地釋放資料的價值。
可結合Realtime Compute,把多種資料來源的異構資料即時清洗成統一的結構化資料,為進一步分析做準備。
可搭建未經處理資料層、即時明細層和即時匯總層,打造即時資料倉庫。
詳細說明,請參見DataHub的應用情境。
使用限制
-
物聯網平台執行個體及所在地區支援將資料轉寄到DataHub。支援的地區詳細資料,請參見各地區功能說明。
-
目前,新版和舊版雲產品流轉功能均支援將資料流轉到DataHub。新版雲產品流轉使用樣本,請參見資料轉寄到DataHub(新版)。
-
雲網關產品和裝置,及MQTT型執行個體下產品和裝置,不支援使用雲產品流轉(舊版)功能。如果流轉對應產品和裝置的資料,需要使用雲產品流轉(新版)功能。具體內容,請參見雲產品流轉(新版)。
-
物聯網平台執行個體下裝置訊息轉寄的更多使用限制,請參見使用限制。
前提條件
配置資料轉寄目的
登入物聯網平台控制台。
在執行個體概覽頁簽的全部環境下,找到對應的執行個體,單擊執行個體卡片。
在左側導覽列,選擇。
單擊規則對應的查看,進入資料流轉規則頁面。
重要若當前頁面為雲產品流轉新版頁面,需先單擊右上方返回舊版,再單擊目標規則對應的查看。
單擊轉寄資料一欄對應的添加操作。
-
在添加操作對話方塊中,按照介面提示,設定參數,單擊確認。

參數
說明
選擇操作
選擇發送資料到DataHub中。
地區
選擇DataHub所在地區。
Project
選擇DataHub Project。
您可以單擊建立Project,跳轉到DataHub控制台,建立DataHub Project,請參見Project操作。
Topic
選擇接收資料的DataHub Topic。
選擇Topic後,規則引擎會自動擷取Topic中的Schema,規則引擎篩選出來的資料將會映射到對應的Schema中。
說明-
將資料對應到Schema時,需使用
${},否則存入表中的將會是一個常量。 -
Schema與規則引擎的資料類型必須保持一致,否則無法儲存。
您可以單擊建立Topic,跳轉到DataHub控制台,建立DataHub Topic。
角色
授權物聯網平台將資料寫入DataHub。
如您還未建立相關角色,單擊建立RAM角色,跳轉到RAM控制台,建立角色和授權策略,請參見建立RAM角色。
-
回到雲產品流轉頁,單擊規則對應的啟動按鈕啟動規則。
操作範例
後續操作
您可在物聯網平台控制台對應執行個體下頁面的雲端作業記錄頁簽,查看裝置到雲訊息及雲產品流轉的作業記錄。具體操作,請參見雲端作業記錄。
您可登入DataHub服務控制台,查看寫入DataHub的資料。具體內容,請參見快速入門(同步樣本)。
您可將對應Topic中的資料
即時/准即時的同步到第三方阿里雲產品中,打通阿里雲產品間的資料流通。目前支援MaxCompute(原ODPS)、AnalyticDBMySQL(ADS)、雲資料庫RDS、Table Store、Object Storage Service、Elasticsearch以及Function Compute服務等。詳細內容,請參見資料同步。
相關文檔
裝置接入物聯網平台上報資料的操作指導,請參見裝置接入引導。
您可在執行個體詳情頁面,查看訊息轉寄TPS可用資源,確保裝置訊息能正常轉寄到DataHub中。具體操作,請參見查看執行個體資訊和運行資料。如果可用資源不足,可進行升配。具體內容,請參見升配。
使用DataHub的常見問題,請參見DataHub常見問題歸類。