資料轉寄到DataHub

更新時間:
Copy as MD

通過物聯網平台雲產品流轉功能將裝置資料流轉到資料匯流排DataHub後,使用者可以編寫應用程式或者使用Realtime Compute引擎來處理寫入到資料匯流排DataHub的流式資料(例如再流轉至Realtime Compute、MaxCompute等服務中),產出各種即時的資料處理結果,例如即時圖表、警示資訊、即時統計等。本文介紹將資料流轉到資料目的地的完整流程。

工作原理

雲產品流轉將裝置的Topic訊息轉寄到DataHub Project中的Topic,使用DataHub服務進行清洗、分析、歸檔資料等操作。詳細內容,請參見資料匯流排DataHub

在上圖中:

  • 資料來源:支援的Topic類型訊息,請參見資料格式

  • SQL運算式:編寫SQL運算式來解析和處理裝置上報的JSON資料。SQL運算式的文法說明,請參見SQL運算式

    說明

    二進位格式的資料不做解析,直接透傳。

  • 資料目的:建立的DataHub Project及對應Topic,用於接收裝置資料。

應用情境

將物聯網平台資料寫入DataHub進行統一管理:

  • 可投遞到下遊的分析、歸檔等系統,構建清晰的資料流,讓您更好地釋放資料的價值。

  • 可結合Realtime Compute,把多種資料來源的異構資料即時清洗成統一的結構化資料,為進一步分析做準備。

  • 可搭建未經處理資料層、即時明細層和即時匯總層,打造即時資料倉庫。

詳細說明,請參見DataHub的應用情境

使用限制

  • 物聯網平台執行個體及所在地區支援將資料轉寄到DataHub。支援的地區詳細資料,請參見各地區功能說明

  • 目前,新版和舊版雲產品流轉功能均支援將資料流轉到DataHub。新版雲產品流轉使用樣本,請參見資料轉寄到DataHub(新版)

  • 雲網關產品和裝置,及MQTT型執行個體下產品和裝置,不支援使用雲產品流轉(舊版)功能。如果流轉對應產品和裝置的資料,需要使用雲產品流轉(新版)功能。具體內容,請參見雲產品流轉(新版)

  • 物聯網平台執行個體下裝置訊息轉寄的更多使用限制,請參見使用限制

前提條件

  • 已建立DataHub Project和用於接收資料的Topic。DataHub使用方法,請參見Project操作

    重要

    企業版執行個體中,DataHub Project所在地區必須與企業版執行個體所在地區一致。

  • 已建立資料轉寄規則和編寫處理資料的SQL,請參見設定資料流轉規則

配置資料轉寄目的

  1. 登入物聯網平台控制台

  2. 執行個體概覽頁簽的全部環境下,找到對應的執行個體,單擊執行個體卡片。

  3. 在左側導覽列,選擇訊息轉寄 > 雲產品流轉

  4. 單擊規則對應的查看,進入資料流轉規則頁面。

    重要

    若當前頁面為雲產品流轉新版頁面,需先單擊右上方返回舊版,再單擊目標規則對應的查看

  5. 單擊轉寄資料一欄對應的添加操作

  6. 添加操作對話方塊中,按照介面提示,設定參數,單擊確認

    image

    參數

    說明

    選擇操作

    選擇發送資料到DataHub

    地區

    選擇DataHub所在地區。

    Project

    選擇DataHub Project。

    您可以單擊建立Project,跳轉到DataHub控制台,建立DataHub Project,請參見Project操作

    Topic

    選擇接收資料的DataHub Topic。

    選擇Topic後,規則引擎會自動擷取Topic中的Schema,規則引擎篩選出來的資料將會映射到對應的Schema中。

    說明
    • 將資料對應到Schema時,需使用${},否則存入表中的將會是一個常量。

    • Schema與規則引擎的資料類型必須保持一致,否則無法儲存。

    您可以單擊建立Topic,跳轉到DataHub控制台,建立DataHub Topic。

    角色

    授權物聯網平台將資料寫入DataHub。

    如您還未建立相關角色,單擊建立RAM角色,跳轉到RAM控制台,建立角色和授權策略,請參見建立RAM角色

  7. 回到雲產品流轉頁,單擊規則對應的啟動按鈕啟動規則。

操作範例

通過巨量資料平台搭建裝置監控大屏

後續操作

  • 您可在物聯網平台控制台對應執行個體下監控營運 > Log Service頁面的雲端作業記錄頁簽,查看裝置到雲訊息雲產品流轉的作業記錄。具體操作,請參見雲端作業記錄

  • 您可登入DataHub服務控制台,查看寫入DataHub的資料。具體內容,請參見快速入門(同步樣本)

  • 您可將對應Topic中的資料即時/准即時的同步到第三方阿里雲產品中,打通阿里雲產品間的資料流通。目前支援MaxCompute(原ODPS)、AnalyticDBMySQL(ADS)、雲資料庫RDS、Table Store、Object Storage Service、Elasticsearch以及Function Compute服務等。詳細內容,請參見資料同步

相關文檔