通道服務(Tunnel Service)是基於Tablestore資料介面上的全增量一體化服務。通道服務提供了增量、全量、增量加全量三種類型的分布式資料即時消費通道。通過為資料表建立資料通道,您可以簡單地實現對錶中歷史存量和新增資料的消費處理。

背景資訊

Tablestore適合中繼資料管理、時序資料監控、訊息系統等服務應用,這些應用通常利用增量資料流或者先全量後增量的資料流來觸發一些附加的操作邏輯,支援的附加操作如下:
  • 資料同步:將資料同步到緩衝、搜尋引擎或者資料倉儲中。
  • 事件驅動:觸發Function Compute、通知消費端消費或者調用一些API。
  • 流式資料處理:對接流式或者流批一體計算引擎。
  • 資料搬遷:資料備份到OSS、遷移到容量型的Tablestore執行個體等。

功能特性

通道服務提供了全增量一體的資料通道、增量資料變化保序、消費延遲監控和資料消費能力水平擴充功能。詳細說明請參見下表。

说明 通道服務支援表寫入在10萬每秒的量級下,從資料被更新到擷取資料更新記錄,延遲在毫秒級,並能按照更新順序返回。
功能特性描述
全增量一體的資料通道通道服務不僅提供增量資料消費能力,還提供了可並行的全量資料消費以及全量加增量資料消費功能。
增量資料變化保序通道服務為資料劃分一到多個可並行消費的邏輯分區,每個邏輯分區的增量資料按寫入時間順序保序,不同邏輯分區的資料可以並行消費。
消費延遲監控通道服務通過DescribeTunnel API提供了用戶端消費資料延遲(即當前消費到的資料的時間點)資訊,並在控制台提供了通道資料消費監控。
資料消費能力水平擴充道服務提供了邏輯分區的自動負載平衡功能,負載平衡增加了消費端數量,從而提高水平擴充資料消費速度。

注意事項

在建立全量加增量類型的Tunnel時,由於Tunnel的增量日誌最多會保留7天(具體的值和資料表的Stream的日誌到期時間一致),全量資料如果在7天內沒有消費完成,則此Tunnel進入增量階段會出現OTSTunnelExpired錯誤,導致增量資料無法消費。如果您預估全量資料無法在7天內消費完成,請及時聯絡Tablestore支援人員進行諮詢。

使用方式

您可以通過控制台、命令列工具或者SDK使用通道服務。

計費

當前通道服務本身沒有額外的費用開銷。在消費通道服務資料時,根據實際拉取的資料產生讀輸送量。更多資訊,請參見計費概述