Trends, Status Quo and Challenges of the Internet of Things Industry
インフラストラクチャの進化がアプリケーション形態の継続的な変革を促進する
過去 40 年間の技術発展を 5 つの重要な段階に区分することができます。タイムラインで見ると、1980 - 2000 年、2000 - 2005 年、2005 - 2010 年、2010 - 2020 年、2020 - 2025 年の 5 段階です。今回の記者発表会は、第 5 段階の技術発展に関連しています。過去から未来を見据え、技術発展の歴史を振り返り、最初の 4 段階でどのような技術発展があったのか、技術応用の主なシナリオは何か、主流のアプリケーション形態は何か、どのような新しい技術やプロダクトが生まれたのかを見ていきましょう。
1980 年から 2000 年は、コンピュータ技術の発展と応用の段階でした。コンピュータは企業のデータ管理とプロセス効率の向上を支援し、この段階のアプリケーションは主に企業情報システムでした。この段階で、企業向けサービスに特化した多くのテクノロジー企業が誕生し、数々の優れた商用プロダクトが生まれました。アプリケーションシステムのデータは主にデータベースに保存され、データベースはリレーショナルデータベースが中心でした。
2000 年から 2005 年は、インターネット技術の初期発展段階でした。インターネットを通じて情報をより効率的に伝達できるようになり、この時期に大量のポータルサイトが誕生しました。いわゆる Web 1.0 時代です。LAMP (Linux + Apache + MySQL + PHP) は当時最も人気のウェブサイト構築技術で、完全にオープンソースプロダクトで構成された低コストソリューションでした。アプリケーションシステムのデータストレージは依然としてリレーショナルデータベースが中心でしたが、MySQL はオープンソースで低コストという優位性により、商用リレーショナルデータベースに取って代わり、広く利用されるようになりました。インターネット上の情報が増えるにつれ、効果的な情報を取得する需要が高まり、検索エンジンという新しいアプリケーション形態が誕生しました。検索エンジンは、大規模データ処理の課題に直面した最初のアプリケーションです。Google は偉大なテクノロジー企業として、多くのビッグデータ処理技術を開拓しました。GFS、MapReduce、Bigtable の 3 つの基盤技術は、その後 10 年間の NoSQL やビッグデータ技術の発展の基盤を築きました。
2005 年から 2010 年にかけて、パーソナルコンピュータの普及とインターネットアクセスコストの低下により、より多くの人々がインターネットを利用できるようになりました。新しいアプリケーション形態が現れました。第一に、人々はインターネットからの一方的な情報に満足せず、インターネット上での人々の情報交換をより強く求めるようになり、ソーシャルネットワークの発展を促進しました。第二に、B2C や C2C の E コマースサイトが「群衆」の応用を中心に発展し始めました。この時代はいわゆる Web 2.0 時代です。「人々」という新しいデータソースが、インターネット上で大量のデータを生成し始めました。この段階で、主に E コマースとソーシャルネットワークの分野で大手インターネット企業が誕生しました。これらの企業は、大規模なオンラインデータサービスをどのように支え、膨大なデータをどのように処理・分析するかという課題に直面しました。当時、成熟した利用可能なソリューションはなかったため、これらの企業は独自システムの開発を余儀なくされました。そのため、NoSQL やビッグデータシステムが誕生または大手インターネット企業からインキュベートされました。たとえば、Hadoop は最初に Yahoo でインキュベートされ、Cassandra は Facebook の受信トレイ検索シーンで最初に使用されました。
2010 年から 2020 年にかけて、4G 技術の発展とスマートフォンの普及により、モバイルインターネットが発展しました。人々はいつでもどこでもインターネットに接続できるようになりました。モバイルアプリケーションはより幅広い層をカバーし、決済や配車など、より多くの生活シーンに浸透しました。従来のインターネットアプリケーションからモバイルアプリケーションへの段階的な移行により、大量のアプリケーション需要が生まれました。クラウドプラットフォームは低コストでアクセスしやすいデータセンターとして、より多くの企業に受け入れられました。この 10 年間はクラウドコンピューティング発展の黄金期でもあります。クラウドコンピューティングはアプリケーションの動作環境を根本的に変えました。従来の IDC とは異なり、この動作環境ではコンピューティング、ストレージなどのリソースがプール化され、さまざまなタイプのリソースを柔軟に取得できます。クラウドベースの弾性リソースで構築されたアプリケーションは「クラウドネイティブ」アプリケーションと呼ばれます。ますます多くのビッグデータやデータベースプロダクトがクラウドネイティブで構築されるようになりました。弾力的なスケーラビリティを持つため、分散テクノロジーも広く利用されています。現代の新しいビッグデータやデータベースプロダクトにとって、分散とクラウドネイティブは必須の機能です。
最後に、2020 〜 2025 年の期間では、5G と IoT 技術が徐々に成熟し、IoT という新しいアプリケーション形態が誕生します。コネクテッドカー、産業用 IoT、スマートホームなど、新しいアプリケーションシーンを見ることができます。
過去数十年の技術とプロダクト進化の法則をまとめます(インフラストラクチャ技術の向上 → 情報化範囲の拡大 → より多くのシナリオと大規模データ → 技術とプロダクトの発展)。
各段階は「インフラストラクチャ」の向上と普及から始まります。インフラストラクチャの核心的な役割は、情報化の範囲をさらに拡大することです。たとえば、インターネットによりアプリケーションはより多くの端末と接続できるようになりました。モバイルインターネットは端末の障壁を直接取り払い、アプリケーションがより多くの人々と接続できるようにしました。IoT はこの接続にさらに多くのデバイスを加えます。
情報化範囲の拡大に伴い、より多くの新しいアプリケーションシナリオが生まれ、より多くの「個体」がさらに大規模なデータを生成し、これが基礎技術発展の原動力となっています。
この過程で、基礎技術の発展はアプリケーション形態の発展に遅れをとることがあります。ただし、分散テクノロジーやクラウドコンピューティングの普及により、基礎技術の進化と普及はますます速くなっています。基礎技術プロダクトの形態も変化しており、初期の商用プロダクトからオープンソースプロダクトを経て、現在のクラウドネイティブプロダクトへと移行しています。
IoT という新たな段階では、デバイス数と生成されるデータはさらに大規模になり、より大きな課題が生じます。このような課題の下で、どのような技術発展が促進されるのでしょうか。
IoT 業界の急速な発展に伴い、どのような技術的課題に直面するのか
まず IoT の急速な発展を見て、以下の 2 つの市場レポートから IoT の全体的な成長トレンドを確認しましょう。
デバイス数の大規模な成長:Gartner の予測では、2021 年までに IoT のデバイス数が 250 億台に成長するとされています。このような大規模なデバイスをどのように管理するかが、最初の課題です。
デバイスデータの大規模な成長:IDC レポートに示されているように、IoT データの規模は 2025 年までに 79.4 ZB に達し、年平均成長率は 34.91% と予測されています。このような膨大なデータをどのように保存・分析するかが、第二の課題です。
コネクテッドカーのシナリオを例にデータストレージの具体的な要件を定義する
今回の会議のテーマは IoT のストレージソリューションですので、IoT シナリオにおけるデータストレージの具体的な要件を見ていきましょう。コネクテッドカーの実際のアプリケーションシナリオを例にとります。オンライン配車サービスを提供する新エネルギー車企業で、毎日数十万台の新エネルギー車を管理してオンライン配車サービスを提供している場合、以下のような具体的なシナリオに直面します。
これらの車両を効率的に管理するため、各車両は自身の状態をリアルタイムで報告する必要があります。報告内容には位置情報、バッテリー残量、走行距離、走行速度などが含まれます。これらの動的データに加え、各車両には車種、オーナーなどの静的データもあり、バックエンドでリアルタイムに取得・管理する必要があります。
これらの車両のリアルタイム状態情報により、オーナー、乗客、またはバックエンドに対して車両のリアルタイム状態照会サービスを提供できます。バックエンドにはリアルタイム状態に依存するコンピューティングタスクもあり、たとえば位置情報や特定条件に基づく車両のポーリングによる特定タスクの管理、またはリアルタイム状態に基づく車両のスケジューリングなどがあります。
また、車両自身のリアルタイム状態報告に加え、車両と管理バックエンドの間にはメッセージチャネルを維持する必要があります。このメッセージチャネルを通じて、車両は自身の異常イベントを報告し、バックエンドはメッセージ情報やコントロール指示を送信できます。
さらに、車両の走行データは軌跡データとしてレポート・保存され、走行中のセンサーデータも保存する必要があります。これらのデータにより、一方面では走行軌跡を照会でき、另一方面ではデータに基づく計算・分析でさらなる価値を発掘できます。たとえば、過去の走行データを分析してスケジューリングアルゴリズムを最適化することができます。
これらのシナリオから、車両関連データは主に 3 種類あることがわかります。1 つ目はリアルタイム状態データで、「メタデータ」に分類します。2 つ目はメッセージチャネルで、「メッセージデータ」に分類します。3 つ目は軌跡データで、「時系列データ」に分類します。これら 3 種類のデータは、基盤ストレージに対してそれぞれ異なる要件を持ちます。メタデータは更新頻度が高く、マルチフィールド条件でのデータクエリやフィルタリングが必要です。メッセージデータはメッセージキューと同様の特徴を持ち、キュー数が非常に多く、各デバイスに対して独立したマッチングが必要です。時系列データは高スループットの書き込み、大規模なデータ量が特徴で、分析シナリオに重点が置かれています。
従来のスキームでは、メタデータは一般的に MySQL に保存されます。ただし、MySQL の最大の問題は、マルチフィールド条件フィルタリングを柔軟にサポートできないことです。一般的には Elasticsearch と組み合わせ、Elasticsearch のマルチフィールド検索機能に依存する必要があります。メッセージデータはメッセージキューと同様の特徴を持ちますが、従来のメッセージキューは使用できません。従来のメッセージキューは膨大な数のトピックをサポートできないため、一般的に MySQL を使ってキュー実装をシミュレートします。時系列データは一般的に HBase を使用して保存されます。HBase は高スループットの書き込みを提供し、大規模ストレージをサポートしますが、分析機能を持っていません。
基礎技術の発展はアプリケーション形態の発展に遅れをとることがあります。従来のアーキテクチャは複数の製品を組み合わせて IoT ストレージシステム全体を構築するものです。このようなマルチコンポーネント構成のアーキテクチャは複雑で、運用保守コストも高くなります。開発者は複数の製品を理解して使用する必要があり、分散コンポーネントの運用は困難で、全体コストが非常に高くなります。さらに、各コンポーネントは IoT シナリオ向けに設計・最適化されていません。IoT シナリオにおけるデバイスメタデータ、メッセージデータ、時系列データは非常に典型的な特徴を持ち、全体の規模成長率はインターネット時代を大幅に上回ると予測されます。旧世代のプロダクトでは、IoT シナリオにおける大規模データの成長に対応できないと考えられます。
IoT に必要なストレージプロダクトとは
過去数十年の技術プロダクト発展の客観的な法則によれば、IoT 時代は既に到来しており、現在の技術アーキテクチャでは将来の IoT 規模の拡大を支えることが難しくなっています。IoT という新しいアプリケーション形態、膨大なデバイスとデータの課題に対し、クラウドコンピューティングを基盤とする次世代基盤プラットフォーム上で、クラウドネイティブや分散テクノロジーなどの基盤技術を活用して、どのような新しい基盤プロダクトを構築すべきでしょうか。
この新しい基盤プロダクトには以下の特徴が求められます。
クラウドネイティブと分散テクノロジーに基づき、スケーラビリティと伸縮性を備えること
デバイスメタデータ、メッセージデータ、時系列データのワンストップなストレージ、検索、分析の要件を満たすこと
膨大なデータをサポートできる十分な低コスト性
そのため、IoT 業界の発展に伴う課題に対応するため、Alibaba Cloud Tablestore は新たなストレージ機能、ワンストップ IoTStor をリリースします。記者発表会の詳細については、記事内のリンクをクリックするか、ポスターの QR コードをスキャンしてご確認ください。
過去 40 年間の技術発展を 5 つの重要な段階に区分することができます。タイムラインで見ると、1980 - 2000 年、2000 - 2005 年、2005 - 2010 年、2010 - 2020 年、2020 - 2025 年の 5 段階です。今回の記者発表会は、第 5 段階の技術発展に関連しています。過去から未来を見据え、技術発展の歴史を振り返り、最初の 4 段階でどのような技術発展があったのか、技術応用の主なシナリオは何か、主流のアプリケーション形態は何か、どのような新しい技術やプロダクトが生まれたのかを見ていきましょう。
1980 年から 2000 年は、コンピュータ技術の発展と応用の段階でした。コンピュータは企業のデータ管理とプロセス効率の向上を支援し、この段階のアプリケーションは主に企業情報システムでした。この段階で、企業向けサービスに特化した多くのテクノロジー企業が誕生し、数々の優れた商用プロダクトが生まれました。アプリケーションシステムのデータは主にデータベースに保存され、データベースはリレーショナルデータベースが中心でした。
2000 年から 2005 年は、インターネット技術の初期発展段階でした。インターネットを通じて情報をより効率的に伝達できるようになり、この時期に大量のポータルサイトが誕生しました。いわゆる Web 1.0 時代です。LAMP (Linux + Apache + MySQL + PHP) は当時最も人気のウェブサイト構築技術で、完全にオープンソースプロダクトで構成された低コストソリューションでした。アプリケーションシステムのデータストレージは依然としてリレーショナルデータベースが中心でしたが、MySQL はオープンソースで低コストという優位性により、商用リレーショナルデータベースに取って代わり、広く利用されるようになりました。インターネット上の情報が増えるにつれ、効果的な情報を取得する需要が高まり、検索エンジンという新しいアプリケーション形態が誕生しました。検索エンジンは、大規模データ処理の課題に直面した最初のアプリケーションです。Google は偉大なテクノロジー企業として、多くのビッグデータ処理技術を開拓しました。GFS、MapReduce、Bigtable の 3 つの基盤技術は、その後 10 年間の NoSQL やビッグデータ技術の発展の基盤を築きました。
2005 年から 2010 年にかけて、パーソナルコンピュータの普及とインターネットアクセスコストの低下により、より多くの人々がインターネットを利用できるようになりました。新しいアプリケーション形態が現れました。第一に、人々はインターネットからの一方的な情報に満足せず、インターネット上での人々の情報交換をより強く求めるようになり、ソーシャルネットワークの発展を促進しました。第二に、B2C や C2C の E コマースサイトが「群衆」の応用を中心に発展し始めました。この時代はいわゆる Web 2.0 時代です。「人々」という新しいデータソースが、インターネット上で大量のデータを生成し始めました。この段階で、主に E コマースとソーシャルネットワークの分野で大手インターネット企業が誕生しました。これらの企業は、大規模なオンラインデータサービスをどのように支え、膨大なデータをどのように処理・分析するかという課題に直面しました。当時、成熟した利用可能なソリューションはなかったため、これらの企業は独自システムの開発を余儀なくされました。そのため、NoSQL やビッグデータシステムが誕生または大手インターネット企業からインキュベートされました。たとえば、Hadoop は最初に Yahoo でインキュベートされ、Cassandra は Facebook の受信トレイ検索シーンで最初に使用されました。
2010 年から 2020 年にかけて、4G 技術の発展とスマートフォンの普及により、モバイルインターネットが発展しました。人々はいつでもどこでもインターネットに接続できるようになりました。モバイルアプリケーションはより幅広い層をカバーし、決済や配車など、より多くの生活シーンに浸透しました。従来のインターネットアプリケーションからモバイルアプリケーションへの段階的な移行により、大量のアプリケーション需要が生まれました。クラウドプラットフォームは低コストでアクセスしやすいデータセンターとして、より多くの企業に受け入れられました。この 10 年間はクラウドコンピューティング発展の黄金期でもあります。クラウドコンピューティングはアプリケーションの動作環境を根本的に変えました。従来の IDC とは異なり、この動作環境ではコンピューティング、ストレージなどのリソースがプール化され、さまざまなタイプのリソースを柔軟に取得できます。クラウドベースの弾性リソースで構築されたアプリケーションは「クラウドネイティブ」アプリケーションと呼ばれます。ますます多くのビッグデータやデータベースプロダクトがクラウドネイティブで構築されるようになりました。弾力的なスケーラビリティを持つため、分散テクノロジーも広く利用されています。現代の新しいビッグデータやデータベースプロダクトにとって、分散とクラウドネイティブは必須の機能です。
最後に、2020 〜 2025 年の期間では、5G と IoT 技術が徐々に成熟し、IoT という新しいアプリケーション形態が誕生します。コネクテッドカー、産業用 IoT、スマートホームなど、新しいアプリケーションシーンを見ることができます。
過去数十年の技術とプロダクト進化の法則をまとめます(インフラストラクチャ技術の向上 → 情報化範囲の拡大 → より多くのシナリオと大規模データ → 技術とプロダクトの発展)。
各段階は「インフラストラクチャ」の向上と普及から始まります。インフラストラクチャの核心的な役割は、情報化の範囲をさらに拡大することです。たとえば、インターネットによりアプリケーションはより多くの端末と接続できるようになりました。モバイルインターネットは端末の障壁を直接取り払い、アプリケーションがより多くの人々と接続できるようにしました。IoT はこの接続にさらに多くのデバイスを加えます。
情報化範囲の拡大に伴い、より多くの新しいアプリケーションシナリオが生まれ、より多くの「個体」がさらに大規模なデータを生成し、これが基礎技術発展の原動力となっています。
この過程で、基礎技術の発展はアプリケーション形態の発展に遅れをとることがあります。ただし、分散テクノロジーやクラウドコンピューティングの普及により、基礎技術の進化と普及はますます速くなっています。基礎技術プロダクトの形態も変化しており、初期の商用プロダクトからオープンソースプロダクトを経て、現在のクラウドネイティブプロダクトへと移行しています。
IoT という新たな段階では、デバイス数と生成されるデータはさらに大規模になり、より大きな課題が生じます。このような課題の下で、どのような技術発展が促進されるのでしょうか。
IoT 業界の急速な発展に伴い、どのような技術的課題に直面するのか
まず IoT の急速な発展を見て、以下の 2 つの市場レポートから IoT の全体的な成長トレンドを確認しましょう。
デバイス数の大規模な成長:Gartner の予測では、2021 年までに IoT のデバイス数が 250 億台に成長するとされています。このような大規模なデバイスをどのように管理するかが、最初の課題です。
デバイスデータの大規模な成長:IDC レポートに示されているように、IoT データの規模は 2025 年までに 79.4 ZB に達し、年平均成長率は 34.91% と予測されています。このような膨大なデータをどのように保存・分析するかが、第二の課題です。
コネクテッドカーのシナリオを例にデータストレージの具体的な要件を定義する
今回の会議のテーマは IoT のストレージソリューションですので、IoT シナリオにおけるデータストレージの具体的な要件を見ていきましょう。コネクテッドカーの実際のアプリケーションシナリオを例にとります。オンライン配車サービスを提供する新エネルギー車企業で、毎日数十万台の新エネルギー車を管理してオンライン配車サービスを提供している場合、以下のような具体的なシナリオに直面します。
これらの車両を効率的に管理するため、各車両は自身の状態をリアルタイムで報告する必要があります。報告内容には位置情報、バッテリー残量、走行距離、走行速度などが含まれます。これらの動的データに加え、各車両には車種、オーナーなどの静的データもあり、バックエンドでリアルタイムに取得・管理する必要があります。
これらの車両のリアルタイム状態情報により、オーナー、乗客、またはバックエンドに対して車両のリアルタイム状態照会サービスを提供できます。バックエンドにはリアルタイム状態に依存するコンピューティングタスクもあり、たとえば位置情報や特定条件に基づく車両のポーリングによる特定タスクの管理、またはリアルタイム状態に基づく車両のスケジューリングなどがあります。
また、車両自身のリアルタイム状態報告に加え、車両と管理バックエンドの間にはメッセージチャネルを維持する必要があります。このメッセージチャネルを通じて、車両は自身の異常イベントを報告し、バックエンドはメッセージ情報やコントロール指示を送信できます。
さらに、車両の走行データは軌跡データとしてレポート・保存され、走行中のセンサーデータも保存する必要があります。これらのデータにより、一方面では走行軌跡を照会でき、另一方面ではデータに基づく計算・分析でさらなる価値を発掘できます。たとえば、過去の走行データを分析してスケジューリングアルゴリズムを最適化することができます。
これらのシナリオから、車両関連データは主に 3 種類あることがわかります。1 つ目はリアルタイム状態データで、「メタデータ」に分類します。2 つ目はメッセージチャネルで、「メッセージデータ」に分類します。3 つ目は軌跡データで、「時系列データ」に分類します。これら 3 種類のデータは、基盤ストレージに対してそれぞれ異なる要件を持ちます。メタデータは更新頻度が高く、マルチフィールド条件でのデータクエリやフィルタリングが必要です。メッセージデータはメッセージキューと同様の特徴を持ち、キュー数が非常に多く、各デバイスに対して独立したマッチングが必要です。時系列データは高スループットの書き込み、大規模なデータ量が特徴で、分析シナリオに重点が置かれています。
従来のスキームでは、メタデータは一般的に MySQL に保存されます。ただし、MySQL の最大の問題は、マルチフィールド条件フィルタリングを柔軟にサポートできないことです。一般的には Elasticsearch と組み合わせ、Elasticsearch のマルチフィールド検索機能に依存する必要があります。メッセージデータはメッセージキューと同様の特徴を持ちますが、従来のメッセージキューは使用できません。従来のメッセージキューは膨大な数のトピックをサポートできないため、一般的に MySQL を使ってキュー実装をシミュレートします。時系列データは一般的に HBase を使用して保存されます。HBase は高スループットの書き込みを提供し、大規模ストレージをサポートしますが、分析機能を持っていません。
基礎技術の発展はアプリケーション形態の発展に遅れをとることがあります。従来のアーキテクチャは複数の製品を組み合わせて IoT ストレージシステム全体を構築するものです。このようなマルチコンポーネント構成のアーキテクチャは複雑で、運用保守コストも高くなります。開発者は複数の製品を理解して使用する必要があり、分散コンポーネントの運用は困難で、全体コストが非常に高くなります。さらに、各コンポーネントは IoT シナリオ向けに設計・最適化されていません。IoT シナリオにおけるデバイスメタデータ、メッセージデータ、時系列データは非常に典型的な特徴を持ち、全体の規模成長率はインターネット時代を大幅に上回ると予測されます。旧世代のプロダクトでは、IoT シナリオにおける大規模データの成長に対応できないと考えられます。
IoT に必要なストレージプロダクトとは
過去数十年の技術プロダクト発展の客観的な法則によれば、IoT 時代は既に到来しており、現在の技術アーキテクチャでは将来の IoT 規模の拡大を支えることが難しくなっています。IoT という新しいアプリケーション形態、膨大なデバイスとデータの課題に対し、クラウドコンピューティングを基盤とする次世代基盤プラットフォーム上で、クラウドネイティブや分散テクノロジーなどの基盤技術を活用して、どのような新しい基盤プロダクトを構築すべきでしょうか。
この新しい基盤プロダクトには以下の特徴が求められます。
クラウドネイティブと分散テクノロジーに基づき、スケーラビリティと伸縮性を備えること
デバイスメタデータ、メッセージデータ、時系列データのワンストップなストレージ、検索、分析の要件を満たすこと
膨大なデータをサポートできる十分な低コスト性
そのため、IoT 業界の発展に伴う課題に対応するため、Alibaba Cloud Tablestore は新たなストレージ機能、ワンストップ IoTStor をリリースします。記者発表会の詳細については、記事内のリンクをクリックするか、ポスターの QR コードをスキャンしてご確認ください。
Related Articles
-
A detailed explanation of Hadoop core architecture HDFS
Knowledge Base Team
-
What Does IOT Mean
Knowledge Base Team
-
6 Optional Technologies for Data Storage
Knowledge Base Team
-
What Is Blockchain Technology
Knowledge Base Team
Explore More Special Offers
-
Short Message Service(SMS) & Mail Service
50,000 email package starts as low as USD 1.99, 120 short messages start at only USD 1.00
