Elasticsearch: Let the data speak for itself

インターネットデータ規模の爆発的な成長に伴い、膨大な過去データとリアルタイムデータからいかにして有用な情報を迅速に取得するかが、ますます難しい課題となっています。その中でも、検索は情報を取得する最も効率的な方法の一つとして、ますます注目されています。

優れた検索エンジンとは、一般ユーザーとウェブサイトを結びつける架け橋であり、ユーザーは自由に閲覧したいウェブサイトやコンテンツを検索できます。検索エンジンはこれらのウェブサイトのコンテンツを収集し、検索技術を通じてユーザーに提示します。

2017 年 11 月 13 日、杭州雲栖大会において、Elasticsearch と Alibaba Cloud は戦略的提携を発表し、Alibaba Cloud 上でホストされる Elasticsearch を共同で開発・リリースし、中国市場に新たなユーザー体験を提供することを表明しました。Elasticsearch の中国市場進出にはどのような機会と課題があるのか。Alibaba Cloud Elasticsearch は中国のユーザーにどのような新しいサービスを提供するのか。InfoQ は Elasticsearch の創設者兼 CEO である Shay Banon 氏にインタビューを行いました。

わずか 1 時間の会話から、Shay Banon 氏がビジネスに対して鋭い洞察力を持っていることは明らかでした。同氏は検索分野で 18 年間携わり、約 8 年前に Elasticsearch を創設しました。起業において最も重要なのは、自分の強みを見つけ、情熱と愛情を持ち続けることだと同氏は語ります。起業とは、日常生活の中から課題を見つけ出し、創造的な思考でそれを解決することなのです。

Elasticsearch の起源は料理レシピ検索アプリケーション
Lucene との出会いと Elasticsearch 開発の経緯について、Shay Banon 氏は全くの偶然だったと振り返ります。当時無職のエンジニアだった同氏は、新婚の妻とともにロンドンに移住しました。妻はロンドンで料理の勉強をしたいと考えており、Banon 氏は妻のためにレシピを簡単に検索できるアプリケーションを作りたいと思い、Lucene と出会いました。Lucene を直接使って検索を構築するには多くの問題があり、繰り返しの作業も多いため、Banon 氏は Lucene を基盤にさらに抽象化を進め、Java プログラムに検索機能を簡単に埋め込めるようにしました。一定期間の改良を経て、最初のオープンソースプロジェクト「Compass」が誕生しました。中国語で「羅針盤」を意味します。その後、高性能な分散開発環境での新しい仕事に就き、業務の中で使いやすく高性能なリアルタイムかつ分散型の検索サービスへのニーズを次第に認識するようになり、Compass の書き直しを決意しました。ライブラリからスタンドアロンサーバーへと構築し直し、オープンソースプロジェクトとして公開しました。

最初の公開リリースは 2010 年 2 月に登場し、それ以来 Elasticsearch は GitHub 上で最も人気のあるプロジェクトの一つとなりました。

Elasticsearch の成功はオープンソースに由来する
8 年の歳月を経て、Elasticsearch は中国のエンジニアの間でも広く支持されています。Shay Banon 氏は、Elasticsearch 成功の鍵はオープンソースであること、そして検索以外にもログ管理、セキュリティ、分析など多様なユースケースに対応できる点だと述べています。

同氏は、オープンソースの検索エンジンは検索技術の学習、研究、習得に優れた方法と素材を提供し、検索技術の普及と発展を推進し、より多くの人々に検索技術の理解と活用を促すと信じています。オープンソースの検索エンジンを利用することで、検索アプリケーションの構築期間を大幅に短縮でき、アプリケーションの要件に応じたカスタマイズや、特定のニーズに合わせた検索エンジンシステムの構築も可能です。検索エンジンのオープンソース化は、技術者にとっても一般ユーザーにとっても大きな恩恵です。

Shay Banon 氏は、世界中のすべての開発者が検索を基盤として、最も複雑なユースケースをシンプルに解決できる力を与えるというビジョンを持っています。リアルタイムかつ大規模にデータを処理する Elastic の製品は、累計 1 億 5,000 万回以上ダウンロードされ、モダンな検索、ログ、セキュリティ、メトリクス、分析アプリケーションの構築に世界中で活用されています。

技術革新の推進
現代において、技術の急速な変化は市場競争の激化を促しています。企業は技術イノベーションによってもたらされる競争力の強化と、それが生み出す短期的・長期的な市場価値をますます重視しており、これを経営の中心戦略に据えています。企業間の競争は規模の競争だけでなく、より重要なのは技術革新力の競争です。

Jack Ma が雲栖大会で講演した際、未来における技術の重要性について語りました。「私たちは皆、未来の前では子供のようなものであり、未来に専門家はいないのです。」同氏は、将来発展する企業は、必ずインターネット技術を最も効果的に活用できる企業だと信じています。

あらゆる新興技術は、構想、バブル、崩壊、沈静化、成熟、アプリケーションの台頭、そして再生と再イノベーションという螺旋状の発展軌道をたどり、技術ライフサイクルの発展法則に従わなければなりません。企業は方向性や研究開発戦略において、技術産業の発展法則を把握し尊重する必要があります。

Shay Banon 氏は Elasticsearch におけるいくつかの重要な技術トレンドを紹介しました。

640？wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

Shay Banon 氏は、彼とチームが技術の道において革新を続け、Elasticsearch がさまざまなユーザーの多様な課題を解決できるようにすると述べています。

Elasticsearch と Alibaba Cloud の提携、中国市場への大躍進
Elasticsearch の中国市場進出戦略について、Shay Banon 氏は次のように語りました。「中国は私たちにとって成長市場です。過去数年間で、Elasticsearch のコミュニティは 5,000 人以上の開発者に拡大しました。中国は世界最大級の市場の一つでもあり、約 1 億 9,000 万人の開発者がいます。これら 1 億 9,000 万人の開発者に、オープンソースの Elasticsearch 製品を利用して成功してもらいたいと願っています。本日、Elasticsearch は Alibaba Cloud との提携を選択しました。Elasticsearch のリアルタイム処理能力と、セキュリティ、アラート機能、機械学習などの強力な X-Pack 機能を組み合わせ、中国の広大な開発者エコシステムのイノベーションのペースを加速し、より多様なアプリケーションの構築、ホスティング、管理を実現します。」さらに Shay Banon 氏は、中国市場に向けて商用製品 X-Pack を積極的に推進し、より多くの人々に理解と利用を広げていく方針を示しました。

「Alibaba Cloud Elasticsearch」が正式にサービスを開始し、シンプルな設定で顧客のクラウドコンピューティングサービスに追加できます。Elasticsearch のリアルタイム検索機能を顧客アプリケーションと組み合わせ、Logstash または Beats でデータを Alibaba Cloud Elasticsearch にインポートし、Kibana ダッシュボードでリアルタイムデータと過去データを可視化できます。さらに X-Pack のセキュリティ、アラート機能、モニタリング、レポート、Graph 分析、機械学習といった一連の機能を追加し、開発者にワンストップの製品体験を提供します。

Alibaba Cloud Elasticsearch の新サービスにより、Alibaba Cloud の顧客は Elasticsearch の強力なリアルタイム検索、データ収集、データ分析機能を自由に利用できるようになり、ワンストップかつ先進的なソリューションとなっています。

さらに、Alibaba Cloud と Elasticsearch は技術改善に注力し、Alibaba Cloud Elasticsearch が時代に遅れず最新の機能を備えるよう取り組みます。将来的にはログインポート機能やその他のサービスも提供予定です。

検索エンジンのデータマイニングにおける優位性
ビッグデータ時代は情報爆発の時代でもあります。情報を持つこと自体が重要なのではなく、いかにして必要な情報を迅速に見つけ出すかが重要となっています。検索エンジンはこの点で天然の優位性を持ち、データマイニングにおいてより顕著な効果を発揮します。

多くの検索技術の進歩はビッグデータ技術と切り離せません。本質的に、検索エンジンはビッグデータアプリケーションの典型です。現在、検索はビッグデータ分野で大きく前進し、ユーザーはリアルタイムに求める情報を検索できます。

最新のデータベースエンジンランキングによると、Elasticsearch、Solr、Splunk がそれぞれデータベース検索エンジンの上位 3 位を占めています。

640？wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

トレンドから見ると、Elasticsearch と Splunk が顕著に上昇しており、特に Elasticsearch は非常に強い勢いを示しています。

640？wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

本番環境でアプリケーションの実行ログを記録することは一般的なプラクティスですが、ログは処理と分析を経て初めて意味を持ちます。サードパーティ製ログ管理ツールの登場は、この課題を解決するためです。現在、代表的なログ管理ツールは Splunk と Logstash です（注：Logstash は Elasticsearch にデータを挿入し、Kibana でログを可視化するために使用されます）。

Shay Banon 氏は、ログ分析分野における Elasticsearch の最大の競合は Splunk であり、有料の商用ソフトウェアと無料のオープンソースソフトウェアのどちらを選ぶかという選択になると述べています。Elasticsearch は世界で最も人気のあるオープンソースソリューションであり、柔軟性、リアルタイム性、大規模データの処理能力を備えています。中国本土の開発者に尋ねれば、その多くは Elastic Stack を選好する傾向があります。

たとえば、Netflix、Facebook、Microsoft、LinkedIn といった企業は、ログ基盤に大規模な Elasticsearch クラスターを採用しています。さらに、Elastic Stack は不正検知や業界特化型のビジネス分析など、さまざまな領域で活用でき、これが Elastic の継続的な拡大を可能にしています。

機械学習がユーザーの複雑な課題解決を支援
クラウドコンピューティングの発展により、データの収集、処理、分析が容易になり、ビッグデータはあらゆる業界の多様なデータシステムに存在するようになりました。そのため、人工知能は注目される分野となっています。

中でも機械学習は検索技術を基盤として確立されており、検索によってもたらされる大量のデータ蓄積からデータ統計分析を構築し、一部のアプリケーションシナリオにおける重要な意思決定の指針とサポートを提供できます。

Shay Banon 氏はデータ検索分野における機械学習の重要な価値を強調しました。「将来、私たちがデータに何を求めるかを伝えるのではなく、データが自発的にここに何があるかを教えてくれるようになります。これが機械学習の力なのです。」

小さな悩み
検索エンジンは私たちの移動経路、地理位置、仕事内容、日常の行動パターン、人間関係を知っています。どの保険会社や銀行よりも私たちのリスクプロファイルを詳しく把握しています。ウェアラブルスマートデバイスの台頭により、医師よりも私たちの健康状態を詳しく把握するようになるかもしれません。つまり、検索エンジンは私たち自身のことを、私たち自身よりも深く知るようになるのです。

これは情報時代特有の背景です。効率性の追求により、私たちは検索エンジンなどのインターネットサービスがもたらす情報サービスの恩恵を享受すると同時に、個人情報漏えいの憂慮も避けられません。検索エンジンの機械学習はますます多くのユーザー情報を必要とし、これは私たちのプライバシー権と本質的に衝突します。おそらく、私たちは既にこの事実に気づいていますが、効率性の前にどうすることもできません。

エンジニアへのアドバイス：
コンピュータの世界の変化の速さは驚くべきものです。プログラマーはコンピュータの世界に最も近い職業とされ、ほぼすべての新しい技術製品はプログラマーによるコーディングを経て形になります。

Shay Banon 氏はプログラマーに対し、常に新しいスキルを学び、過去のスキル使用で得た経験を忘れず、情熱を持ち続けてこの職業を愛するよう助言しています。常にエンドユーザーの視点から自身が書くソフトウェアを評価し、閉じた空間でコードを書くことのないようにしましょう。

さらに、プログラマーはツールの活用にも長けている必要があります。開発プロセスの中で自身とプロジェクトに適したツールを選択しましょう。「工事が善くあらんと欲すれば、必ずまずその利器を鋭くす」という格言の通りです。

最後に：
Shay Banon は Jack Ma の言葉をとても気に入っています。「若者を助け、弱者を助けよ。小さな苗木もやがて大木に成長するかもしれない。これらの若者の心に種を蒔けば、彼らが成長した時に世界を変えられるのだ。」

他者を助け、他者を強くすることで、自分自身もより強くなれる。これこそが人生の意味なのです。