完全に自動化、最適化された Spark を Kubernetes で提供 (Spot+Data Mechanics)

Spot がここ数年、何百社ものお客様とやり取りした中で確信しているのは、ニーズに合わせ自動的に最適化したインフラをアプリケーションが備えている場合、クラウドでもスケールアップして、クラウドへの展開を拡大できるということです。Spot  は、企業がクラウドで実行している主要なワークロードであるビッグデータ アプリケーションに、クラウド インフラの自動化と最適化をもたらす、完全に管理したインフラを備えた k8s 上で、お客様がシンプルな API を使ってApache Spark ジョブを実行できるサービス ( Spot Wave) の提供開始を発表しました。

この Ocean のプロダクト ファミリーの拡大は、多くのお客様から良いフィードバックをいただきました。そして今、 Spot はクラウド ネイティブな Apache Spark をフルマネージドで提供する Data Mechanics 社を買収し、そのロードマップの加速化を図っています。

Data Mechanics のソリューションは、ビッグデータ、AI、ML ベースのアプリケーションに最適なオープンソースのフレームワークである Apache Spark を、Kubernetes 上で簡単にアクセスして実行できるようにします。

Data Mechanics が提供する機能を Spot Wave の Ocean プロダクト ファミリーに統合することで、ビッグデータ アプリケーションの所有者は、完全に自動化、最適化した Spark をクラウド インフラ上で簡単に実行できるようになります。Data Mechanics の技術とチームは Spot Wave に統合されますが、Data Mechanics のお客様は引き続き完全なサポートを受けることができ、Wave の拡張されたサービスから大きな利益を得ることができます。

Kubernetes ネイティブな世界でのビッグデータの活用

企業データが爆発的に増加している現在、企業はアナリティクス、人工知能、機械学習アプリケーションの開発・展開を簡素化し、スピードアップする方法を模索しています。Kubernetes が提供するパワーと柔軟性は、Spark をはじめとするビッグデータ アプリケーションに最適です。

Spark は、日々クラウド上でより多くのデータを処理し、組織全体の自動化、効率化、カスタマー エクスペリエンス、コスト最適化、その他多くの戦略的なビジネス目標を実現・強化をするための貴重なインサイトを発見しています。しかし、これらのプラットフォームを展開・運用するためには、クラウド インフラ、プラットフォーム、ビッグデータ ソフトウェアの専門知識を組み合わせた稀有な技術が必要であり、ビッグデータ インフラとプラットフォームのチームにとって大きな負荷となっています。

ビッグデータのインフラを自前で運用するのは複雑で非効率的ですし、Spark のようなアプリケーションを Kubernetes で運用すると、経験豊富な DevOps チームでも苦労するような複雑な要素が加わります。これらの課題があるにもかかわらず、企業は Kubernetes を全面的に採用し、高速で大規模な最新のクラウド環境を構築し、開発チームがより機敏に動けるようになることを望んでいます。

このようなビッグデータ アプリケーションをKubernetes 上で実行するために特別に設計された Spot Wave は、クラウド インフラのプロビジョニング、スケーリング、最適化を自動的に行い、プラットフォーム チームや DevOps チームがクラウド インフラを日常的に手動で管理する必要性から解放されます。Data Mechanics を利用することで、Spot Wave は大きく飛躍することができます。Spark のワークロードを理解する技術に加えて、Data Mechanics はクラウド ネイティブな Spark の運用に大きな専門性をもたらします。

Data Mechanics 社の技術を持つアプリケーションを意識した機能と、Spot 社が持つクラウド インフラや Kubernetes に関する専門知識を組み合わせることで、お客様はクラウド上で Spark を実行するための、モダンで効率的かつスケーラブルな方法を手に入れることができます。


本記事でご紹介している Spot Wave のについての詳細は Wave のページからご覧いただけます。

その他 AWS や Azure などのパブリック クラウドのインフラやコストの最適化、自動化を図る Spot 各製品の詳細はこちらからご覧いただけます。

フリープラン、無償評価版のお問合せはこちらから。


記事参照 :

The Spot.io blog

Spot + Data Mechanics: Delivering fully automated, optimized Spark on Kubernetes