Databricksの共同設立者であるアイオン・ストイカは、SkyPilotという新しいスタートアップを立ち上げた。そのコンセプトは驚くほどシンプルだ：企業はコンピューターを必要としており、さまざまなプロバイダーがそのコンピューターを販売しているが、プロバイダーを切り替えるのは煩雑で高コストであるため、SkyPilotはどのプロバイダーでも簡単に利用できるようにする。
ストイカ自身の言葉を借りれば、その結果は「より多くの計算リソース、より優れた計算リソース、より安価な計算リソース」である。
SkyPilotが実際に行うこと
SkyPilotは、UCバークレーのSky Computing Labで、Stoicaと共同創設者のYang Zonghengによってオープンソースプロジェクトとして開発されました。核心となる研究論文はNSDI 2023カンファレンスで発表され、この基盤となる概念はチームによって「スカイコンピューティング」と呼ばれています。
SkyPilotは、企業がAWS、Google Cloud、Azure、および専門プロバイダー上でAIワークロードを、単一の統合リソースプールのように実行できるようにします。企業は、1つのクラウドプロバイダーとの長期契約を結ぶのではなく、計算リソースが最も安価または最も利用可能な瞬間にワークロードを動的に移動できます。
このフレームワークには、クラウドプロバイダーが余剰容量を抱えた際に販売する割引計算リソースであるスポットインスタンス向けの自動フェイルオーバーメカニズムと最適化が含まれています。SkyPilotはジョブの移行を自動で処理するため、1つのクラウドで中断されたワークロードは、人間の介入なしに別のクラウドで再開できます。
2026年半ばまでに、このプロジェクトはNebius AI Cloudとのマネージドコントロールプレーンの統合を発表し、RunpodやAMDハードウェアなどのプロバイダーとのパートナーシップを拡大し、この技術周辺のエコシステムが拡大していることを示した。
これは投資家にとって何を意味するか
SkyPilotは、Stoicaが以前に実行したパターンに従い、カリフォルニア大学バークレー校の研究プロジェクトから商業企業へと移行しています。Stoicaは、エンタープライズソフトウェア分野で最も価値のあるプライベート企業の一つに成長したDatabricksを共同設立しました。また、分散コンピューティングフレームワークであるRayを開発したAnyscaleも共同設立しています。
SkyPilotは、クラウドプロバイダー自身からの競争に直面しており、これらすべての企業は顧客を自らのエコシステムに縛りつける強い動機を持っている。AWS、Google、Microsoftは善意で相互運用性を容易にはしない。