「スマートルーティング」の主張には慎重になってきました。最も安価なモデルを選ぶのは簡単ですが、その品質が保たれていることを証明するのははるかに難しいからです。 そこで、このより難しい問いに焦点を当てたRampのクローズドベータに登録しました。 Routerは、リクエストの背後にあるモデル、使用量、レイテンシ、推定コストを記録し、定義された制約条件下で選択されたワークロードに対してセマンティックモデルの適合性をテストします。 普遍的なコスト削減の主張や「すべてのリクエストに最適なモデル」は存在しません。ただ、実際のワークロードを持ち込む意欲のある開発者にとって有用なベータ版です。