你的 AI 代理並非運行在單一模型上, 而是運行在五到六個模型上,而你很可能為每個模型單獨付費。 一個用於嵌入你的文檔, 一個用於重新排序搜索結果, 一個用於將 PDF 轉換為文字, 一個用於檢查不安全內容, 一個用於實際思考並調用工具。 五個 API。五張賬單。五個可能出問題的環節。 Superlinked 剛剛開源了 SIE,一個可在你自己的硬體或雲端上運行所有功能的伺服器。 超過 85 個模型,統一透過一個 API 存取。 我最喜歡的部分:模型僅在你調用時載入,停止使用後即從記憶體中移除,因此你無需為閒置的 GPU 支付費用。 它還附帶完整的生產堆棧:負載平衡、自動擴縮容至零、Grafana 儀表板、適用於 GKE 和 EKS 的 Terraform 腳本。 Apache 2.0 許可證,完全免費。 別一次遷移所有內容,先從嵌入開始。該端點與 OpenAI 兼容,幾乎只需一行代碼即可替換。待穩定後,再逐步遷移下一個模型。 每遷移一個模型,就少一張賬單。 倉庫在回覆中,請收藏此訊息。 關注 @cyrilXBT



