Внутрішній інкубатор штучного інтелекту Meta AAI Labs розробляє інструмент маршрутизації моделей під назвою «Switchboard», який розподіляє прості запити до менш витратних малих моделей на основі оцінки складності завдання, щоб знизити загальні витрати на висновування. Проект перебуває на ранній стадії та належить до AAI Labs — внутрішнього інкубатора, заснованого Meta у березні цього року. Внутрішні документи показують, що Meta сплачує ціну найкращих моделей за кожен запит на програмування, включаючи прості завдання, які можна було б вирішити за допомогою малих моделей; витрати на висновування стали «першорядною перешкодою» для масштабного розгортання агентів у компанії. Очікується, що витрати Meta на інфраструктуру ШІ у цьому році досягнуть 145 мільярдів доларів США, і компанія намагається контролювати витрати на ШІ різними способами. Ринок цілей Switchboard також включає сектор маршрутизації моделей, де вже існують конкуренти, такі як OpenRouter, а відповідні угоди з придбання можуть зробити його оцінку десятками мільярдів доларів.Автор статті, джерело: Wall Street Journal
Під тиском постійного зростання витрат на інфраструктуру ШІ, Meta намагається знайти шляхи зниження витрат усередині компанії.
21 липня, за повідомленням технологічного видання The Information, внутрішній AI-інкубатор Meta AAI Labs розробляє інструмент маршрутизації AI під назвою «Switchboard», логіка якого дуже схожа на продукт Auto Router від OpenRouter — шляхом оцінки складності завдань прості запити перенаправляються до менш витратних малих моделей, щоб знизити загальні витрати на виведення.
Switchboard наразі все ще перебуває на ранній стадії, і невідомо, чи буде він успішно реалізований. Однак, згідно з внутрішніми документами, отриманими The Information, команда Meta чітко визначила дві потенційні шляхи: перший — розгортання всередині компанії для зменшення витрат, другий — публічний випуск для зовнішніх організацій, які масштабно запускають AI-програмні агенти.
Аналіз вказує, що це означає, що інструмент є не лише заходом зі зменшення витрат, а й можливою спробою Meta створити новий джерело доходу на ринку інструментів ШІ.
Також повідомляється, що запропонований проект прямо спрямований на реальну проблему, з якою стикається компанія зараз: сплату ціни за найкращі моделі для кожного запиту на програмування, включаючи прості завдання, які можна легко вирішити за допомогою малих моделей.
Прямо в точку: витрати на виведення є найбільшою перешкодою для масштабування
Згідно зі звітом, логіка запуску проекту Switchboard у внутрішніх документах була викладена досить прямо: «Ми платимо ціну найкращої моделі за кожен запит на програмування, включаючи прості запити».
Документ далі зазначає, що більшість завдань програмних агентів повністю можуть бути вирішені меншими моделями, і лише декілька завдань справді вимагають можливостей передових великих моделей. Однак зараз «усі запити надсилаються до однієї й тієї ж моделі, що призводить до надмірних витрат на простих завданнях або недостатньої продуктивності на складних».
Документ чітко визначає витрати на виведення як «головну перешкоду» для ширшого розгортання агентів усередині компанії, і прямо зазначає: «Витрати є ключовим фактором, що обмежує нашу здатність масштабно запускати агентів.»
Це підтверджує серію дій Meta щодо контролю витрат на ШІ. За попередніми повідомленнями The Information, у червні цього року Meta повідомила співробітників, що через кілька тижнів після поширення використання інструментів ШІ по всій компанії, вона введе ліміти на використання AI-токенів та створить внутрішню платформу для відстеження витрат на ШІ та виконання бюджету токенів.
Варто зазначити, що проект Switchboard належить AAI Labs, дочірній структурі Meta, яка є внутрішнім інкубатором команди Meta Applied AI Engineering і була офіційно створена у березні цього року. За внутрішніми документами, оглянутими The Information, цей механізм дозволяє співробітникам подавати пропозиції щодо AI-продуктів і сервісів, після схвалення яких невеликі команди розробляють їх і мають можливість оприлюднити їх зовні.
На липень цього року AAI Labs схвалила приблизно 200 проектів, що охоплюють три напрямки: споживчі продукти, інструменти для розробників та внутрішню інфраструктуру. Switchboard — це один із них.
Цей механізм відображає більш загальну стратегічну ідею генерального директора Meta Цукерберга — використовувати ШІ для швидкого створення продуктів невеликими командами. У квітні цього року Цукерберг сказав аналітикам, що ШІ-агенти означають «невеликі команди можуть досягти дуже швидких результатів» і передбачив, що ця технологія сприятиме «великій кількості інновацій». Він також зазначив, що Meta може розробити до 50 нових додатків.
Сектор маршрутизації моделей: Крім OpenRouter, величезні компанії вступають на ринок
Сегмент маршрутизації моделей, на який спрямований Switchboard, привертає все більше уваги.
OpenRouter вже здобув значну популярність серед розробників завдяки допомозі у доступі до різноманітних моделей ШІ за нижчою вартістю. За повідомленням The Information на минулому тижні, OpenRouter веде переговори з більшою технологічною компанією щодо потенційного поглинання, і така угоду може підняти її оцінку на десятки мільярдів доларів — оцінка компанії на квітень цього року становила 1,3 млрд доларів.
Концепція маршрутизації моделей привернула широку увагу після того, як OpenAI представила вбудовану функцію маршрутизації разом із GPT-5 — функцію, яка автоматично переключається на більш дешеву модель, коли запит користувача відносно простий. Після цього компанії, такі як Databricks і Palantir, також розробили власні інструменти маршрутизації для управління витратами та підвищення ефективності.
Meta цього разу розробила Switchboard власноруч — як активну відповідь на власний тиск із витратами, так і стратегічний вибір для закріплення власних можливостей на цьому швидко розwijуваному ринку.
Більш амбітні цілі: ІІ вкладення шукають різноманітні способи монетизації
За проектом Switchboard стоїть загальна мета Meta — перетворити великі інвестиції в ІІ на нові інструменти, нові бізнес-напрямки та нові джерела доходу.
Раніше Meta прогнозувала, що витрати на інфраструктуру ШІ та інше обладнання та об’єкти у цьому році можуть досягти 145 мільярдів доларів США, що більше ніж у два рази перевищує рівень 2025 року. В той же час Meta проводить реорганізацію інженерних команд для підсилення здатностей розробки ШІ.
Проекти, інкубовані AAI Labs, не обмежуються Switchboard. За іншим внутрішнім документом, отриманим The Information, AAI Labs також розробляє AI-гід для водіїв, який працює через Apple CarPlay та Android Auto, використовуючи ШІ для пояснення навколишніх достопримічностей та дозволяючи водіям ставити запитання.
Документ позиціонує цей продукт як розширення досвіду карт Instagram, майбутнє інтегрування якого може включати контент Reels на основі локації, рекомендації подорожей та навіть розумні окуляри Meta Ray-Ban.
Згідно з повідомленням, ці проекти разом визначають шлях Meta: починати з ідей співробітників, швидко створювати прототипи AI-продуктів і виводити їх на зовнішні ринки у відповідний момент — одночасно контролюючи витрати та досліджуючи додаткові джерела доходу поза рекламним бізнесом.