Інженер рішень Braintrust: «Найкращі LLM не завжди гарантує стабільну продуктивність» Саме через це речення редагування промпта потребує тестів перед тим, як відредагований промпт буде використовуватися для відповідей на реальні запити користувачів Запуск у playground може виглядати краще, тоді як той самий промпт знижує якість на неочищених вхідних даних На майстер-класі показано мінімальний цикл оцінки: завдання, набір даних, оцінка, офлайн-тестування, онлайн-логи, людський огляд У статті нижче ця ж ідея застосовується до пошуку, перевірок на галюцинації, версіонування та регресійних тестів зміни промпта Перегляньте майстер-клас, а потім прочитайте статтю, перш ніж наступне редагування промпта буде впроваджено без регресійного тесту