Braintrust ソリューションズ エンジニア： 「最高のLLMでも、一貫したパフォーマンスを保証するとは限らない」 この文が、編集されたプロンプトが実際のユーザーのリクエストに応える前にテストが必要な理由である。 プレイグラウンドでの実行は良さそうに見えるが、同じプロンプトでノイズの多い入力では品質が低下することがある。 ワークショップでは、最小限の評価ループを示している：タスク、データセット、スコア、オフラインテスト、オンラインログ、人間によるレビュー。 以下の記事では、この点をリトリーバル、幻覚チェック、バージョニング、プロンプト変更のリグレッションテストに適用している。 次のプロンプト編集をリグレッションテストなしでリリースする前に、ワークショップを視聴し、その後記事を読むこと。