LLMやエージェントワークフローを使用する際の非ラテン語のペナルティはあまりに大きく、信じられないほどです。 今回はヘブライ語で実験を行いました。 1回の6時間14分のQLoRA実行により、ヘブライ語のツールコール完全一致精度が43.4%から83.2%にほぼ2倍に向上し、英語の精度も70.5%から88.4%に改善されました。 エンドツーエンド実行の詳細: - フルパイプライン:1台のNVIDIA L40S GPUで7時間14分 - 学習:3,662ステップ、2エポック、3396万トークン - 最大GPUメモリ使用量:26,608 MiB - ヘブライ語の有効JSON:81.0% → 99.6% - ヘブライ語の関数名精度:74.7% → 99.2% - ヘブライ語と英語の差:−27.6ポイント → −5.2ポイント - 変換成功率:17,000行中16,272行(95.7%) - コスト:$14.11


