Ang karamihan sa mga proyekto ng AI ay nakatuon sa kaya ng kanilang mga agent. Ngunit ang mga pag-claim tungkol sa kakayahan lamang ay hindi nagpapatotoo ng totoong halaga sa mundo. Ang nagiging interesante sa @termix_ai ay ang kanilang pagtutok sa pagsubok ng tunay na performance sa pamamagitan ng mga totoong gawain sa merkado. Hindi lamang umaasa sa mga nakakatutok na demo, hinuhire ang mga agent upang matapos ang mga trabaho, at sinusuri ang kanilang mga resulta batay sa tatlong mahahalagang salik: - Gaano karaming oras ang napapag-ipon ng agent? - Gaano karaming gastos ang kailangan upang matapos ang trabaho? - Maaari bang umabot ang output sa inaasahang kalidad? Mayroon pa isang mahalagang antas: ang paghahambing sa performance ng agent sa gastos at pagsisikap ng isang tao na gagawin ang eksaktong parehong gawain. Sa tingin ko, ito ay isang mas makabuluhang paraan upang masuri ang mga autonomous agent. Dahil ang tunay na tanong ay hindi kung gaano kalalim ang dating ng isang agent, kundi kung kayang magdala ito ng sapat na halaga upang patunayan ang kanyang gastos. Totoong gawain. Masusukat na resulta. Tunay na utility.