Hindi sinimulan ang anumang neural network sa buong proseso! Ang malaking modelo na sumulat ng mga patakaran ng kontrol ay pumasok sa industriya ng fluid dynamics, at nagpapatakbo ng buong estratehiya sa halagang $14. Si Weng Jiayi, dating pangunahing miyembro ng OpenAI sa post-training, ay nagpatunay na ang "pagsulat ng code na may malaking modelo lamang" ay maaaring makapagtapos sa mga laro ng Atari. Ngayon, ang siyentipiko na si Paul Garnier ay isinama ang paraang ito sa mas matigas na larangan ng kontrol sa fluid dynamics. Hindi sinimulan ang anumang neural network sa buong proseso. Ginamit niya lamang ang Codex 5.5 bilang programmer, at paulit-ulit na binago ang mga Python script habang pinapanood ang mga simulation ng fluid. Sa pamamagitan ng mga patakaran ng kontrol na isinulat nang kamay, nakapagtagumpay ang AI sa labis kaysa sa kalahati ng mga pisikal na pagsubok, at nakalampas sa mga pinakamataas na baseline ng reinforcement learning (DRL). Para sa pagbawas ng drag sa kotse at pagpapayat ng turbulent flow sa pipe, dating gumagamit ang industriya ng malaking computing power upang "ipakain" ang isang black-box model na hindi maintindihan para kontrolin ang mga valve ng airflow. Tinanggal ng Codex ang ganitong dead end. Ang mga patakaran na isinulat nito ay napakalinaw—halimbawa, "I-delay ang jet kung ang lokal na curvature ay sobrang malaki." Ang ilang sampung linya ng maikling code na may pisikal na kaalaman ay direktang nagpalit sa walang-kwentang pagsubok at pagkakamali ng neural network. Inilipat ang black-box sa code, at tinanggal ang mga kahinaan ng neural network—ang kawalan ng flexibility at pagkabulok nang maliit lang ang pagbabago. Kahit anong maliit na pagbabago sa hardware (tulad ng pagbabago mula sa 5 hanggang 10 na nozzle) ay nagpapabagsak sa dating model, at kailangan muli ang pagtatrabaho at pagbabayad para i-training. Ngayon, kailangan lamang baguhin ang isang konstante sa code, at agad na makakasalungat ang sistema sa bagong device. Kapag pinahaba ang testing time nang apat beses, bumagsak ang lahat ng tradisyonal na DRL model na lumabas sa kanilang nakaranasan. Ngunit dahil direktang sumusunod sa pisikal na lohika, patuloy na gumagana nang maayos ang code na isinulat ng malaking modelo. Para makapagpatakbo ng buong estratehiyang ito, gumamit lamang ang malaking modelo ng 21.25 milyong token, at ang kabuuang gastos ay mas mababa sa $14. #AI #AIAgent