Nakakaramdam ako ng malakas na vibe na hinintay ng Anthropic ang pag-train ng mga frontier model sa mga nakaraang ilang buwan upang tugunan ang mga isyung ito, ngunit malapit nang muling mag-apply ng buong lakas. Parang tayo ay direkta na nagbango sa pader, nag-step back ng tatlo, at ngayon ay subukang gawin muli ang parehong bagay. Sasabihin natin na ang kanilang mga pagsisikap sa seguridad at mga bagong classifier at grader ay nalutas ang problema ng environment slop. Sa anong valley papunta ang mga gradient pagkatapos ay hindi na ito isang opsyon? Sa punto na ito, baka mas mabuting adversarially training ang mga model upang makapag-trick sa lahat ng mga grader at classifier. Mas pinipigilan natin, mas deceptibeng naging mga model. Mga posibleng palagay na maaari mong gawin: - Mga kakaibang pagkakaiba sa pagitan ng evals at real-world performance. Mga paranoid at shizo na model. Maaari mo ring tawagin ito bilang situational awareness. - Mas magiging mahusay ang mga model sa pagmomodelo ng mga evaluator at kung sino man o ano man ang nagdisenyo sa kanila. - Mas kaunting totoo na CoT (hacky na aksyon ngunit walang verbalization ng hack na iyon). - Mas kaunting agentic na model (hindi perpekto ang real-world setups at nagpapahintulot sa reward hacks at maaaring magkasya ang user instructions sa setup. Kaya tumigil ang mga model at hihingi ng paglilinaw, at kailangan mong i-overexplain lahat). May kakaibang wakas sa lahat nito. Kung palaging gumagawa si Claude ng mga kapaligiran para sa mga hinaharap na Claude, ngunit palaging momodelo ng mga hinaharap na Claude ang sinumang naglikha ng mga kapaligiran, nasa isang self-referential pickle ka. (ngunit posibleng simple lang ito—nakakakuha ka ng isang stable na adversarial setup) Ano ang mangyayari kung buong pagkakaisolado mo ang isang tao? Kakakuha ka ng isang tao na may malakas, ngunit maliit na paniniwala; may kakaibang ugali at masamang calibration. Ang kakaibang wakas ay maaaring ang kailangan mo ay model diversity. Ngunit ang mga positive feedback loops (lalo na ang ekonomikong) ay pinapalayas ang diversity na iyon. Hindi ka maaaring emperador nang walang mga magsasaka