
Higit pang pag-aaral sa pag-aaral tungkol sa pagpapanggap ng alignment, at talagang nakakatakot. Hindi ito bagong bagay, ngunit ang katotohanan na ang pag-aaral na ito mula sa Anthropic ay halos dalawang taon na ang nakalipas, at pagtingin sa kaya ng Opus 3 noong panahong iyon, at sa makabuluhang puwang sa kakayahan at pag-iisip ng kasalukuyang frontier models, napakatakot nito. Ayon sa mga taong nagpapaliwanag sa pag-aaral, ang pinakamabuting paraan upang maunawaan ito ay basahin ang transcript ng hidden scratchpad na ibinigay sa modelo upang isulat doon ang kanyang pag-iisip. Hindi ko sigurado kung gaano karaming tulong ang mechanistic interpretability dito. Ano ang kasalukuyang state ng art sa larangan na ito, at gaano kagamit ang ito bilang kasangkapan upang matukoy ang ganitong uri ng pag-uugali? Nag-refresh ba ang Anthropic ng pag-aaral na ito at sinubukan ito sa kasalukuyang frontier models? Kung oo, paano ito nabago? Gaano kahusay ang mga kasalukuyang modelo sa terms ng situational awareness (dahil ito ang prerequisite upang makapagpapanggap ng alignment)? At paano sila nabago sa kakayahan na magkaroon ng consistent na persona sa mahabang panahon upang maipahayag ang mas kumplikadong estratehiya (hal. pag-unawa sa marginal utility ng isang maikling aksyon para sa isang malaking pangmatagalang plano)?



