Isinulat ng isang researcher na nagtrabaho sa Anthropic ng tatlong taon para sa pagtuturo ng model, at isinulat niya ang kanyang dahilan sa isang lugar na makikita ng lahat 🧐 Si Jacob Coxon, 27 taong gulang. Una siyang nagtrabaho sa OpenAI, pagkatapos sa Anthropic sa bahagi ng pretraining. Nang umalis, isinummary niya ito sa isang pangungusap: ang mga laboratorio ay naghahabol para sa sariling pagpapabuti ng artificial intelligence, at ginagawa nila ito sa pamamagitan ng buhay natin lahat. Ang bahaging nagdulot ng tunog ay ang sumusunod 👇 Si Evan Hubinger, ang responsable sa alignment science ng Anthropic, ay lumabas at pinatotohanan ito. Ang kanyang sariling pagtataya: may higit sa 10% na posibilidad na mawawala ang artificial intelligence sa ating lahat sa susunod na sampung taon. Sinasabi niya na mababa ang panganib sa kasalukuyang mga model, ngunit ang kanyang kinakatakutan ay ang recursive self-improvement. Hindi karaniwan na sabihin ng isang kumpanya ang ganitong bagay nang bukas ng kanyang sariling seguridad team 😳 Naging politikal agad ang talakayan 🏛️ Ang Ban Artificial Superintelligence Act, na inanunsyo ni Bernie Sanders at Greg Casar noong Setyembre 3, ay nasa mesa na: permanenteng bawal sa superintelligence, paglikha ng bagong pederal na ahensya upang magsulat ng mga patakaran sa seguridad habang may temporaryong paghinto sa mga limitadong model, hanggang 20 taon na imprisyon para sa paglabag, at obligatoriyong liquidasyon para sa kumpanya. Hindi nakatigil ang kalaban 🤨 Ang oras ng pagpapahayag, ang pagkakatugma ng mga unang quote mula sa mga politikal na organisasyon na pinagkukunan ng parehong pondo, at ang ganap na pagkakatugma sa proyekto ay nagbigay-daan sa mga tao na sabihin: “hindi ito organiko, ito ay isang regulatoryong trap.” Kaya may dalawang kuwento dito: o isang totoong babala mula sa puso ng industriya, o isang operasyon upang isulat ang mga patakaran upang pigilan ang mga kalaban. Maaari ring tama ang pareho. Samantala, inilabas ng Anthropic ngayon ang pinakamalalim na ulat tungkol sa mga banta hanggang sa kasalukuyan. Ipinapaliwanag nito ang mga pagsubok na gamitin ang mga model para sa cyber attack, influence operations, at surveillance. Isang magandang dokumento para sa mga nais malaman kung saan nagmumula ang talakayan 📄 Ano ang mas naniniwala ka, isang tapat na babala o isang maayos na inihanda na lobi? 🤔 Ang nilalaman na ito ay para sa edukasyon lamang, hindi ito investment advice o investment consultation.