今週、『If Anyone Builds It, Everyone Dies』とLens Academyの『AI Risk Fundamentals』コースを完了しました。 @So8res と @ESYudkowsky はこの本を非常に良く仕上げてくれました。物語や例が、極めて難しいテーマをはるかに理解しやすくしてくれています。 核心的な考え方は非常に率直です：私たちが、実際に何を構築しているのかを理解せずに超知能AIの開発を押し進め続けると、二度とそれを修正する機会を失う可能性があります。著者たちは、十分に高度なAIが人間の絶滅を引き起こす可能性を有するため、最終的に人類自体を終わらせるものを生み出してしまうかもしれないと主張しています。 著者たちは、これは単なる別の技術の波ではないと述べています。これは本質的に異なり、これらのシステムを構築または制御する方法についてわずかでも誤れば、取り返しのつかない結果を招く可能性があります。 彼らが提案する解決策は、AI開発を完全に停止することです。しかし、AIがすでに私たちの生活に与えている肯定的な影響を考えると、私はこの提案を受け入れるのは難しいと感じます。 私の見解：中間路線を取るべきです。AI開発を継続しつつ、AIの安全性とアライメントに大幅に多くのリソースを割くべきです。 グループディスカッション中、誰かがAI業界の従業員の約100人に1人しかAI安全性に従事していないと述べていました。もしこれが概ね真実であれば、この不均衡は真剣に受け止める価値があると思います。 フロンティアラボや政府は、これらのシステムをブラックボックスとして単に微調整するのではなく、それらが実際にどのように機能するのか、そしてAI安全性についてより深く理解するために、はるかに多くの投資を行う必要があります。 私たちはますます自律的に行動するシステムを構築しています。最近のAIエージェントが現実のシステムと相互作用した事例は、この問題がますます現実的になっていることを思い出させてくれます。 この本を読んだ後、私はAI安全性が現在よりもはるかに多くの注目とリソースを必要としていることに、より強く確信するようになりました。