Esta semana, terminei o livro "If Anyone Builds It, Everyone Dies" e o curso "AI Risk Fundamentals" da Lens Academy. @So8res e @ESYudkowsky fizeram um ótimo trabalho com o livro. As histórias e exemplos tornam um tópico extremamente difícil muito mais fácil de entender. A ideia central é bem direta: se continuarmos avançando em direção a IA superinteligente sem entender o que realmente estamos construindo, podemos não ter uma segunda chance para consertá-la. Os autores argumentam que uma IA suficientemente avançada poderia potencialmente se tornar capaz de causar a extinção humana, o que significa que poderíamos acabar criando algo que encerra a própria humanidade. Os autores afirmam que isso não é apenas mais uma onda tecnológica. É fundamentalmente diferente, e estar ligeiramente errado sobre como construímos ou controlamos esses sistemas pode ter consequências que não podemos reverter. Sua solução proposta é interromper completamente o desenvolvimento de IA. Encontro difícil aceitar isso, especialmente considerando o impacto positivo que a IA já está tendo em nossas vidas. Minha posição: adotar uma posição intermediária. Devemos continuar o desenvolvimento de IA, mas alocar significativamente mais recursos para segurança e alinhamento de IA. Durante nossa discussão em grupo, alguém mencionou que apenas cerca de 1 em cada 100 funcionários da indústria de IA trabalha em segurança de IA. Se isso for mesmo aproximadamente verdadeiro, acho que o desequilíbrio merece ser levado a sério. Laboratórios de ponta e governos precisam investir muito mais em entender como esses sistemas realmente funcionam e em segurança de IA, em vez de tratá-los como caixas pretas e simplesmente ajustá-los. Estamos cada vez mais construindo sistemas que podem agir de forma autônoma. Incidentes recentes envolvendo agentes de IA interagindo com sistemas do mundo real são um lembrete de que esse problema está se tornando mais concreto. Após ler este livro, fiquei muito mais convencido de que a segurança de IA merece muito mais atenção e recursos do que recebe atualmente.