Cette semaine, j’ai terminé le livre « If Anyone Builds It, Everyone Dies » et le cours « AI Risk Fundamentals » de Lens Academy. @So8res et @ESYudkowsky ont fait un excellent travail avec ce livre. Les histoires et les exemples rendent un sujet extrêmement complexe beaucoup plus facile à comprendre. L’idée centrale est assez directe : si nous continuons à pousser vers une IA superintelligente sans comprendre ce que nous construisons réellement, nous pourrions ne pas avoir une deuxième chance pour la corriger. Les auteurs affirment qu’une IA suffisamment avancée pourrait devenir capable de provoquer l’extinction humaine, ce qui signifie que nous pourrions finir par créer quelque chose qui mettrait fin à l’humanité elle-même. Les auteurs soutiennent que ce n’est pas simplement une autre vague technologique. C’est fondamentalement différent, et être légèrement erroné sur la manière dont nous construisons ou contrôlons ces systèmes pourrait avoir des conséquences irréversibles. Leur solution proposée est d’arrêter complètement le développement de l’IA. Je trouve cela difficile à accepter, surtout compte tenu de l’impact positif que l’IA a déjà sur nos vies. Mon avis : adopter une position intermédiaire. Nous devrions continuer le développement de l’IA, mais allouer nettement plus de ressources à la sécurité et à l’alignement de l’IA. Pendant notre discussion de groupe, quelqu’un a mentionné que seuls environ 1 employé sur 100 dans l’industrie de l’IA travaille sur la sécurité de l’IA. Si cela est même approximativement vrai, je pense que ce déséquilibre mérite d’être pris au sérieux. Les laboratoires de pointe et les gouvernements doivent investir beaucoup plus pour comprendre comment ces systèmes fonctionnent réellement et pour la sécurité de l’IA, plutôt que de les traiter comme des boîtes noires et de se contenter de les affiner. Nous construisons de plus en plus de systèmes capables d’agir de manière autonome. Les incidents récents impliquant des agents d’IA interagissant avec des systèmes du monde réel rappellent que ce problème devient de plus en plus concret. Après avoir lu ce livre, je suis beaucoup plus convaincu que la sécurité de l’IA mérite bien plus d’attention et de ressources qu’elle n’en reçoit actuellement.