Esta semana terminé "If Anyone Builds It, Everyone Dies" y el curso de Lens Academy "AI Risk Fundamentals".
@So8res y @ESYudkowsky hicieron un gran trabajo con el libro. Las historias y ejemplos hacen que un tema extremadamente difícil sea mucho más fácil de entender.
La idea central es bastante directa: si seguimos impulsando hacia una IA superinteligente sin comprender qué estamos construyendo realmente, podríamos no tener una segunda oportunidad para arreglarlo. Los autores argumentan que una IA suficientemente avanzada podría llegar a ser capaz de causar la extinción humana, lo que significa que podríamos terminar creando algo que ponga fin a la humanidad misma.
Los autores sostienen que esto no es solo otra ola tecnológica. Es fundamentalmente diferente, y estar ligeramente equivocados sobre cómo construimos o controlamos estos sistemas podría tener consecuencias que no podemos revertir.
Su solución propuesta es detener por completo el desarrollo de la IA. Encuentro difícil aceptar esto, especialmente dado el impacto positivo que la IA ya está teniendo en nuestras vidas.
Mi opinión: tomar una postura intermedia. Debemos continuar con el desarrollo de la IA, pero asignar significativamente más recursos a la seguridad y alineación de la IA.
Durante nuestra discusión grupal, alguien mencionó que solo alrededor de 1 de cada 100 empleados en la industria de la IA trabaja en seguridad de la IA. Si esto es siquiera aproximadamente cierto, creo que el desequilibrio merece ser tomado en serio.
Los laboratorios frontera y los gobiernos deben invertir mucho más en comprender cómo funcionan realmente estos sistemas y en la seguridad de la IA, en lugar de tratarlos como cajas negras y simplemente ajustarlos finamente.
Estamos construyendo cada vez más sistemas que pueden actuar de forma autónoma. Los incidentes recientes con agentes de IA interactuando con sistemas del mundo real son un recordatorio de que este problema se está volviendo más concreto.
Después de leer este libro, estoy mucho más convencido de que la seguridad de la IA merece mucha más atención y recursos de los que recibe actualmente.
