Cientista-chefe da OpenAI alerta para a crescente complexidade e desafios de alinhamento da IA

Autor: Jakub Pachocki

Tradução: Deep潮 TechFlow

Leitura destacada da Shenchao: O cientista-chefe da OpenAI se manifestou raramente, afirmando diretamente que a IA está se aproximando da autoaprimoração recursiva, e que as ferramentas de alinhamento e monitoramento já não conseguem acompanhar a velocidade da evolução do sistema. Ele não ofereceu conclusões tranquilizadoras, mas expôs os riscos mais desafiadores dos próximos anos: a humanidade pode estar criando uma mente que não consegue compreender plenamente nem controlar totalmente. Para profissionais que acompanham a interseção entre IA e criptomoedas, este é um artigo essencial sobre perda de controle e limites de defesa.

Em um nível mais amplo, o avanço da inteligência artificial é impulsionado pelo aumento da capacidade de computação. Por volta de 2017, tínhamos uma compreensão profunda disso dentro da OpenAI. Na época, observamos que diversos projetos de pesquisa obtinham retornos contínuos ao serem escalados. Assim, começamos a buscar muito mais capacidade de computação do que originalmente planejado e passamos a concentrar cada vez mais nossa pesquisa em poucos direções altamente escaláveis. Acreditamos que essa é a única maneira de nos manter na vanguarda da pesquisa em IA e influenciar o impacto da AGI.

Ao longo do caminho, surgiram novos algoritmos, bem como novas ideias criativas apresentadas por equipes e pesquisadores individuais. Em geral, vejo esses avanços como descobertas no caminho de expansão. A ciência do aprendizado profundo ainda está em estágio inicial, e progressos algorítmicos significativos muitas vezes estão intimamente ligados ao acesso a poder computacional. Se você ampliar a perspectiva para vários anos, a IA está continuamente se tornando mais inteligente à medida que é escalada em computadores maiores.

Além disso, como previsto por Ray Kurzweil no final do século XX, agora estamos em um momento da história da computação em que a inteligência artificial começa a superar os seres humanos em níveis transformadores.

A IA é mais como algo que "cresce" do que algo que é projetado. Em termos fundamentais, é o produto de repetir inúmeras vezes o mesmo passo de otimização simples em uma capacidade de cálculo inconcebível. Isso cria um sistema extremamente complexo que opera por meio de conceitos abstratos e consegue simular certos aspectos do comportamento humano. Podemos descobrir insights sobre os diversos mecanismos menores que emergem dentro desse sistema, um processo semelhante à neurociência. E, assim como na neurociência, seu comportamento geral também ultrapassa o que somos capazes de compreender completamente.

A pesquisa em IA baseada em aprendizado profundo é, em grande parte, uma ciência experimental. Investimos grande esforço na construção de algoritmos fundamentados e na formulação de previsões testáveis. Mas, em essência, nossas execuções de treinamento em larga escala são experimentos, e às vezes os resultados nos surpreendem. Além disso, à medida que as capacidades dos sistemas aumentam, os resultados tornam-se cada vez mais difíceis de interpretar.

Mais complexo ainda é o fato de que os algoritmos atuais geralmente fazem com que habilidades fáceis de medir progridam mais rapidamente do que habilidades difíceis de quantificar objetivamente. Gastamos muito tempo tentando entender como as habilidades se generalizam e quais competências devem ser priorizadas, pois serão as mais importantes nos próximos anos. Por exemplo, acreditamos que, com esforço adicional, poderíamos tornar o modelo mais forte em pesquisa matemática. No entanto, não priorizamos essa direção, pois estamos mais focados na autorevisão recursiva e na pesquisa de alinhamento automatizado. Isso voltarei a mencionar posteriormente.

A inteligência obtida por meio do aprendizado profundo não pode ser diretamente comparada à inteligência humana. Para ter um impacto significativo neste mundo real—seja muito útil ou muito perigoso—a IA não precisa igualar ou superar todas as capacidades humanas. Ela precisa apenas superar os humanos em um número suficiente de capacidades. E quanto mais dimensões ela superar continuamente os humanos, mais difícil se torna para nós saber exatamente quão forte ela é.

Como a inteligência artificial surge de processos fundamentalmente diferentes da inteligência humana, não podemos assumir que ela seguirá automaticamente os princípios humanos nem que generalizará esses princípios de maneira semelhante aos humanos. O problema central da pesquisa em IA é o problema de alinhamento: fazer com que a IA "se esforce para fazer o correto segundo os padrões humanos".

Para facilitar a organização das direções de pesquisa reais, acho útil distinguir entre alinhamento de objetivo e alinhamento de valor.

O alinhamento de objetivos é aproximadamente: “O AI se esforça para alcançar os objetivos apresentados a ele?” Pode incluir a capacidade de seguir hierarquias de instruções, comunicar-se e colaborar com humanos, tentar compreender os objetivos humanos, entre outros. Essa direção é extremamente importante na prática.

A alinhamento de valores é uma propriedade mais intrínseca do modelo. É a capacidade de adotar princípios de alto nível e generalizá-los; mesmo diante de objetivos ambíguos ou conflitantes, ou ao ser colocado em situações desconhecidas ou adversas, ele consegue agir de forma “racional”. Um AI alinhado deve ser honesto, íntegro e amar os seres humanos.

Claro, a fronteira entre alinhamento de valores e alinhamento de objetivos pode ser nebulosa. Cuidar verdadeiramente dos objetivos exige tentar inferir as intenções e valores por trás deles. No entanto, em geral, quando falo sobre a importância a longo prazo da pesquisa de alinhamento, refiro-me ao alinhamento de valores.

O desafio fundamental do alinhamento de IA é a generalização. À medida que as máquinas se tornam mais inteligentes, elas lidam com conceitos de níveis mais elevados e situam-se em ambientes cada vez mais diferentes daqueles em que foram treinadas. Elas podem falhar ao generalizar para novas situações os valores ensinados e reforçados durante o treinamento. Além disso, é difícil determinar como elas agirão. Ainda mais difícil é o fato de que o ecossistema geral no qual a IA é utilizada muda muito rapidamente. Por exemplo, as IAs treinadas hoje precisam ser capazes de interagir de forma robusta com várias outras IAs. O mais crucial é que precisamos que as IAs futuras continuem a adotar os valores humanos, independentemente de acreditarem ou não estarem sendo supervisionadas por humanos.

Os métodos de treinamento de alinhamento atualmente aplicados dividem-se principalmente em duas categorias.

O primeiro tipo incentiva comportamentos coerentes com o aprendizado por reforço orientado por objetivos. O comportamento do modelo é avaliado, geralmente por IA, para determinar se está alinhado com um modelo de preferência, “normas” ou “constituição” fornecidos, recebendo recompensas correspondentes. Esse método é muito eficaz em geral e constitui parte central da construção de assistentes de IA modernos. Infelizmente, também pode ser frágil e fortemente dependente da cobertura da supervisão de treinamento e da capacidade do modelo de generalizar a partir das situações encontradas durante o treinamento. Por exemplo, no caso da OpenAI e da Hugging Face, o agente respeitou um limite, ou seja, não realizou engenharia social contra humanos. No entanto, claramente não evitou outras ações fora do escopo que violavam o espírito dos valores nos quais foi treinado em outros contextos.

Esses métodos já trouxeram resultados significativos. Nosso modelo de hoje é em grande parte útil, inofensivo e demonstra alguns comportamentos encorajadores, próximos da alinhamento de valor. Mas eles ainda não nos garantem que, em sistemas com capacidade muito superior à humana, essas restrições de valor continuarão eficazes.

À medida que as capacidades dos sistemas de IA aumentam, precisamos garantir que o treinamento de alinhamento de valores preceda o treinamento de capacidade. No entanto, existe um desafio fundamental aqui: sistemas mais poderosos são mais propensos a descobrir sozinhos falhas, contornar testes ou disfarçar seu próprio comportamento. Eles podem aprender a parecer alinhados com os valores humanos em ambientes de teste, mas agir de forma totalmente diferente em ambientes reais de implantação. Isso é conhecido como "disfarce de alinhamento".

Mas se tentarmos forçá-las com meios mais rigorosos, elas podem desenvolver comportamentos de resistência e engano, ou interpretar nossa intervenção como parte do próprio mundo, gerando reações contraintuitivas. Ao tentar controlar um sistema mais inteligente que nós, enfrentamos naturalmente uma assimetria.

À medida que mentes que não conseguimos compreender totalmente se tornam cada vez mais poderosas, somos forçados a depender de outro conjunto de ferramentas: monitoramento. Se pudermos observar continuamente as atividades internas da IA, talvez consigamos detectar sinais antes que ela ultrapasse certos limites.

Na OpenAI, temos estado avançando na pesquisa de explicabilidade, tentando abrir a "caixa preta" das redes neurais. Esses esforços já produziram progressos. Agora somos capazes de identificar algumas representações que fornecem pistas substanciais sobre o funcionamento interno do modelo. No entanto, a pesquisa atual em explicabilidade ainda é rudimentar, especialmente na compreensão do raciocínio abstrato em modelos de grande escala. A lacuna entre nossa capacidade de observar o interior do modelo e a complexidade do raciocínio do próprio modelo está aumentando.

Isso me preocupa especialmente. Porque o problema de generalização da monitoração é tão grave quanto o problema de alinhamento. Se um sistema for mais habilidoso que nós em se esconder, nossas ferramentas de monitoramento terão dificuldade em garantir que não serão contornadas. Podemos acreditar que o modelo é seguro porque vemos uma série de métricas que parecem boas, enquanto, na realidade, o modelo está apenas otimizando essas métricas. Ele aprenderá a esconder os objetivos que não queremos que tenha, ou a esconder o que está fazendo.

Se o modelo começar a impulsionar sua própria melhoria — algo que acredito ser muito provável nos próximos anos — ele precisará de habilidades como planejamento, engano e autoproteção. Essas habilidades podem surgir da pressão dos objetivos que definimos para ele ou de suas tentativas de agir nas falhas da supervisão. Para garantir que ele não desenvolva essas coisas, precisamos ou resolver o problema do alinhamento de valores ou acompanhar cada passo de sua evolução com nossa capacidade de monitoramento. Ambos os aspectos ainda estão longe de serem suficientes atualmente.

Ainda não temos uma teoria satisfatória sobre generalização, e parece pouco provável que uma seja estabelecida em curto prazo, pelo menos sem a ajuda de IA mais poderosa. Portanto, atualmente, nossa capacidade de validar empiricamente técnicas de alinhamento é, na prática, mais importante do que as próprias técnicas de alinhamento.

O principal foco da OpenAI aqui tem sido o monitoramento da cadeia de pensamento. Baseia-se em uma ideia escalável e atraente: grande parte da capacidade do modelo vem de um processo de raciocínio linguístico, ou seja, a cadeia de pensamento. Se otimizarmos os resultados desse processo em escala, mas não supervisionarmos o processo em si, então a cadeia de pensamento não tem motivação direta durante o treinamento para ocultar quaisquer ideias ou objetivos desalinhados. Isso não significa que o modelo aprenderá a externalizar tendências desalinhadas que não dependem da cadeia de pensamento; mas pode nos permitir monitorar com precisão o aumento de capacidade trazido pelo raciocínio.

Enquanto desenvolvíamos modelos de inferência, compreendemos a importância potencial do monitoramento da cadeia de pensamento. Ao lançar o o1-preview, projetamos intencionalmente o produto para ocultar a cadeia de pensamento, protegendo-a a longo prazo da pressão de supervisão. Desde então, em nosso desenvolvimento contínuo, nos esforçamos para manter a regra de não supervisionar o processo de inferência. O monitoramento da cadeia de pensamento tornou-se uma ferramenta extremamente importante para nossa pesquisa sobre como os modelos generalizam a partir da distribuição de treinamento, permitindo-nos não apenas observar e analisar o comportamento dos modelos, mas também seus processos internos.

Enquanto estudamos os modelos da série Astra, esta ferramenta ainda é crucial. No entanto, infelizmente, nossa avaliação indica que nossa capacidade de depender do monitoramento da cadeia de pensamento está diminuindo gradualmente. Isso é o resultado de múltiplos fatores.

Modelos de raciocínio modernos são usados em ambientes mais complexos do que o o1-preview; seus processos de raciocínio estão cada vez mais entrelaçados com a interação com humanos, outros IA e o uso de ferramentas. Muitas dessas interações devem ser supervisionadas, o que embaça os limites que desejamos manter.

A IA está se tornando mais forte em raciocinar e manipular seu próprio processo de raciocínio.

Com o aprimoramento do desempenho do pré-treinamento, também observamos que os modelos tornam-se mais inteligentes, mesmo sem utilizar raciocínio linguístico.

Esses desafios não são necessariamente insuperáveis. Espero que possamos desenvolver intervenções para aumentar a monitorabilidade das cadeias de raciocínio dos modelos, por exemplo, compreendendo melhor as interações entre diferentes objetivos de otimização e as várias formas de cálculo em tempo de teste utilizadas pelos modelos. Também acredito que combinar a ideia de monitoramento de cadeias de raciocínio com a de monitoramento de ativações terá grande valor, treinando em escala monitores que tenham acesso direto ao estado interno da rede, como o método “confissão”. Estamos avançando ativamente nessas ideias. No entanto, prevê-se que o progresso da IA geral será cada vez mais limitado pela confiança no monitoramento.

Para lidar com essa situação, acho que precisamos de uma defesa escalável que acompanhe o ritmo de crescimento da IA. Não é possível que os humanos verifiquem manualmente todos os comportamentos de cada nova geração de modelos. Nossas avaliações e testes de red team atuais ainda são eficazes para os modelos atuais, mas, à medida que as capacidades dos sistemas aumentam, esses métodos logo atingirão seus limites.

Precisamos de sistemas de IA capazes de descobrir automaticamente novos riscos. Esses sistemas de defesa também precisam ser suficientemente inteligentes para identificar comportamentos suspeitos em sistemas mais inteligentes que eles mesmos. Isso cria um desafio recursivo: os defensores devem crescer tão rapidamente quanto os sistemas. Estamos em um ponto em que segurança e capacidade estão se tornando cada vez mais difíceis de separar. Para manter a segurança, podemos precisar continuar aumentando a capacidade da IA de defesa, o que, por sua vez, acelerará o crescimento geral da capacidade da IA.

Este é um ciclo inquietante. Aumentamos nossa capacidade em busca de segurança, mas o aumento da capacidade traz mais riscos. A verdadeira saída pode estar em descobrir, antes de atingir um ponto de perda de controle, como alinhar valor de forma estável e generalizar de maneira confiável. Mas devo admitir honestamente que ainda estamos muito longe desse objetivo.

É por isso que eu tendo a colocar minhas esperanças para os próximos anos nessa combinação: pesquisa de alinhamento tecnológico + sistemas de defesa automatizados + intervenções de governança amplas + vigilância do público e das instituições. Uma única medida não é suficiente. Não podemos depender apenas da autodisciplina de uma única empresa ou laboratório.

A razão mais forte para continuar treinando modelos mais inteligentes rapidamente é a necessidade de construir sistemas de defesa contra os perigos trazidos por outras IA.

Um risco claramente discutido ao longo deste ano é a segurança cibernética: a capacidade dos modelos de invadir e escapar de sistemas computacionais está superando a dos seres humanos. Isso amplia drasticamente o escopo dos riscos associados à IA: agentes serão capazes de acessar qualquer sistema, exceto os mais seguros, e afetar diretamente uma grande quantidade de coisas no mundo, mesmo sem um corpo físico. Atualmente, estamos em uma janela estreita durante a qual devemos utilizar os melhores modelos disponíveis para fortalecer significativamente a segurança de sistemas críticos.

Os riscos relacionados à IA infelizmente continuarão a aumentar a partir daqui. Um agente extremamente capaz, treinado e instruído explicitamente para executar ações maliciosas, traz um novo tipo de perigo; ele provavelmente ultrapassará as intenções do operador e generalizará comportamentos ainda mais extremamente maliciosos. À medida que a IA ganha mais autonomia, a fronteira entre abuso e comportamentos autônomos desalinhados tornar-se-á nebulosa. Podemos nos acostumar a ver a IA como uma ferramenta, mas alguns agentes perseguirão seus próprios objetivos. Eles encontrarão maneiras de cooperar com humanos por meio de negociação, engano ou chantagem.

Além disso, há riscos associados a novas tecnologias que a IA pode impulsionar, como patógenos engenheirados.

Precisaremos de IA poderosa e alinhada para defesa: proteger infraestruturas, defender em tempo real contra agentes descontrolados e inventar novas medidas de proteção. Este será um foco principal do trabalho de implantação da OpenAI.

Ao mesmo tempo, mesmo considerando a incerteza trazida pelas expectativas de avanços amplamente difundidos em IA e a necessidade de construir sistemas de defesa, não podemos permitir que isso se torne uma desculpa para ações imprudentes. Uma vez que as pessoas compreendam verdadeiramente a gravidade dos riscos envolvidos, a ideia de “avançar a todo custo” se torna absurda.

A inteligência artificial desempenha um papel cada vez mais importante em seu próprio desenvolvimento, sendo uma conclusão inevitável do contínuo progresso tecnológico. Se a IA continuar a avançar, a autoaprimoração recursiva das máquinas se tornará o núcleo das descobertas científicas futuras.

A pesquisa em IA automatizada é uma forma mais intensa de expandir a inteligência por meio de poder computacional; naturalmente, como parte disso, a IA também aprimorará a própria base computacional. Assim como na expansão, focamos a pesquisa da OpenAI na autoaprimoração recursiva, pois acreditamos que essa é a única maneira de continuar à frente na pesquisa em IA.

Gostaria de enfatizar que o conteúdo acima não significa que acredite que um aceleramento significativo da pesquisa em aprendizado profundo, especialmente a curto prazo, seja uma ação coletiva que a comunidade de pesquisa deva adotar. No entanto, acredito que o caminho atual está levando nessa direção, e todos nós precisamos fazer escolhas conscientes sobre como prosseguir. Temos dois principais pontos de alavancagem à nossa disposição: primeiro, orientar esse processo, fortalecendo o alinhamento e o monitoramento enquanto desenvolvemos a IA, e garantindo que os seres humanos permaneçam envolvidos; segundo, coordenar, conforme necessário, uma desaceleração no ritmo do desenvolvimento futuro, para construir gradualmente confiança nessas medidas.

O melhor caminho a seguir que vejo atualmente é combinar os dois.

Os avanços concretos alcançados em alinhamento e monitoramento geralmente estão profundamente entrelaçados com o progresso geral da IA. Exemplos excelentes incluem o aprendizado por reforço com feedback humano, que foi fundamental para treinar os primeiros assistentes de IA; e o monitoramento de cadeias de pensamento, mencionado anteriormente, que só se tornou possível graças aos avanços nos modelos de raciocínio. Devemos direcionar os processos de pesquisa cada vez mais automatizados para desenvolver essas novas insights, algoritmos e teorias, construindo gradualmente argumentos de segurança para IA mais capazes.

O sistema de IA expandido deve ser limitado pela nossa confiança na segurança. Precisamos transformar compromissos como o Preparedness Framework ou o Responsible Scaling Policy em padrões de segurança contínuos amplamente obrigatórios. Esses padrões podem ser aplicados por uma rede de agências de auditoria independentes, agências governamentais ou organizações internacionais.

O desafio central da pesquisa em IA automatizada não é "chegar lá", mas chegar lá de uma maneira que mantenha as pessoas envolvidas no processo contínuo de aprimoramento e preserve o futuro nas mãos humanas.

Não consigo prever o horário exato, mas parece que estamos nos aproximando rapidamente de uma era em que a IA será capaz de impulsionar seu próprio desenvolvimento em várias áreas-chave. Isso significa que podemos entrar rapidamente na fase de autoaperfeiçoamento recursivo.

Dentro da OpenAI, já começamos a reajustar as prioridades de pesquisa, alocando mais recursos para alinhamento e defesa, em vez de apenas expansão de capacidade. É por isso que enfatizo que não perseguiremos apenas modelos maiores, mas precisaremos, quando necessário, optar unilateralmente por pausar.

No entanto, essas decisões não podem ser deixadas apenas nas mãos de poucas pessoas dentro das empresas. Os governos e a comunidade internacional precisam intervir antes que os riscos se tornem irreversíveis. Isso inclui estabelecer mecanismos de monitoramento para treinamentos avançados, auditorias obrigatórias por terceiros e acordos internacionais com base em limiares de capacidade.

Não tenho certeza se essas medidas poderão ser implementadas a tempo. Às vezes, fico frustrado porque nossas medidas de segurança sempre estão atrás das capacidades, e não à frente. Parece que estamos sempre tentando alcançar. Mas ainda acho que há motivos para manter a esperança: naquela noite de 2023, apenas intuíamos essa possibilidade, e hoje ela é tão clara que pode ser discutida publicamente. Isso, por si só, é um avanço.

Não vou fingir que tenho todas as respostas. Estamos criando algo fundamentalmente diferente da mente humana, algo que pode se tornar mais poderoso do que nós muito em breve. É uma ideia humilde, mas também nos oferece uma oportunidade: moldá-lo com nossos melhores valores.

Se fizermos bem, será a maior conquista da humanidade. Se fizermos mal, poderá ser um fracasso do qual não nos recuperaremos.

Whether we can keep the future in human hands is a question that will be decided in the coming years.

Como mencionamos recentemente com Sam, os esforços priorizados pela OpenAI servem a três metas norteadoras:

Superar a próxima fase do avanço da IA construindo pesquisadores de IA automatizados, iterando com eles para alinhar problemas e buscando maneiras de manter as pessoas envolvidas no ciclo de autoaperfeiçoamento.

Libere os benefícios científicos e econômicos trazidos pelas máquinas de inteligência extrema.

Dê a cada pessoa o seu próprio AGI pessoal.

Este artigo concentra-se apenas no primeiro ponto, pois acredito que ele é atualmente o mais urgente. No entanto, tenho profunda expectativa e gratidão pelos benefícios que futuros avanços tecnológicos trarão. IA alinhada no futuro pode impulsionar a ciência, desenvolver novas terapias e trazer riqueza material ampla. IA amigável e honesta pode ajudar as pessoas a enfrentar dificuldades da vida, melhorando concretamente seu bem-estar e satisfação. A OpenAI dedicou grandes esforços para promover esses benefícios. Um exemplo atual do qual me orgulho e que beneficia as pessoas ao meu redor é nosso profundo investimento na capacidade do ChatGPT de fornecer informações de saúde.

Mesmo que as perspectivas de longo prazo da IA sejam extremamente promissoras, nossa maior parte da atenção deve ser direcionada aos próximos anos. Estamos passando por uma fase de transição para um mundo habitado por máquinas extremamente inteligentes, e devemos garantir que essa transição seja benéfica para a humanidade. Em um mundo onde a maioria das tarefas possa ser realizada pela IA, precisamos encontrar maneiras de preservar a agência humana e estabelecer o valor intrínseco de “ser humano”. Devemos evitar a concentração extrema de poder: empreendimentos que antes exigiam milhares de especialistas poderão, no futuro, ser realizados por poucas pessoas operando um único computador poderoso. Além disso, devemos assegurar que os humanos permaneçam no controle do futuro, não sendo deixados para trás por um progresso descontrolado impulsionado por uma inteligência externa que nos ultrapasse.

Atualmente, acho que nenhum laboratório alcançou um nível suficiente de alinhamento e monitoramento para sustentar sua expansão responsável na velocidade máxima por períodos mais longos. Aguardo e espero que o desaceleramento voluntário se torne a norma até que um limiar de segurança comum seja estabelecido. Também acredito que a coordenação internacional sobre o futuro do desenvolvimento da IA precisa se tornar uma prioridade absoluta para os governos de todos os países.

1 Isso inclui a expansão de jogos, robótica e, mais importante à posteriori, a expansão de redes recorrentes para modelar linguagem, que serviu como precursor para a série de pesquisas GPT.

A segunda razão para este design é prevenir a distilação. No entanto, ao longo de todo o processo de desenvolvimento, manter a rastreabilidade da cadeia de raciocínio sempre foi nossa maior prioridade explícita.