Principais pesquisadores de IA exploram o desenvolvimento de IA impulsionado por IA

Como fazer com que a IA desenvolva a próxima geração de IA por você

Autor do artigo, fonte: Conta oficial do WeChat "APPSO"

Se um engenheiro de IA chinês for altamente qualificado, tiver um currículo impressionante e ter se formado em uma instituição de elite como a Universidade de Pequim, ele pode fazer qualquer coisa — exceto não trabalhar.

Logo após deixar o Thinking Machines Lab, citando saúde e vida como "o alinhamento mais importante", Weng Li foi anunciada como de volta ao OpenAI. Segundo um porta-voz da empresa, ela liderará uma equipe que acelerará a pesquisa interna, participando da exploração do OpenAI sobre "autoaprimoramento recursivo", ou seja, permitir que a IA participe do treinamento e da melhoria de seus próprios modelos de próxima geração.

Não só isso, mas seu ex-colega, Ilya Sutskever, outro ex-membro-chave da OpenAI e fundador da Safe Superintelligence, finalmente deixou entrever uma brecha em sua pesquisa altamente confidencial. Após obter acesso raro à pesquisa interna, a NVIDIA decidiu investir na SSI e ampliar sua capacidade de computação em uma ordem de grandeza com o novo sistema Vera Rubin.

A NVIDIA acredita que a SSI tem avançado, nos últimos dois anos, em uma nova direção de pesquisa diferente da rota atual de grandes modelos. Ilya não forneceu mais detalhes, apenas disse: “Temos pesquisas que valem a pena escalar.”

A curiosidade do público aumentou ainda mais, e uma análise reversa das pistas públicas surgiu nas redes sociais, sugerindo que o SSI não está procurando a próxima grande fórmula de pré-treinamento, mas sim uma nova forma de iteração e evolução: permitir que os modelos não fiquem estáticos após o treinamento, mas sim se aprimorem continuamente por meio de feedback, experimentação e aprendizado contínuo.

Essa afirmação não foi confirmada pelo SSI, mas está altamente alinhada com as posições anteriores de Ilya. Ele já afirmou várias vezes que a era de scaling baseada apenas em mais dados e poder computacional está se aproximando de seus limites, e que a IA precisa reaprender a formar compreensões mais profundas com menos experiência, assim como os humanos, e continuar crescendo por meio da interação com o ambiente.

Esses talentos de IA já bastante bem-sucedidos parecem estar olhando todos na mesma direção: como fazer com que a IA desenvolva a próxima geração de IA por si mesma.

Ao mencionar autoaperfeiçoamento recursivo, é fácil imaginar uma cena de ficção científica: a IA de repente percebe suas próprias deficiências, modifica diretamente os pesos da rede neural e acorda dez vezes mais inteligente do que no dia anterior.

O ponto de partida na vida real é muito mais simples. O desenvolvimento de IA é, por natureza, uma linha de produção cíclica contínua: pesquisadores leem artigos e registros de experimentos, formulam uma hipótese, modificam o código de treinamento, aguardam na fila para executar experimentos, esperam pelos resultados, comparam métricas e buscam causas de falhas, depois projetam a próxima rodada.

Os grandes modelos de hoje já podem participar de muitas etapas: eles conseguem ler repositórios de código, reproduzir artigos, escrever scripts de experimento, chamar poder computacional para executar testes, organizar dezenas de resultados, analisar qual parâmetro pode estar com problema e continuar modificando o código. Antigamente, uma equipe levava dias para completar um ciclo; no futuro, múltiplos agentes poderão tentar paralelamente dezenas de abordagens e depois entregar os resultados mais promissores para avaliação humana.

Weng Li publicou, no início de julho, um artigo longo intitulado “Harness Engineering for Self-Improvement”, que quase antecipou a direção de pesquisa que ela iria liderar. Ela acredita que o caminho mais realista para autoaperfeiçoamento atualmente não é o modelo reescrever diretamente o cérebro, mas sim fazer com que a IA primeiro aprenda a modificar seu próprio ambiente de trabalho: analisar automaticamente registros de falhas, ajustar o gerenciamento de contexto, a chamada de ferramentas e o fluxo de trabalho, e depois continuar aprimorando esse sistema com novos resultados experimentais. Harnesses mais maduros podem impulsionar a pesquisa automatizada, enquanto modelos mais poderosos podem, por sua vez, tornar os harnesses mais simples, criando um ciclo recíproco.

Isso também cria uma interessante ressonância entre as duas abordagens de Weng Li e Ilya: a OpenAI parece estar gradualmente entregando seus processos de pesquisa atuais à IA, permitindo que ela se torne primeiro um engenheiro de pesquisa funcional; já a SSI pode estar tentando buscar, em níveis mais fundamentais, novos paradigmas de aprendizado, permitindo que os modelos possuam a capacidade de iteração e evolução contínuas.

A IA não precisa, desde o início, ter a capacidade de modificar diretamente seus próprios pesos. Basta que ela consiga melhorar o processo de treinamento, filtrar dados, projetar avaliações ou otimizar o harness envolvendo o modelo, para já estar participando da criação de seu sucessor.

O primeiro avança do ciclo de engenharia para dentro, enquanto o segundo avança do mecanismo do modelo para fora, ambos com o objetivo de reduzir a distância entre uma geração de IA e a próxima.

Enquanto os grandes investidores queriam acelerar suas apostas nesse caminho, uma outra voz surgiu dentro do setor.

Esta semana, mais de 1.100 profissionais de empresas como OpenAI, Anthropic, Google e Meta assinaram uma declaração exigindo a criação antecipada de tecnologias e ferramentas de coordenação capazes de controlar a velocidade do "desenvolvimento automatizado de IA". Entre os participantes estão pesquisadores sênior como Jakub Pachocki, cientista-chefe da OpenAI, e os cofundadores da Anthropic Jack Clark e Jared Kaplan — além de Ilya himself.

A petição não exige a parada da pesquisa em IA, nem nega o valor potencial da autoaprimoração. Ela expressa preocupação de que, uma vez que a IA comece a acelerar significativamente o desenvolvimento de IA, o crescimento de capacidades possa ultrapassar a velocidade com que os humanos conseguem compreender e controlar os sistemas.

Pense bem: esse saltar repetido, aparentemente contraditório, vem da mesma pessoa ou do mesmo grupo de pessoas. Ao mesmo tempo, podem fazer dois julgamentos diferentes: acreditam que a pesquisa automatizada pode ser a chave para o próximo grande avanço da IA, mas também acreditam que, assim que esse ciclo de feedback começar a funcionar realmente, o setor precisa ter a capacidade de desacelerar quando necessário.

Uma vez que esse ciclo se estabelece, é diferente de lançar um modelo mais poderoso no passado. A velocidade do progresso anterior era finalmente limitada pela equipe de pesquisa humana. As pessoas precisavam formular perguntas, organizar experimentos e interpretar resultados, e o avanço podia parar devido a orçamentos, mão de obra e processos organizacionais.

O objetivo do desenvolvimento de IA automatizada é eliminar progressivamente esses gargalos. Quanto mais poderoso o modelo, mais ele ajuda a equipe a criar mais rapidamente o próximo modelo; esse próximo modelo, por sua vez, se torna um pesquisador ainda melhor, reduzindo ainda mais o tempo da próxima rodada de desenvolvimento.

Portanto, apesar de parecerem forças contraditórias, ambas compartilham a mesma premissa: o desenvolvimento automatizado de IA está se transformando de uma ideia distante em um objetivo de engenharia concreto.

Weng Fan retornou à OpenAI, indicando que a autoaprimoração recursiva já começou a receber organização e liderança especializadas; a NVIDIA está disposta a investir grandes quantias de capital e sua última capacidade de processamento após revisar os estudos secretos da SSI, indicando que a nova rota de aprendizado já chegou ao estágio em que merece validação expandida.

Os signatários pedem que se preparem para frear, não porque achem que este caminho não terá sucesso, mas exatamente porque começaram a considerar seriamente o que acontecerá após seu sucesso.

A verdadeira divergência não está em se a IA deve ou não ajudar os humanos na pesquisa. A geração de código, a busca de artigos e a automação de experimentos já entraram nos laboratórios. A questão é: quando a IA passar de uma ferramenta que aumenta a eficiência dos pesquisadores para um sistema capaz de propor soluções, executar experimentos, avaliar resultados e ajustar os processos da próxima rodada, em quais pontos os humanos devem manter o poder de decisão.

Isso significa uma série de questões que precisam ser discutidas: quem define os objetivos de otimização? Quem avalia se uma alteração que aparentemente melhora o desempenho compromete os limites de segurança? Quando vários laboratórios estão em competição, qual empresa estaria disposta a interromper isoladamente uma iteração válida? Se o ciclo de desenvolvimento do modelo for realmente reduzido de um ano para meses ou semanas, os times externos de avaliação e de segurança interna ainda conseguirão acompanhar?

As empresas de IA agora não estão mais apenas competindo para criar modelos virais; estão competindo por um sistema de pesquisa e desenvolvimento capaz de gerar continuamente modelos mais poderosos.

De um lado, pesquisadores de ponta como Ilya e Weng Li, que buscam novas maneiras de fazer a IA participar de sua própria evolução; do outro, milhares de pesquisadores da mesma indústria exigem a preparação antecipada de um mecanismo de desaceleração. Entre essas duas posições, as facções mudam constantemente, e as atitudes não são necessariamente opostas; todos enfrentam um problema comum: quando as ferramentas de pesquisa começam a acelerar a própria pesquisa, quem poderá decidir quando a próxima geração de IA deve chegar?