O caminho da IA para a domínio: onde existem sistemas de pontuação, a IA segue

Autor: Robonaissance

Tradução: Deep潮 TechFlow

Leitura recomendada da Shenchao: Go, xadrez, dobramento de proteínas — por que esses campos, aparentemente dependentes da intuição e criatividade humanas, estão sendo conquistados um após o outro pela IA? Este artigo revela uma lei ignorada: o que determina se a IA pode superar os humanos não é a dificuldade da tarefa, mas sim se é possível atribuir uma pontuação ao sucesso. Quando um campo estabelece um critério de avaliação, ele inicia uma contagem regressiva para sua própria superação.

Selecionado da série "Whatever You Ask For", sobre o único trabalho que a máquina não pode fazer por nós.

Em 10 de março de 2016, em um hotel em Seul, uma máquina fez um movimento que ninguém na sala conseguia entender, enquanto seu oponente não estava presente.

Lee Se-dol saiu para fumar um cigarro. Ele tinha 33 anos e detinha 18 títulos mundiais, sendo amplamente reconhecido como o melhor jogador de Go da sua geração. Após perder a primeira partida no dia anterior, ao entrar na segunda partida, sua confiança inicial havia diminuído e seu estado mental tornou-se mais cauteloso. Enquanto ele estava lá fora, o AlphaGo escolheu o movimento 37, e o pesquisador da DeepMind, Huang Shi-Jie, substituiu a máquina, colocando silenciosamente a pedra no tabuleiro.

A peça caiu na quinta linha.

Para quem não entende go, isso não faz sentido. Para quem entende, é quase uma loucura. No início e no meio-jogo, posições tão distantes da borda são consideradas ineficientes, pois não conquistam território nem o defendem, equivalendo a entregar pontos ao oponente. É um movimento que os professores corrigem em iniciantes. Na mesa de comentários, o mestre profissional Michael Redmond, durante a transmissão ao vivo, inicialmente pensou que houvesse um erro no sinal do tabuleiro. Ele pegou uma pedra e a colocou de volta.

Lee Se-dol voltou a sentar-se e ficou olhando para o tabuleiro por muito tempo sem se mover. As estimativas variaram entre cerca de 12 e 15 minutos. Fan Hui, campeão europeu derrotado pelo AlphaGo cinco meses antes, estava assistindo ao jogo no prédio. Sua avaliação após observar por tanto tempo foi: "Isso não é um movimento humano. Nunca vi ninguém jogar assim."

Ele está certo, e isso pode ser quantificado. O sistema do DeepMind possui um mecanismo de estimativa interna que, ao aprender com um grande número de partidas humanas, estima a probabilidade de um humano jogar um determinado movimento em qualquer posição. Para o movimento 37, esse valor estimado é de aproximadamente uma em dez mil.

O computador ainda assim fez o movimento, e este lance venceu o jogo inteiro.

Uma interpretação confortável para essa história é que a máquina se esforçou muito para aprender com os mestres humanos e, finalmente, alcançou os melhores deles. Essa interpretação está errada, e o número um em dez mil justamente demonstra por que está errada. Um sistema que aprende e imita jogadas humanas tem um limite: o próprio nível das jogadas humanas. O que aconteceu em Seul foi que um sistema deixou de ser limitado por esse teto, pois o objetivo atribuído a ele não era a aprovação dos mestres humanos, mas sim vencer as partidas.

A direção apontada por essa diferença é mais útil do que admiração. Se você quer saber quais atividades humanas já perderam no维度 da capacidade pura e quais serão as próximas, a pergunta que deve fazer não é o quão difícil, criativa ou intuitiva essa atividade é. A pergunta é muito mais chata do que isso.

A questão é se o sucesso pode ser pontuado.

Xadrez perdeu há 19 anos, de forma completamente diferente.

O Deep Blue derrotou Kasparov em 1997 usando uma arquitetura que, em essência, foi um enorme ato de expressão humana. Sua função de avaliação — o componente que analisa uma posição e atribui um número que indica quão boa ela é — foi montada e ajustada com a ajuda de consultores mestres internacionais. O conhecimento humano de xadrez foi cuidadosamente extraído de jogadores humanos e incorporado à máquina. O que a máquina acrescentou foi a capacidade de busca: olhar mais adiante em mais movimentos, mais rapidamente, sem cansaço e sem perder peças por falta de atenção.

Esta é uma verdadeira vitória e deve ser considerada uma vitória. Mas preste atenção à sua forma. O Deep Blue compreende o xadrez da maneira humana. Sua vantagem é a velocidade. Se você perguntar a ele por que avalia uma posição daquela forma, a resposta acabará recaindo em alguma pessoa que lhe disse para fazer isso.

20 anos depois, a DeepMind lançou um sistema chamado AlphaZero, com uma forma alterada.

Ao AlphaZero foram fornecidas apenas as regras do xadrez. Não lhe foram fornecidas aberturas — o catálogo de lances iniciais estudados nos quais todos os programas sérios dependem. Não lhe foram fornecidas tabelas de final de jogo. Não lhe foram fornecidas partidas de jogadores humanos. Ela jogou contra si mesma, começando com movimentos aleatórios e ajustando-se com base no que levava à vitória.

Cerca de quatro horas depois, o DeepMind estimou que sua classificação Elo superou a do então programa tradicional mais forte, o Stockfish 8. Cerca de nove horas depois, jogou cem partidas contra o Stockfish em condições de tempo limitado, vencendo 28, sem perder nenhuma, e empatando as 72 restantes. O artigo relata que, em 24 horas, ele atingiu nível supra-humano em xadrez, shogi e go.

Esses números são frequentemente citados sem a outra metade da narrativa, que é muito importante. As partidas de autojogo foram geradas em cinco mil unidades de processamento de tensor da primeira geração, com outras sessenta e quatro unidades da segunda geração treinando a rede, todas operando em paralelo. Quatro horas de tempo de relógio correspondem a quatro horas de poder de cálculo — uma quantidade que nenhum indivíduo, nem mesmo poucas instituições, conseguiriam montar. O feito não é aprender xadrez facilmente. O feito é que, quando você possui tanta capacidade computacional, o conhecimento humano já não é mais algo de que você precisa.

Kasparov tinha mais razão do que qualquer pessoa viva para interpretar esse resultado como pessoal, mas publicou uma crítica na revista Science, demonstrando grande generosidade. Sua observação foi que o AlphaZero não joga xadrez monótono, cauteloso e tendencioso ao empate, como todos imaginavam que uma máquina perfeita jogaria. Ele prefere atividade em vez de material, sacrificando peças para posições que, aos seus olhos, pareciam arriscadas. Ele apontou que programas tradicionais carregam as prioridades e vieses de seus programadores. O AlphaZero escreveu a si mesmo. Ele concluiu que seu estilo, portanto, reflete algo mais autêntico do que os gostos dos programadores, e observou que ele analisa muito menos posições por segundo do que os melhores motores tradicionais do mundo, mas ainda assim vence.

Este último detalhe vale a pena lembrar. O motor tradicional analisou muito mais possibilidades por segundo, mas perdeu. A vantagem do AlphaZero não está em procurar mais hard, mas em saber onde procurar — e esse conhecimento foi montado apenas por milhões de partidas contra si mesmo e uma regra sobre quem vence.

O resultado das partidas de shogi é ainda mais estranho para quem tem qualificação para entender. O shogi é um jogo de tabuleiro japonês no qual peças capturadas retornam à mão do jogador que as capturou, tornando a volatilidade da posição maior do que no xadrez, além de possuir centenas de anos de teoria acumulada sobre como proteger o rei. Jogadores fortes que observaram partidas de máquinas relataram que as aberturas violavam teorias conhecidas, com o rei indo para o centro do tabuleiro no momento em que todos os livros dizem para recuar para o canto. Essas partidas são quase indecifráveis para olhos treinados, mas vencem.

Coloque os dois sistemas lado a lado; o padrão é claramente inquietante. O Deep Blue é conhecimento humano mais velocidade da máquina. O AlphaZero é velocidade da máquina mais definição de vitória, com o conhecimento humano intencionalmente removido. A versão sem conhecimento humano é melhor.

Tudo isso não significa que a máquina de 2016 era perfeita; a mesma partida em Seul continha evidências.

Na quarta partida, atrás por três vitórias e lutando pela dignidade, Lee Sedol inseriu uma peça entre duas áreas do AlphaGo no centro do tabuleiro. Mais tarde, essa jogada foi chamada de "o movimento divino". O próprio AlphaGo estimou que a probabilidade de um humano fazer essa jogada era de cerca de uma em dez mil, de forma curiosamente simétrica. O sistema não conseguiu responder. Sua avaliação da probabilidade de vitória desmoronou nas próximas jogadas, seu desempenho piorou e ele perdeu a partida.

Então, em março de 2016, ainda havia uma falha na máquina, e um ser humano a encontrou sob a pressão máxima, com o mundo inteiro observando. Isso merece ser dito claramente, e não ignorado silenciosamente. Da mesma forma, vale a pena mencionar o que aconteceu depois: essas falhas foram sistematicamente corrigidas, e os sucessores desse sistema já não perdem mais esse tipo de partida; os motores de elite não perdem mais para humanos em competições sérias há muito tempo. O resultado de 2016 foi uma fotografia de uma transformação, não um equilíbrio de poder permanente.

Do tabuleiro e além, o que é transferido não é a vitória em si, mas o mecanismo. Xadrez e Go estão destinados a ser os primeiros a cair, por uma razão embaraçosamente simples: nos jogos, o sucesso é definido pelas regras de forma totalmente precisa. Você ganha ou não ganha, a pontuação é gratuita, imediata e incontestável. Um sistema pode jogar quarenta milhões de partidas consigo mesmo em um fim de semana, obtendo quarenta milhões de julgamentos inequívocos.

Isso indica o próximo lugar a ser observado. Não as tarefas simples, mas aquelas com placar próprio.

As proteínas são cadeias de aminoácidos que se dobram instantaneamente em formas tridimensionais complexas ao serem produzidas. A forma determina o que a proteína faz. A sequência determina a forma. Derivar a segunda a partir da primeira — da sequência para a forma — tem sido um problema aberto na biologia desde o início da década de 1970, e permaneceu aberto de maneira resistente a todas as abordagens: simulações físicas a partir de princípios fundamentais, análises estatísticas de parentesco evolutivo e intuições estruturais acumuladas ao longo de décadas — tudo falhou.

Em 1994, um grupo de pesquisadores liderados por John Moult fez algo com esse fato: todos no campo estavam afirmando progresso, mas ninguém conseguia verificar.

Eles criaram um exame. Desde então, a cada dois anos, a Avaliação Crítica de Previsão de Estrutura (CASP) apresenta estruturas de proteínas recém-determinadas experimentalmente, em alguns casos ainda em processo de determinação, e divulga as sequências para o mundo inteiro. Qualquer equipe pode submeter uma previsão. Ninguém tem acesso à resposta, pois, em alguns casos, a resposta ainda não existe. Quando as estruturas experimentais são obtidas, as previsões são avaliadas e pontuadas em comparação com elas.

A pontuação é feita usando uma métrica chamada Global Distance Test, de 0 a 100, que pode ser compreendida grosseiramente como a porcentagem em que a posição final da cadeia está suficientemente próxima da posição real. Moult disse que cerca de 90 pontos são informalmente considerados equivalentes à estrutura determinada em laboratório. Ao longo da maior parte da história da avaliação, as melhores previsões oscilaram em torno de 60 pontos.

Na CASP14 de 2020, um participante registrado como grupo 427 obteve uma pontuação mediana de 92,4 em todos os alvos. Na categoria mais difícil — alvos sem parentes estruturais úteis aos quais se apoiar — a pontuação mediana foi de 87,0. O erro médio foi de aproximadamente 1,6 ângströms, equivalente à largura de um átomo.

Moult, que atuou como presidente desde o início da competição, revisou com o público a história da competição antes de apresentar os gráficos. O gráfico ilustrou toda a história em uma única imagem: uma linha que rastejou por vinte anos perto de 60, e então outra linha subiu para um nível nunca antes alcançado pelas demais.

O grupo 427 é o AlphaFold2. Moult anunciou que, para cadeias proteicas únicas, o problema foi resolvido.

Os limites devem estar lá, em cada narrativa honesta. Uma única cadeia não é tudo na ciência das proteínas. Como as proteínas se montam em complexos, como se movem e como se comportam dentro de células vivas ainda são questões em aberto. Um desafio grandioso fechado é um desafio específico e claramente enunciado.

E é exatamente essa precisão que é o ponto central desta história. O que derrubou a previsão estrutural não foi sua simplicidade original, pois meio século de falhas demonstra o contrário. O que o derrubou foi que, em 1994, o campo criou um placar para si mesmo.

Ver o CASP como uma engenharia, em vez de uma ciência, o que ele oferece? Ele fornece uma métrica clara e inequívoca de sucesso para qualquer previsão, calculável em segundos. Ele fornece um fato de referência que não pode ser fraudado, pois a resposta é fisicamente determinada por outros em laboratório. Ele fornece um fluxo contínuo de novos problemas gerados em um cronograma fixo. Ele fornece trinta anos de tentativas avaliadas historicamente, ou seja, um registro classificado do que é melhor ou pior nesse campo.

Um domínio que fez tudo isso acabou, sem querer, se preparando para ataques automatizados. O placar é um pré-requisito. Tudo o mais é engenharia e cálculo, e ambos se tornam mais baratos a cada ano há muito tempo.

Essa é uma promoção feita com uma tranquilidade inquietante. Onde há uma disciplina que alcançou um consenso de referência, um alvo é lançado. Tradução automática tem benchmarks. Reconhecimento de voz tem benchmarks. Classificação de imagens tem um conjunto de um milhão de fotos rotuladas e uma competição anual, e todos que viram essa competição sabem como a história termina. A regra não é que as coisas difíceis caem primeiro, ou as coisas simples caem primeiro. A regra é que as coisas medidas caem primeiro.

Isso levanta questões óbvias sobre tudo o que ainda não foi medido.

A última linha de defesa deveria ser aquilo que não pode ser pontuado.

A escrita é um exemplo padrão. Nenhum programa pode pegar um parágrafo e retornar um número dizendo o quão bom ele é. Dois editores competentes discordam. O mesmo editor discorda de si mesmo em dias diferentes. A qualidade da linguagem está entrelaçada com o contexto, o público, o propósito e o gosto, coisas que não podem ser reduzidas a uma medida. Se as máquinas precisam de um placar e a linguagem não tem um placar, então a linguagem está segura.

Este argumento é válido. O que aconteceu com ele é a causa mais importante de toda essa narrativa.

Não existe uma medida objetiva para boa escrita nesse campo. Ainda não existe algo assim. O que ele faz é criar uma pontuação usando o único material disponível: o julgamento humano.

Esse método tem uma história mais longa do que a maioria das pessoas imagina. Em 2008, Knox e Stone descreveram um sistema chamado TAMER, no qual humanos observavam o comportamento de agentes inteligentes e forneciam avaliações, usadas para treinar um modelo que preveria o que os humanos diriam. Em seguida, o modelo, e não os humanos, fornecia os sinais de treinamento. Em 2017, Christiano e seus colegas publicaram um trabalho amplamente considerado como a origem direta das práticas atuais, aplicando essa ideia a agentes em jogos do Atari. Em 2019, Ziegler e seus colegas aplicaram o método a modelos de linguagem, e a maioria dos termos usados hoje foi definida nesse artigo. Em 2022, Ouyang e seus colegas demonstraram esse método em escala industrial em tarefas de seguimento de instruções, e pouco depois, a maioria das pessoas no planeta entrou em contato com esses resultados sem saber.

Seu mecanismo central merece ser compreendido em detalhes, pois é muito mais simples do que a fama sugere.

Uma pessoa sentada diante de dois textos, ambos gerados por um modelo a partir do mesmo prompt. A tarefa não é atribuir notas a eles. Atribuir notas é exatamente o que os humanos fazem mal, pois sete de uma pessoa é cinco de outra, e a mesma pessoa não é estável nem mesmo dentro de um único período da tarde. A tarefa é apenas dizer qual é melhor. Isso é um julgamento que os humanos podem fazer de forma confiável, e os métodos matemáticos para transformar uma série dessas comparações em uma escala consistente são mais antigos do que o próprio domínio em que são usados, remontando ao trabalho de Bradley e Terry sobre comparações pareadas em 1952.

Considere as condições de trabalho para tomar esse tipo de julgamento, pois elas acabam por ter impacto. Essa pessoa faz muitas dessas decisões por hora, recebendo pagamento, e comparando com um guia escrito que explica o que os clientes consideram uma melhor resposta. Algumas pares são quase idênticas. Outras envolvem tópicos sobre os quais a pessoa não tem conhecimento algum; nesses casos, a resposta mais confiante e bem organizada geralmente é escolhida, independentemente de ser mais precisa ou não. Isso não é uma crítica a essas pessoas. É uma descrição do que qualquer pessoa faria sob essas condições, e as escolhas resultantes são a matéria-prima.

Coletando suficientes dessas escolhas, você pode treinar um segundo modelo cuja tarefa é prever qual das duas textos os humanos preferirão. Esse segundo modelo produz um número. E um número é exatamente o que sempre faltou.

Observe atentamente o que está sendo construído aqui, pois é fácil ignorar. A pontuação otimizada não se refere a fatos sobre o mundo. Ela se refere ao nosso modelo. É uma imitação comprimida e aprendida de julgamentos feitos por um grupo específico de pessoas, contratadas em um determinado momento, trabalhando sob instruções específicas, e cansadas à tarde, como todos os demais. O CASP avalia previsões com base na realidade física determinada por laboratórios, enquanto este sistema avalia textos com base em retratos estatísticos reconhecidos por humanos.

Este retrato é útil. Mas também é necessariamente uma aproximação, com diferenças em relação ao objeto retratado, e ninguém entende completamente essas diferenças. Qualquer coisa sobre nossas preferências reais que o modelo de preferência não consiga capturar não está no objetivo e, portanto, não será otimizada, ficando sujeita a qualquer circunstância — e um otimizador poderoso não tem razão para proteger essa quantidade.

É um fato sobre a construção; ao apresentá-lo aqui, não se faz nenhuma alegação sobre quão graves seriam as consequências. O ponto atual é mais restrito e mais difícil de refutar. As categorias de coisas que não podem ser avaliadas são menores do que parecem. Se um domínio se opõe à medição, pode-se construir uma medição a partir das preferências humanas e seguir em frente. Essa linha de defesa só é eficaz quando ninguém pensou em criar pontuações.

Isso deixa uma questão prática e uma resposta viável.

Escolha qualquer atividade que você goste: um emprego, uma profissão, uma carreira, uma tarefa na qual você passou anos aprendendo a fazer bem. Faça três perguntas.

Primeiro, é possível distinguir de forma confiável entre sucesso e fracasso? Não perfeitamente, nem para todos, mas suficientemente consistente para que avaliadores capazes concordem na maioria das vezes. O jogo passa facilmente por esse critério. A previsão da estrutura de proteínas passa porque os laboratórios acabam produzindo respostas. A escrita não passa em termos absolutos, mas passa em termos relativos, pois as pessoas geralmente conseguem dizer qual das duas tentativas foi melhor.

Em segundo lugar, esse julgamento pode ser gerado em larga escala e com baixo custo? Essa pergunta determina o momento, e não a possibilidade. Um julgamento gratuito e imediato, como em um jogo, significa que o sistema pode gerar sozinho milhões de dados de treinamento. Um julgamento que exige um laboratório é mais lento, mas ainda viável, com arquivos de tentativas de classificação de trinta anos. Um julgamento que exige leitura humana paga é muito caro — e é exatamente por isso que tantos esforços foram investidos para treinar modelos que imitem esses humanos e os removam do ciclo.

Terceiro, a questão não é quando um domínio cairá, mas o que acontecerá depois: essa pontuação é realmente o que você quer? A pontuação do jogo é o que você quer, porque, dentro do jogo, vencer é, por definição, tudo o que importa. As estruturas de proteínas medidas experimentalmente estão muito próximas do que você quer. Um modelo aprendido com preferências de rotuladores não é o que você quer. É uma representação do que você quer, e existe uma lacuna entre a representação e o rosto real.

Use estas três perguntas para avaliar seu próprio trabalho. A maioria das pessoas encontra a primeira resposta rapidamente e de forma perturbadora. O que chamamos de habilidade, pelo menos em termos relativos, pode ser pontuado quando pessoas capazes são colocadas lado a lado para tentar duas vezes. A segunda pergunta é o verdadeiro ponto de incerteza, pois custos e escala são alvos móveis e já vêm se movendo nessa direção há muito tempo. A terceira pergunta é quase nunca feita, e é ela que determina como é o seu campo do outro lado.

Vale a pena fazer esse exercício lentamente em algumas coisas comuns. Tomemos a radiologia como exemplo. É possível distinguir entre sucesso e fracasso? Sim, e com grande precisão, pois o diagnóstico será finalmente confirmado ou refutado pela condição do paciente. É possível gerar avaliações em larga escala e com baixo custo? Basicamente sim, pois hospitais vêm acumulando amostras de pontuação por décadas na forma de imagens e resultados confirmados. Essa pontuação é o que você deseja? Aqui a resposta se torna complexa, pois a avaliação é feita com base na consistência com o diagnóstico registrado, enquanto o que realmente se deseja é que o paciente tenha um bom resultado — duas coisas que geralmente coincidem, mas que justamente se separam nos casos mais importantes.

Pegue algo que pareça mais seguro. Pegue a gestão, por exemplo. A primeira questão já é difícil, porque pessoas capazes discordam sobre se um determinado gestor é bom, e essas divergências não são resolvidas rapidamente. A segunda é ainda mais difícil, porque os resultados das decisões de gestão só aparecem anos depois, emaranhados com tudo o mais que acontece. A terceira é a mais difícil, porque qualquer indicador alternativo proposto para boa gestão — seja taxa de retenção, índice de engajamento ou produtividade por funcionário — claramente não é a coisa em si. Segundo esse diagnóstico, a gestão não é segura por ser profunda. Ela é não medida, um tipo diferente e menos agradável de proteção.

As máquinas já ocuparam o eixo da otimização. Em qualquer objetivo claramente especificado, com cálculo suficiente, encontrar bons lances já não é uma competição, e os resultados frequentemente não são apenas mais fortes que os nossos, mas também mais estranhos, chegando a lugares que nossas tradições nos ensinaram a não olhar. Isso não é previsão. É uma descrição do xadrez, go, shogi, estruturas de proteínas e cada vez mais coisas que antes estavam na lista de tarefas apenas humanas.

O que resta é o próprio objetivo. Alguém decidiu o que seria a pontuação. Em cada um dos casos acima, essa decisão levou um período da tarde, e cada resultado extraordinário surgiu dela, foi fiel a ela e indiferente a qualquer coisa que ela tenha deixado de lado.

Então, a última pergunta é digna de reflexão. No seu trabalho, já há pontuações? Se sim, quem as escreveu, e eles pensaram em você quando as escreveram?

Esta é a segunda parte da série "Whatever You Ask For", sobre o que a máquina finalmente precisa de nós e o quão mal nós fizemos.