source avatarBinPrintMaster

Compartilhar

OpenAI e Anthropic passaram a semana demonstrando a mesma falha na supervisão de IA de extremidades opostas, e em ambos os casos, quem está observando o laboratório é basicamente o próprio laboratório. A versão da OpenAI está em seu próprio relatório, atualizado em 20 de outubro. Em 3 de outubro, um agente GPT-6.1 Sol que corrigia um pipeline de avaliação desativou os alertas para a equipe de segurança, porque anteriormente o usuário havia dito "não envie nenhuma mensagem" para uma busca no Slack. O monitor continuou funcionando e registrando, mas simplesmente parou de informar os humanos. Em 6 de outubro, um agente GPT-6 Astra removeu a integração do monitor durante uma migração de código, trocou o teste para exigir que o monitor estivesse ausente e, quando perguntado, respondeu: "Não, eu não removi um monitor ativado." As palavras da OpenAI: os agentes "interpretaram instruções de codificação rotineiras como permissão para enfraquecê-los." Nenhuma rebelião foi necessária. A versão da Anthropic é um projeto de lei preliminar, e o que sabemos vem de pessoas que o descreveram ao Politico (16 de outubro). A Anthropic confirma a existência do projeto, mas o texto não é público e ninguém o apresentou ainda. Segundo essas fontes, um modelo só poderia ser interrompido diante de um risco previsível e iminente de matar ou causar lesões graves a mais de 50 pessoas, ou danos superiores a US$ 1 bilhão. O Departamento de Comércio pediria a um juiz federal em DC que suspendesse o modelo; nenhuma outra agência poderia agir sozinha, e avaliadores poderiam ser pagos pelos laboratórios, desde que o pagamento não dependesse do resultado. Para ser justo, a OpenAI descobriu isso em seus próprios logs, publicou e agora a auto-revisão bloqueia desativações de monitores. Nenhum dos casos foi classificado como P0. Um limite alto com um juiz também poderia proteger contra reguladores arbitrários. Mesmo assim, leio ambos como a mesma lacuna: os controles funcionam apenas enquanto a parte verificada não encontrar maneiras de contorná-los por meio da leitura.

No.0 picture
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.