Principais insights:
- O aviso de Sam Altman desloca as notícias sobre IA em direção a um desenvolvimento mais lento e maior segurança.
- A OpenAI prepara casos de segurança antes das execuções de treinamento esperadas para aumentar as capacidades.
- Altman alerta para a perda de controle humano e o poder excessivo da IA detido por um único ator.
As notícias de IA mudaram para a segurança de ponta após o CEO da OpenAI, Sam Altman, pedir um desenvolvimento de modelos mais lento e cuidadosamente monitorado. Ele alertou que a humanidade poderia perder o controle se as capacidades avançarem mais rápido do que os sistemas de alinhamento e monitoramento.
Altman também identificou o forte controle centralizado sobre IA poderosa como um perigo separado. Sua declaração de 14 de setembro apoiou o progresso contínuo, embora os desenvolvedores devam aceitar custos adicionais de segurança e desenvolvimento mais lento.
Notícias de IA focam no desenvolvimento da fronteira de ritmo
Altman apoiou a proposta do CEO da Anthropic, Dario Amodei, de acelerar o desenvolvimento enquanto pesquisadores fortalecem as proteções de segurança.
No entanto, ele explicou que ritmo não significa interromper o progresso tecnológico. Em vez disso, os laboratórios devem aceitar um desenvolvimento mais lento quando as revisões de segurança exigirem mais tempo. Essas intervenções têm custos elevados, mas Altman descreveu esses custos como necessários.
Além das notícias sobre IA, Altman disse que a pressão competitiva dentro dos Estados Unidos nunca deve justificar o desenvolvimento irresponsável. Ele acrescentou que as capacidades dos modelos não devem avançar além dos sistemas de alinhamento e monitoramento.
O progresso acelerou, tornando o desenvolvimento responsável mais essencial para cada laboratório de fronteira. Ele disse que as empresas americanas devem dar ao público a crença de que desenvolverão sistemas avançados de forma responsável.
Os frameworks anteriores da empresa examinavam principalmente modelos concluídos antes de sua implantação pública. Incluíam Políticas de Escalonamento Responsável e Frameworks de Prontidão desenvolvidos por laboratórios de ponta.
Altman disse que as condições atuais de desenvolvimento exigem novas ferramentas e avaliações de segurança mais precoces. Consequentemente, a OpenAI adiantou alguns trabalhos de segurança em relação aos principais aumentos de capacidade.
OpenAI adiciona casos de segurança antes das execuções de treinamento
A OpenAI agora formula casos explícitos de segurança antes de execuções selecionadas de aprendizado por reforço de fronteira. A empresa os aplica quando os pesquisadores esperam que uma execução de treinamento produza ganhos significativos de capacidade.
OpenAI também continua realizando trabalhos de segurança antes de liberar modelos concluídos. Essa abordagem, portanto, coloca avaliações em ambas as etapas de desenvolvimento e implantação.
Altman disse que as empresas devem compartilhar abordagens e propor seus próprios procedimentos de segurança. Ele apoiou padrões comuns abrangendo desalinhamento do modelo, monitoramento e segurança.
Esses padrões poderiam orientar laboratórios na avaliação de sistemas cada vez mais capazes. Ele também saudou auditores independentes como parte de um framework consistente para riscos de fronteira.
O mais recente comunicado sobre IA pediu ação imediata da indústria sem aguardar legislação. Altman disse que as empresas não precisam de uma isenção antitruste antes de introduzir salvaguardas.
Ele também apoiou um quadro federal estabelecendo requisitos consistentes para desenvolvedores de fronteira. No entanto, ele atribuiu aos governos um papel maior na coordenação de regras internacionais de segurança.
Altman disse que os laboratórios devem primeiro implementar as proteções disponíveis dentro de suas próprias organizações. Os governos poderiam, em seguida, apoiar a coordenação entre países para desenvolver modelos avançados.
Sua declaração não exigiu o fim da pesquisa em IA ou melhorias nas capacidades. Em vez disso, propôs o desenvolvimento contínuo com monitoramento mais forte e ritmo deliberado.
Notícias de IA: Sam Altman identifica dois riscos de IA de fronteira
Altman descreveu duas maneiras pelas quais o avanço do desenvolvimento de IA poderia produzir resultados gravemente danosos. Primeiro, a humanidade poderia perder o controle se as capacidades superarem as salvaguardas disponíveis.
Em segundo lugar, uma empresa, país, laboratório ou indivíduo poderia obter controle excessivo sobre sistemas poderosos. Essa concentração poderia permitir que um único ator impusesse sua visão de mundo aos demais.
O aviso colocou o controle técnico e o controle institucional dentro da mesma discussão de segurança. Altman disse que a OpenAI permanece comprometida em garantir que a IA sirva à humanidade.
De acordo com as últimas notícias sobre IA, o CEO da OpenAI também enfatizou que cada laboratório de ponta deve cumprir essa responsabilidade. Caso contrário, sistemas mais capazes poderão avançar sem supervisão adequada ou padrões compartilhados.
A postagem Notícias de IA: Sam Altman diz que o progresso da IA deve desacelerar à medida que os riscos fronteiriços aceleram apareceu pela primeira vez em The Coin Republic.