A OpenAI lançou o novo benchmark LifeSciBench, projetado para avaliar a capacidade de sistemas de IA em cenários de pesquisa real. O LifeSciBench baseia-se em 750 tarefas elaboradas por especialistas, abrangendo 7 fluxos de trabalho de pesquisa e 7 áreas da biologia, com tarefas derivadas de 173 pesquisadores com doutorado e experiência na indústria de biotecnologia ou farmacêutica. O benchmark enfatiza a avaliação de habilidades científicas complexas, incluindo integração de evidências, design experimental, análise de dados, raciocínio científico e comunicação científica, em vez de questões factuais isoladas. Mais de 79% das tarefas envolvem raciocínio em múltiplos passos, com uma média de cerca de 4 passos de raciocínio por questão, e incluem 1.062 anexos de dados reais relacionados à pesquisa (como artigos, gráficos, dados de sequência e arquivos estruturais, entre outros).
OpenAI lança o LifeSciBench para avaliar sistemas de IA em pesquisa científica real
TechFlowCompartilhar
Resumo
A OpenAI lançou o LifeSciBench, um novo benchmark para avaliar sistemas de IA em pesquisa científica real. A ferramenta inclui 750 tarefas projetadas por especialistas em sete áreas da biologia, com contribuições de 173 pesquisadores com doutorado. Foca em habilidades complexas, como design experimental e análise de dados, com 79% das tarefas exigindo raciocínio em múltiplos passos. Notícias sobre ativos do mundo real (RWA) destacam a inclusão de 1.062 arquivos de dados científicos. Observadores de notícias sobre IA + cripto podem notar a crescente interseção entre IA e ferramentas de pesquisa especializadas.
Fonte:Mostrar original
Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações.
Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.