A American Science Development Association (AAAS) decidiu verificar se o TATGPT pode escrever notas científicas curtas no estilo Scipak ou não um grande número de jornalistas, muitas vezes preparado pela revista Eurekalent Science and Service.
Experimentar Durou um ano: de dezembro de 2023 a dezembro de 2024, os jornalistas lançaram um modelo ou dois estudos científicos difíceis a cada semana.
A missão é muito simples-lançá-los para torná-lo conveniente para os colegas: termos mínimos, uma estrutura clara e um contexto claro. Portanto, o ChatGPT lidou com 64 obras.
Resultado? Em geral, o modelo aprendeu a copiar os formulários dos selos Scipak, mas não alcançou conteúdo. Segundo o autor do estudo, o jornalista AAAS Abigail Aizenstadt, os documentos de Tatgpt são muito simples e muitas vezes incorretos. Eu tive que dobrar tudo, então demorou mais tempo para escrever uma nota desde o início.
Os números também dizem a si mesmos. Quando os editores são solicitados, esse calendário pode ser perdido entre os verdadeiros quedas de Scipak, a classificação média é de apenas 2,26 pontos no número 5. E apenas um trabalho no ano inteiro recebe a pontuação mais alta dos jornalistas.
Normalmente, os relacionamentos confusos e relacionamentos causais do chatgpt, esquecendo de mencionar limitações importantes para a pesquisa (por exemplo, os dispositivos de transmissão suave operam muito lentamente) e às vezes dispersam muito para elogiar os avanços do Islã e da novidade.
Os autores do experimento resumiram: Até agora, o ChatGPT não cumpriu os padrões da Scipak. Mas eles não colocaram a cruz completamente na idéia. AAAS Observe que você pode retornar aos testes se o modelo for atualizado seriamente. E em agosto, lembramos, apenas GPT-5 OutNele, infelizmente, Encontrou a lacuna.