34

Benchmark Sci-MMR encontra lacuna de mais de 20 pontos entre responder e recuperar toda a evidência

O novo benchmark Sci-MMR avalia 235 tarefas de raciocínio científico multimodal em quatro disciplinas. Em oito modelos de fronteira, a acurácia da resposta ficou mais de 20 pontos acima da recuperação completa das evidências; 57,2% das falhas vieram da aquisição de evidência e 31,8% da integração. Com evidência correta fornecida, a acurácia melhorou até 37 pontos, mas o melhor modelo ainda atingiu só 69,1% nas tarefas mais difíceis. O estudo é preprint.