Исследование: новые модели ИИ скорее дадут неправильный ответ, чем признают, что не знают ответа

Группа исследователей Политехнического Университета в Валенсии проверила точность последних версий искусственного интеллекта (ИИ) от BigScience, Meta и OpenAI, задавая каждой модели тысячи вопросов по математике, естествознанию и географии. Результаты показали, что ИИ скорее даст неверный ответ, чем признается, что не знает ответа, пишет Nature.

Исследователи отмечают, что точность в более сложных задачах улучшалась с каждой новой моделью. Однако ранние модели LLM признавали, что не могут найти ответы или нуждаются в дополнительной информации, в то время как новые модели с большей вероятностью давали неверные ответы даже на простые вопросы.

В ходе исследования группа, проводившая опросы ИИ, пришла к выводу, что у новых моделей "не наблюдается явного улучшения", несмотря на масштабирование технологии.