Компания OpenAI объявила о выходе новой версии большой языковой модели GPT-4o

Компания OpenAI объявила о выходе новой версии своей флагманской языковой модели GPT-4o и рассказала о ее новых возможностях. Главное продвижение, по мнению обозревателей, это способность понимать и переводить неанглийскую речь в реальном режиме времени.

Как утверждают разработчики, новая версия большой языковой модели GPT-4o ("o" – "omni" – от латинского "все") принимает на вход любую комбинацию текста, аудио, изображений и даже видео, а на выходе генерирует комбинацию текста, аудио и изображений (но не видео).

Скорость реакции на аудиоданные составляет в среднем 320 миллисекунд, что примерно совпадает со скоростью реакции человека при разговоре. Новая версия по производительности такая же как и GPT-4 Turbo при работе с текстом на английском языке или языках программирования, но при этом значительно улучшена работа с текстом на других языках. Всего версия поддерживает 50 языков.

Что говорит о себе сама GPT-4o. Она приводит те же данные, что и разработчики и по скорости, и по обработке информации разных форматов. Но она разнообразит сухой язык пресс-релиза примерами. Новая версия может получить на вход фотографию меню на неизвестном пользователю языке, перевести на нужный язык, рассказать, что это за блюда и порекомендовать выбор блюда или предупредить о его непривычном для пользователя вкусе.

На зрителей, присутствовавших на презентации, и обозревателей, писавших о новой версии, самое большое впечатление произвело умение GPT-4o поддерживать диалог на нескольких языках в реальном времени.

Издание BGR пишет: "Голосовой помощник OpenAI обладает впечатляющими способностями, когда дело доходит до перевода в реальном времени... Он быстро и без промахов переводил с английского на итальянский, в режиме реального времени, передавая собеседникам содержание речи друг друга".

Базовая версия GPT-4o доступна бесплатно, но у нее есть ограничения по числу запросов в день и по скорости выполнения.

Сразу после выхода новой версии один из основателей OpenAI Илья Суцкевер сообщил, что он покидает компанию. Чем он займется в дальнейшем, исследователь обещал рассказать позднее.