Большой текст в Wall Street Journal описывает ситуацию с разработкой в OpenAI и, в частности, сообщает, что разработка GPT-5 под кодовым названием Orion идет медленнее, чем ожидалось и сталкивается с проблемами, основные из которых — нехватка данных для обучения и технические сложности с архитектурой модели. После 18 месяцев работы и как минимум двух масштабных тренировочных прогонов, каждый из которых обошелся примерно в полмиллиарда долларов, результаты все еще не оправдывают огромных затрат.

Правда, по результатам тестового обучения получившаяся модель выдавала результаты лучше, чем нынешние публичные модели OpenAI, но они были недостаточно хороши, чтобы соответствовать переходу от GPT-4 к GPT-5 по критериям компании.

OpenAI пытается решить проблему данных, нанимая специалистов для создания нового контента (то есть буквально программисты, например, пишут код для решения тех или иных задач, чтобы на этом контенте обучать модель) и используя синтетические данные от своей модели o1, но процесс идет медленно.

Публично компания пока никак не комментирует планы относительно Orion.

А я вот что думаю — если показанная вчера o3 настолько лучше всего и даже превосходит людей и там внутри еще не Orion, то что мы увидим, когда в условной o5 соединятся Orion с еще более продвинутыми размышлениями?

https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693?st=ng5hBi&reflink=desktopwebshare_permalink