Интересный обзор комментариев на тему запуска o3. Модель показывает впечатляющие результаты — например, 88% в тесте ARC-AGI против 32% у o1, и 25% в сложном математическом тесте, где другие модели не набирали больше 2%.
Правда, эта производительность достигается ценой огромных вычислительных затрат — более $1000 на одну задачу против $5 у o1. На полном тесте ARC-AGI o3 low использовала ресурсов на $10 000 и набрала всего на 12% меньше баллов, чем o3 high, использовавшая в 172 раза больше вычислительных ресурсов (цену им еще не сложили).
Это поднимает вопросы о практическом применении таких моделей — вряд ли o3 станет повседневным инструментом как GPT-4. Скорее, это будет специализированный инструмент для сложных задач, доступный только организациям с большими бюджетами. OpenAI уже предлагает тариф $200 для версии o1 pro (которая действительно очень круто работает) и даже ходят слухи о некоем тарифе Ultra со стоимостью до $2000.
Впрочем, индустрия видит в этом подходе — масштабировании вычислений во время генерации ответа, — большой потенциал. Джек Кларк из Anthropic считает, что в 2025 году прогресс AI ускорится даже по сравнению с 2024-м годом за счет комбинации традиционного масштабирования и test-time scaling. А производители специализированных AI-чипов, как Groq или Cerebras, могут сделать такой подход более доступным.
https://techcrunch.com/2024/12/23/openais-o3-suggests-ai-models-are-scaling-in-new-ways-but-so-are-the-costs/
Правда, эта производительность достигается ценой огромных вычислительных затрат — более $1000 на одну задачу против $5 у o1. На полном тесте ARC-AGI o3 low использовала ресурсов на $10 000 и набрала всего на 12% меньше баллов, чем o3 high, использовавшая в 172 раза больше вычислительных ресурсов (цену им еще не сложили).
Это поднимает вопросы о практическом применении таких моделей — вряд ли o3 станет повседневным инструментом как GPT-4. Скорее, это будет специализированный инструмент для сложных задач, доступный только организациям с большими бюджетами. OpenAI уже предлагает тариф $200 для версии o1 pro (которая действительно очень круто работает) и даже ходят слухи о некоем тарифе Ultra со стоимостью до $2000.
Впрочем, индустрия видит в этом подходе — масштабировании вычислений во время генерации ответа, — большой потенциал. Джек Кларк из Anthropic считает, что в 2025 году прогресс AI ускорится даже по сравнению с 2024-м годом за счет комбинации традиционного масштабирования и test-time scaling. А производители специализированных AI-чипов, как Groq или Cerebras, могут сделать такой подход более доступным.
https://techcrunch.com/2024/12/23/openais-o3-suggests-ai-models-are-scaling-in-new-ways-but-so-are-the-costs/