БлоGнот

Близятся праздники, у всех сейчас горячая пора, конец года, акции, распродажи — и я решил, что тоже хочу. Тем более, что сейчас и акции выглядят логично, а когда праздники наступят и у всех резко закончатся рабочие задачи, как раз наступит прекрасное время для самосовершенствования, приобретения новых знаний и поглощения новой информации. Например, для изучения моего курса.

А поскольку полумеры — не наш метод, то у меня сразу три новости.

Во-первых, начинаем набор в новую группу «Курса молодого CEO». Курс продолжает видоизменяться, насыщаться и даже немного ускоряться и очередная группа стартует 21 января 2025 года. Формат курса почти не меняется — 20 записанных видео-лекций, не менее 5 онлайн-созвонов, чат для общения и полгода на изучение материала (3 месяца курса и 3 месяца после него).

Во-вторых, после многочисленных вопросов вида «А можно купить запись?» или «А я не успел записаться, есть ли смысл?» или «А когда следующий курс?» (почему-то примерно первый вопрос, который мне задают после каждого анонса) я, кажется, нашел универсальное решение. Теперь, кроме стандартного курса, привязанного к дате старта, есть еще один вариант — Lite, который станет доступен 25 декабря. В него входят только лекции с заданиями и конспектами, он доступен сразу и в течение 6 месяцев после покупки. Естественно, по более низкой цене, чем стандартный пакет.

В-третьих, я же обещал акции? Вот это всё при покупке до 30 декабря включительно с промокодом NEWYEAR2025 обойдется на 20% дешевле. Так что позаботьтесь о полезных каникулах заранее.

Весь курс на украинском языке. А аналог на русском доступен (постепенно) членам канала на YouTube на уровне «Молодые CEO». Кстати, сегодня там вышла очередная лекция.

https://2025.junior-ceo.com/

Интересное исследование — оказывается, если подольше подумать, то результат окажется лучше. Исследователи из Hugging Face выложили результаты своего исследования, в ходе которого небольшие модели — Llama-3.2-1B и Llama-3.2-3B, — обошли в тесте на решение математических задач намного более мощные — Llama-3.1-8B и Llama-3.1-70B соответственно.

Исследователи использовали остроумный процесс, практически позволяющий маленьким моделям рассуждать во время решения задач, как это делают большие reasoning модели, с тем отличием, что маленькая модель это делает "вслух" — она генерирует решения, а оценивает результат специально обученная Llama-3.1-8B. Это оказывается достаточно для эффективного решения простых задач, а со сложными помогает справляться другая стратегия, когда маленькая модель генерирует промежуточные шаги, а верификатор оценивает качество этих шагов, вознаграждая модель в случае их правильности. То есть тут еще и аналог chain-of-thought получается.

Вам же тоже видится в этом прямая аналогия с человеческой школой?

Выгода от таких решений прямая — потратив чуть больше времени и вычислительных ресурсов на решение задачи, мы при этом решаем задачу моделью, которую можно развернуть на смартфоне, то есть экономя память. Авторы указывают, что пока очевидное использование такой стратегии — это решение математических задач и написание кода, но только потому, что в этих случаях существует определенное правильное решение для проверки.

https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute