Programming Mentor

Найбільш недооцінений AI

До теми попереднього повідомлення. Якби мене спитали, який AI найбільш недооцінений, то я без вагань назвав би Google Gemini. Спробую щось таке назвати, про що ви можливо не знали.

Чи знаєте ви що, саме Google Gemini 2.0 Thinking була на першому місці серед LLM-моделей кілька останніх місяців до виходу Grok 3? А те, що Google на два місяці раніше за Open AI запустила функцію “Deep Research” (так, саме з такою ж назвою)? Або те що в моделей Google найкраще співвідношення ціна/якість за використання API (навіть краще за DeepSeek)? І це при найбільшому на ринку контекстному вікні - є навіть моделі з підтримкою до 2,1 млн токенів. Чи те, що в Google AI Studio є інтерактивний режим, де ви можете показати свій екран чи вебку і в реальному режимі спілкуватися з AI про контент? Або те, що там же можна взяти API-ключик і використовувати їх модельки безкоштовно, хоча і з обмеженнями, але для простих задач цілком ок? Чи те, що саму архітектуру LLM-моделей “трансформер” придумали саме в Google?

Сподіваюся, когось дійсно цими фактами здивував. І власне в цьому проблема - Google технічно як мінімум не поступається самим топовим конкурентам в галузі AI, але при цьому не робить такого інформаційного шуму як інші. Крім того в Google є якась загальна проблема з запуском проєктів - вони часто щось таке дуже цікаве запускають, всі дивуються, конкуренти починають робити клони, але оригінальний продукт чи сервіс чомусь не розвивається і з часом його вимикають взагалі. Ось зараз в таку категорію потрапив NotebookLM - дуже цікавий проєкт для навчання, але за якийсь час після випуску виглядає наче трохи закинутим. Я буквально сьогодні дізнався, що він став доступний в Україні, рекомендую, гарна річ, але сподіваюся вони його не закинуть.

Сам я AI від Google використовую досить часто і мій рівень задоволеності досить високий. Але щось з їх підходами до роботи не так - це факт.

Про національну LLM

В нашій країні по довоєнній статистиці (2013 р) в державному секторі (всі чиновники, силовики, медицина, освіта і т.д.) працював кожен четвертий працевлаштований. Можливо є свіжіші дані, не знайшов, але не думаю що вони будуть принципово відрізнятися. Це виходить досить сумна статистика, бо додана вартість генерується в приватному секторі, і чим більше у нас державного, тим менше приватного, і навпаки.

Окремо варто сказати про якість державних послуг - десятки тисяч людей зайняті простим виписуванням якихось довідок, обробкою та формуванням документів і тому подібною роботою, з якою легко справиться LLM, а ще зробить ще швидше і не потребуватиме стояти в черзі. Електронні черги в наші держоргани - то окремий сором, бо виявляється що в неї ще треба встигнути записатися, якщо не встиг - то не потрапив, бо “немає місць”. Для тих, хто вигадав електронну чергу з обмеженою кількістю місць буде окремий котел пеклі.

Але ви мабуть здогадалися, що я хочу донести ідею, що пора б це діло цифровувати/автоматизовувати якось по-нормальному, звільнивши величезну кількість ресурсів і заодно підвищивши якість державних послуг.

AI на основі LLM тут дійсно вже хоч сьогодні можна застосовувати - читати/писати документи воно вміє і в багатьох випадках зробить це ще й краще за типового державного чиновника, особливо в питанні якості наданих послуг.

Але питання - яку ми для цього використаємо LLM? Мабуть не зовсім доречно для такого проєкту дьоргати API OpenAI чи Google, чи не дай боже, Grok? А може візьмемо щось з опенсорсу, а що там у нас зараз модне - DeepSeek? Отож і воно. Всі існуючі моделі певним чином цензуровані і упереджені, і брати готову для такої задачі без хоча б мінімального доопрацювання - не найкращий варіант.

Виходить що було б непогано мати якусь свою LLM, навіть не створену з нуля, хоча б на основі LLama, тим більше що вона не має бути найрозумнішою (і відповідно найдорожчою) в світі, можна обмежитися тими ж інвестиціями і загальними підходами, за які всі хвалили DeepSeek. Головне щоб щоб дані для тренування ми проконтролювали, використали нашу нормативно-правову базу і переконалися що ніякі бекдори ніхто не заклав. І тут виникає питання - чи можливо це зробити за приватні гроші. Технічно можливо, але чи доречно?

Тут швидше ні, бо є певні речі, які держава має робити сама. Це армія, податкова/митна служба, національний банк, правоохоронна/судова система, механізми реалізації зовнішньої політики і т.д. І на моє глибоке переконання, якщо ми запускаємо AI в роботу держави, то вона також має бути зроблена державою, натренованою на наших законах, а не китайських чи американських. І на відповіді коректно відповідати відповідно до наших доктрин, а не якихось чужих. І її не мають робити робити ніякі приватні підрядники, бо важливість цієї системи буде на рівні з усіма іншими атрибутами держави, які були перечислені раніше.

Тому ідея це абсолютно правильна, але все залежить від нюансів реалізії. Тут можна зробити гарно, або як завжди. Подивимося що з того вийде, але критикувати ідею я б не поспішав.

4. Чи це справжня open source модель?
Ні, це не так. Хоча DeepSeek опублікували під ліцензією MIT, відкрили архітектуру, описали процес тренування і т.д. Вони не відкрили найважливіше - дані, на яких модель тренувалася. Але в умовах коли моделі між собою схожі по своїй будові, то найважливішою складовою, що їх розрізняють є дані. Тому без відкриття всіх даних для тренування на мій погляд не можна назвати модель повністю open source, бо по факту нам дали чорну скриньку, яка яка мінімум відповідає узгоджено з політикою китайської компартії, але що вона ще таїть в собі ніхто не знає крім її розробників. Уявіть чисто гіпотетичну ситуацію, що хтось збудував навколо цієї моделі агента, що керує розумним будинком, фінансами і т.д., але в якийсь момент з’являється користувач, що дає спеціальну команду, яка переводить його в режим бога і дає повний контроль над агентом. Інший сценарій - якщо ми генеруємо з моделлю програмний код якихось криптоалгоритмів, авторизації і т.д., то в принципі ніщо не забороняє акуратно туди заінжектити потрібні вразливості. Ми не знаємо, чи є щось подібне в DeepSeek і чи не з’явиться у майбутньому. Але точно знаємо, що видає китайську пропаганду, у тому числі й не на користь України.

5. Чи безпечно користуватися мобільною апкою та китайським сервісом DeepSeek?
Якби мені зараз бюджет десь в $40-50 млрд і попросили отримати контроль над світовою інформацією та людськими думками з перспективою світового домінування, то я би купив якусь популярну соцмережу і додав би до неї безкоштовний AI-чат. Упс, здається я тут когось впізнаю… менше з тим - якщо бюджет скромніше, то почав би саме з безкоштовного AI-чату, бо через нього я би отримав величезний потік інформації для опрацювання з однієї сторони, а також міг би контрольовано просувати потрібні мені меседжі за рахунок “підтюненої” в моїх цілях моделі.
Також я думаю всім зрозуміло, що ставити на свої мобільні пристрої будь-які аплікації, до яких немає високої довіри - то не є достатньо розумно. Як і відправляти будь-які більш менш цінні дані в будь-який сервіс за межі своїх пристроїв. Про спотворені результати видачі я писав в попередньому пункті. Тому висновки робіть самі.

6. Як безпечно користуватися DeepSeek?
Тим не менше, користуватися моделлю без ризиків втрати даних можна - це якщо запускати її локально у себе чи десь у хмарах, до яких у нас є більше довіри. Про локальний запуск поговоримо окремо, а стосовно хмарних сервісів, то вона вже є на Azure, Vercel, Together.ai, щойно анонсувала її підтримку nVidia - кількість провайдерів буде лише зростати. Зверніть увагу, що є різні варіанти моделі - є оригинальна на 671 млрд параметрів, а є так звані “дистильовані” (distilled) її варіанти, які являють собою файн-тюнинг інших моделей - Llama, Qwen за допомогою оригінальної DeepSeek, і на сервісі Groq.com наприклад, оригінальна модель поки не доступна, є лише дистильований варіант на основі Llama 3.3 на 70 млрд параметрів. Також у моделей можуть бути різні варіанти квантування (quantization), які визначають кількість бітів на один параметр, від цього буде залежати її розмір, швидкість роботи і звичайно результат. Звичайно, що найкращі результати по якості відповідей буде показувати саме оригінальна модель, всі інші - то компроміс.