📉 Ще один цікавий тренд в економіці AI - швидке зниження вартості інференсу, про що пише партнер a16z Guido Appenzeller. Ключове:

• За три роки середня вартість обробки мільйону токенів знизилась в 1000 разів.

• Наскільки LLM продовжать дешевшати, залежить від багатьох факторів, зокрема автор виділяє

Better cost/performance of the GPUs,
Model quantization
Software optimizations
Smaller models
Better instruction tuning
Open source

і приходить до висновку, що здешевшання продовжиться, хоча і не такими високими темпами.

• Інше цікаве питання - наскільки це проблема для бізнесу розробників LLM, адже їм треба якось заробляти. Зараз виглядає так, що вони фокусуються на монетизації своїх топових моделей. Але навіть так вартість інференсу топової моделі OpenAI (o1) така ж, як була при запуску GPT-3 ($60 за мільйон токенів).

• Для розробників AI-сервісів та користувачів це звісно позитивний тренд. Нинішні ціни на LLM API уможливлюють такі бізнес-моделі, які ще кілька років тому були нежиттєздатними. Якщо ви буде говорити 10 годин на день, все що ви наговорите за рік можна обробити за $2. Код ядра Linux - за $1. Додайте до цього так само низькі ціни на API text-to-speech сервісів, і виходить що простого голосового асистента можна розгорнути практично безкоштовно.