Розуміння Google’s Titans: Навчання запам’ятовувати під час тестуванняЯ нещодавно ознайомився з новою публікацією Google під назвою
“Titans: Learning to Memorize at Test Time”, яка вийшла 31 грудня 2024 року.
Якщо коротко, то це наступний крок у розвитку трансформерних моделей, які покращили ШІ так, як ми його знаємо сьогодні. Titans-архітектура дає змогу моделям запам’ятовувати інформацію у довгостроковій пам’яті, не перевантажуючись зайвими деталями.
Чому Titans — це проривБільше ніж просто трансформериЗвичайні трансформери оперують “увагою” (attention) в межах контекстного вікна. Titans додає довготривалу пам’ять, навчаючись запам’ятовувати та забувати інформацію майже як людський мозок.
Три компоненти пам’ятіCore: основний процесор даних, короткочасна пам’ять.
Long term memory: довгострокова пам’ять, що зберігає дійсно важливий контекст.
Persistent Memory: постійне сховище, яке не втрачається з часом.
Гнучке використання історичного контекстуМодель самостійно визначає, які дані є “сюрпризом” та варті запам’ятовування, а що можна “забути”, щоб не захаращувати пам’ять.
Величезний контекстTitans масштабуються і можуть працювати навіть із контекстним вікном понад 2 мільйони токенів.
Як це може вплинути на пошук GoogleНа сьогоднішній день пошук у Google — це складна комбінація традиційних алгоритмів і ML-систем (RankBrain, DeepRank, BERT тощо). Якщо Titans інтегрують у пошук, ми можемо побачити ще більш точні результати, які краще враховуватимуть довготривалий контекст і “вгадуватимуть” наступні питання користувачів.
“Подумайте про подальші запитання, які можуть виникнути у користувача, і відповідайте на них на випередження.”Це чудово підходить під мою стратегію створення контенту: максимально враховувати наміри користувачів, давати оригінальні відповіді, глибокі аналітичні висновки та корисні факти.
Titans — це справжній прорив, оскільки дозволяє моделі працювати з пам’яттю майже по-людськи: запам’ятовувати важливе та відкидати зайве, тим самим підвищуючи ефективність і точність. Для тих, хто займається пошуковою оптимізацією чи просто цікавиться розвитком ШІ, це ще один аргумент бути готовими до майбутніх змін.
Джерело (англ.):
Titans: Learning to Memorize at Test Time