Як оптимізувати великі мовні моделі під слабке залізо
Без чого тепер не беруть на роботу в AI та ML
Сучасні LLM (навіть порівняно невеликі, як-от Llama 3 чи Mistral) вимагають від 16 до 32 ГБ відеопам’яті лише для інференсу. Для навчання — в рази більше. Виходить, що хмарні рішення дорогі, а локальні — важкі для заліза.
Саме тому моделі розгортають локально, про що ми нещодавно писали. Замість купівлі дорогих хмарних GPU індустрія вигадала два компресійних підходи: квантизацію (для запуску) та LoRA/QLoRA (для донавчання).
Квантизація: Як стиснути модель без втрати сенсу
Простими словами, квантизація — це процес переведення ваг нейромережі з високої точності збереження даних (наприклад, 16- або 32-бітних чисел із рухомою комою, FP16/FP32) в низьку точність (8- або 4-бітні цілі числа, INT8/INT4).
Це як стискати аудіо з монолітного формату WAV у звичайний MP3. Вага файлу зменшується в рази, але для людського вуха (а у випадку з LLM — для фінального користувача) різниця в якості залишається майже непомітною. Так відсікається лише зайва математична точність, яка мінімально впливає на контекст і логіку відповідей.
Сучасна індустрія оптимізації тримається на кількох форматах квантизації::
GGUF (раніше GGML)
Формат, який здійснив революцію в локальному запуску АІ. Його створив розробник Георгій Герганов у межах свого відомого open-source репозиторію llama.cpp. GGUF розроблений спеціально для ефективних обчислень на CPU та архітектур із загальною пам'яттю, що зробило його стандартом де-факто для власників Mac на базі Apple Silicon (M1/M2/M3/M4).
GPTQ та AWQ
Ці формати заточені суто під інференс на GPU. Серед них AWQ (Activation-aware Weight Quantization) вважається прогресивнішим. Його фішка в тому, що під час стиснення алгоритм аналізує активації моделі та захищає від деградації 1% найважливіших («салієнтних») ваг. Технологію детально описано в дослідженні AWQ: Activation-aware Weight Quantization for LLM Compression.
Щоб зрозуміти силу цього методу, можна звернутися до цифр. Популярна модель Llama 3 8B у вихідному форматі FP16 важить близько 16 ГБ. Після агресивної, але розумної квантизації в INT4 (4-біт) її розмір падає до ~4.5 ГБ. Завдяки цьому модель, яка раніше вимагала серверного заліза, тепер спокійно працює на бюджетній відеокарті рівня RTX 3060/4060 або навіть на базовому MacBook Air з сучасним процесором.
LoRA: Fine-tuning на домашньому ПК
Класичне донавчання (full fine-tuning) великих мовних моделей — це часто жах для інфраструктури розробника. Коли ми намагаємось оновити параметри мережі стандартним шляхом, системі потрібно вирахувати й зберегти в пам'яті градієнти й стани оптимізатора (наприклад, AdamW) для кожного з мільярдів вагових коефіцієнтів. Це призводить до критичної помилки Out Of Memory (OOM) навіть на топових споживчих картах.
Технологія LoRA (Low-Rank Adaptation) повністю змінює те, як це працює. Її суть максимально елегантна. Оригінальні ваги базової моделі повністю «заморожуються», що робить їх незмінними. Замість цього, паралельно до наявних лінійних шарів, додаються дві маленькі додаткові матриці низького рангу (Low-Rank matrices). Під час fine-tuning процес навчання та оновлення ваг відбувається лише для цих нових матриць.
Чому це працює?
Автори фундаментального дослідження від Microsoft — LoRA: Low-Rank Adaptation of Large Language Models — довели, що зміна ваг під час адаптації моделі під конкретне завдання має «низьку внутрішню вимірність» (low intrinsic dimension).
Простіше кажучи, щоб навчити модель нової специфіки (наприклад, писати код певним стилем або аналізувати медичні картки), не потрібно переписувати всі нейронні зв'язки в її гігантському мозку. Достатньо внести точкові, низькорангові корективи поруч.
Результат впровадження LoRA
Кількість параметрів, які реально тренуються, зменшується на 99%. Вимоги до VRAM падають у рази, а фінальна вага навченого «адаптера» (диференціала знань) становить усього кілька десятків мегабайтів замість десятків гігабайтів. Тепер fine-tuning офіційно перестав бути привілеєм великих корпорацій та став доступним на звичайних домашніх ПК.
QLoRA: Мікс квантизації та LoRA
Справжнім технологічним проривом у травні 2023 року стала робота дослідника Тіма Деттмерса та його команди, які представили концепцію QLoRA (Quantized Low-Rank Adaptation). Вони об'єднали переваги квантизації та LoRA в один надефективний пайплайн.
Ідея QLoRA геніальна у своїй простоті. Беремо велику базову модель і стискаємо її ваги в особливий, математично оптимізований під архітектуру нейромереж 4-бітний тип даних — NormalFloat 4 (NF4).
Оскільки модель стає ультралегкою, вона без проблем вміщується в пам'ять GPU. А поверх цієї замороженої 4-бітної основи ми накладаємо вже знайомі нам 16-бітні адаптери LoRA, які й піддаються fine-tuning.
Сучасний практичний стек для реалізації QLoRA базується на кількох інструментах:
- bitsandbytes — бібліотека, яка безпосередньо відповідає за 4-бітне стиснення ваг, роботу з форматом NF4 та квантизовані оптимізатори.
- Hugging Face PEFT (Parameter-Efficient Fine-Tuning) та TRL (Transformer Reinforcement Learning) — індустріальні стандарти для зручного керування компонентами адаптерів та самим процесом навчання.
Якщо раніше розробники обмежувалися стандартними скриптами від Hugging Face, то зараз улюбленцем індустрії став фреймворк Unsloth. Це відкрите рішення, яке оптимізує обчислення безпосередньо на рівні ядер CUDA. Завдяки Unsloth ви можете прискорити QLoRA-навчання у 2–5 разів та додатково зменшити споживання відеопам'яті на 80%. Все це без жодної втрати фінальної точності моделі.
З чого починати?
Щоби перейти від теорії до практики, сьогодні вже не потрібно розгортати складні хмарні архітектури або купувати дороге залізо. Сучасний софт пропонує новачкам максимально низький поріг входу.
Для інференсу (запуску моделей)
Найкращий вибір — Ollama або LM Studio. Обидва інструменти працюють із коробки, використовуючи під капотом оптимізований формат GGUF. З Ollama ви можете підняти локальну нейромережу та запустити її буквально однією командою в терміналі (наприклад, ollama run llama3), а LM Studio надасть зручний графічний інтерфейс, схожий на ChatGPT, для тестування моделей прямо на вашому ПК.
Для навчання (fine-tuning)
Навіть якщо у вас немає потужної відеокарти, можна використати безплатну версію Google Colab і доступний там графічний прискорювач Nvidia T4, який має 16 ГБ відеопамʼяті. Завдяки зв'язці QLoRA + Unsloth цього обсягу пам'яті тепер з головою вистачає, щоб за пару годин донавчити повноцінну модель на 7B–8B параметрів під специфіку вашого бізнесу або проєкту.
На завершення
Сьогодні оптимізація великих мовних моделей стала суворим стандартом AI-індустрії. Сучасний бізнес більше не хоче бездумно спалювати бюджети на нескінченні хмарні кластери, тому компанії активно шукають інженерів, які вміють деплоїти й донавчати моделі ефективно і дешево. А навчитися цього можна з актуальними курсами від robot_dreams.
