ШІ DeepSeek досить швидко підкорив світ мобільних пристроїв, а тепер розширюється на Windows – з повною підтримкою Microsoft, що дивно. Гігант ПО додав модель DeepSeek R1 до своєї Azure AI Foundry, щоб дозволити розробникам тестувати та створювати хмарні застосунки та сервіси з її допомогою. Тепер Microsoft оголосила, що додає дистильовані версії R1 на комп’ютери Copilot+ PC.
Дистильована модель у ШІ – це спрощена версія більшої нейромережі, яка частково зберігає її продуктивність, але працює швидше та ефективніше. Процес дистиляції дозволяє передати знання від великої, потужної моделі до меншої. У цьому випадку повна DeepSeek R1 має 671 млрд параметрів, а менші моделі матимуть від 1,5 млрд до 14 млрд параметрів. Це не ідеальний процес, і дистильована модель менш потужна, ніж повна версія, але її менший розмір дозволяє їй працювати безпосередньо на споживчому обладнанні (замість спеціалізованого обладнання для ШІ, яке коштує десятки тисяч доларів).
Дистильовані моделі DeepSeek R1 спочатку будуть доступні для пристроїв на базі чипів Snapdragon X та процесорів Intel Core Ultra 200V, а потім на ПК на базі AMD Ryzen AI 9.
Першою моделлю буде DeepSeek-R1-Distill-Qwen-1.5B (тобто модель з 1,5 млрд параметрів), а більші та потужніші моделі 7B та 14B з’являться найближчим часом. Вони будуть доступні для завантаження з Microsoft AI Toolkit.
Microsoft довелося налаштувати ці моделі, щоб оптимізувати їх для роботи на пристроях з NPU. Операції, які сильно залежать від доступу до пам’яті, виконуються на центральному процесорі, тоді як обчислювально-інтенсивні операції, такі як блок трансформатора, виконуються на NPU. Завдяки оптимізації Microsoft вдалося досягти швидкого часу до першого токена (130 мс) і пропускної здатності 16 токенів на секунду для коротких підказок (менше 64 токенів). Зауважте, що «токен» схожий на голосну літеру (важливо, що один токен зазвичай має довжину більше одного символу).
СпецпроєктиМікрофони HyperX QuadCast 2 та QuadCast 2S: чистий звук у складних умовах, інноваційна підсвітка та свій застосунокЧи є користь від ноутбука з двома екранами та чи зручно за ним працювати? Розбираємося на прикладі ASUS Zenbook DUO
Microsoft є сильним прихильником ШІ й інвестує в OpenAI (творця ChatGPT і GPT-4o), але, схоже, вона схильна до диверсифікації. Її Azure Playground має моделі GPT (OpenAI), Llama (Meta), Mistral (компанія зі штучного інтелекту), а тепер і DeepSeek.
