Порівняння швидкості Mercury з іншими мовними моделями
Протягом тривалого часу точилися активні дискусії щодо пошуку кращої архітектури для великих мовних моделей (LLM), яка могла б стати альтернативою трансформерам. Схоже, каліфорнійський стартап Inception Labs вже має перспективне рішення. Компанія представила Mercury – першу у світі велику мовну модель на основі дифузії, розроблену для комерційного використання.
Згідно з незалежною платформою тестування Artificial Analysis, Mercury у 10 разів швидша за сучасні передові моделі. Її продуктивність перевищує 1000 токенів за секунду на графічних процесорах NVIDIA H100, що раніше було можливим лише на спеціалізованих чипах.
Як це працює?
«Трансформери домінують у генерації тексту LLM і створюють токени послідовно. Дифузійні моделі пропонують альтернативу – вони генерують весь текст одночасно, застосовуючи процес від грубого до детального», – пояснив Ендрю Ен, засновник DeepLearning.AI, у своєму дописі на X.
Ця остання фраза є ключовою для розуміння, чому підхід Inception Labs виглядає цікавим. Для простоти розуміння, LLM на базі трансформерів навчаються авторегресивно, тобто прогнозують слова (або токени) зліва направо. Проте дифузія – це техніка, яку штучний інтелект зазвичай використовує для генерації зображень та відео. Дифузія працює інакше – вона не рухається зліва направо, а створює весь текст одночасно. При цьому все починається з «шуму», який поступово очищується й отримується потік токенів.
Mercury може змінити правила гри та відкрити нові можливості у роботі LLM. А відповідно до тестування, цей підхід суттєво впливає на швидкість генерації тексту.
Швидкість та продуктивність Mercury
У тестах на стандартних бенчмарках для кодування Mercury перевершив продуктивність швидкісних моделей, таких як GPT-4o Mini, Gemini 2.0 Flash та Claude 3.5 Haiku.
Зокрема, версія Mercury Coder Mini досягла 1109 токенів за секунду.
СпецпроєктиПреимущества ирригатора – гаджета для ухода за зубами: стоит ли тратить деньги на это устройство?
Порівняння продуктивності Mercury з іншими мовними моделями
Ба більше, стартап заявив, що дифузійні моделі мають перевагу в логічному мисленні та структурованості відповідей, оскільки вони не обмежені лише попередніми токенами.
Порівняння продуктивності Mercury з іншими мовними моделями
Крім того, вони можуть постійно вдосконалювати вихідні дані, зменшуючи галюцинації та помилки. Саме дифузійні методи використовуються у генераторах відео, таких як Sora та Midjourney.
Компанія також розкритикувала сучасні методи логічного виведення, які потребують значних обчислювальних ресурсів для генерації складних відповідей.
«Створення довгих логічних ланцюжків призводить до величезних витрат на обчислення та неприйнятної затримки. Щоб зробити високоякісний штучний інтелект доступним, потрібна зміна парадигми», – заявили в Inception Labs.
Стартап випустив попередню версію Mercury Coder, щоб користувачі могли протестувати її можливості.
Нещодавно Anthropic представила Claude 3.7 Sonnet — першу гібридну модель міркування і «найкращий ШІ для айтівців».
СпецпроєктиКак украинский EdTech завоевывает глобальный рынок: участие Smarte и Green Forest Teaching Center в Bett-2025
