LFM3: компактные модели Liquid AI для текста, изображений, звука и прикладных решений
Как устроено семейство LFM3, чем отличаются его шесть моделей и что учитывать при выборе основы для локального агента, голосового интерфейса или обработки документов.
Черновик APICODIK — требуется редакторская проверка перед публикацией.
Liquid AI представила LFM3 — семейство моделей с открытыми весами, рассчитанное на специализацию под конкретные приложения. В него входят текстовая, визуальная, звуковая и объединяющая несколько модальностей модели, а также две модели для структурированных решений. Все они происходят от общей основы LFM3-1.7B-Base и относятся к классу примерно двух миллиардов параметров.
Главная идея здесь не в том, чтобы предложить одну модель для любых входных данных. Разработчику предлагают выбрать нужные возможности, адаптировать модель на собственных данных и запускать её там, где работает приложение. По заявлению Liquid AI, каждую модель семейства можно дообучать на одном GPU. Веса, включая базовую модель для собственного последующего обучения, доступны на Hugging Face.
Сначала задача, потом набор модальностей
Практически линейку удобнее рассматривать через требования к интерфейсу приложения.
- **LFM3-1.7B** предназначена для текстовых задач: локальных агентов, вызова инструментов, структурированных ответов и предметного дообучения.
- **LFM3-VL-2B** принимает текст, изображения и видео, а отвечает текстом. Это первая визуальная LFM с поддержкой видеовхода.
- **LFM3-Audio-2B** работает с текстом и аудио, выдаёт текст и речь. Среди заявленных сценариев — распознавание и синтез речи, голосовой диалог, перевод на 18 языках и преобразование устных запросов в вызовы инструментов.
- **LFM3-Omni-2B** объединяет текст, изображения, видео и аудио на входе, поддерживая текстовые и речевые ответы. Например, ей можно задать голосом вопрос о фотографии или передать видео вместе со звуковой дорожкой.
Такое разделение помогает начать выбор не с универсальности модели, а с реального потока данных. Для обработки документов без звука стоит сначала рассмотреть текстовую или визуальную версию; для интерфейса, которому одновременно нужны изображение и голос, — Omni.
Что изменилось в общей основе
В LFM3 используются три типа вычислительных слоёв: короткие свёртки с механизмом управления, внимание в скользящем окне и глобальное внимание. Базовая модель содержит 24 слоя: 13 свёрточных, пять с локальным вниманием и шесть с глобальным. Окно локального внимания составляет 256 токенов.
Это развитие гибридного подхода LFM2, а не переход к полностью иной конструкции. Liquid AI сообщает, что архитектуру подбирали с учётом работы на оборудовании: поиск охватывал 14 сочетаний устройств и вычислительных сред, от телефонов и Raspberry Pi 5 до облачных процессоров, GPU и Qualcomm Hexagon NPU.
Есть и менее заметные изменения. Выход каждой головы внимания регулируется отдельным затвором; по объяснению авторов, это может подавлять выбросы активаций, мешающие квантованию. В глобальном внимании позиционное преобразование RoPE применяется только к половине измерений каждой головы. Нормализация выполняется и на входе, и на выходе блока.
Базовую модель обучали на 22 трлн токенов. Заключительный этап включал больше данных с агентными действиями и вызовами инструментов, а контекстное окно было расширено до 256 тысяч токенов. Для текстовой модели авторы указывают размер около 1 ГБ при четырёхбитной точности. Эту цифру следует отличать от полного бюджета памяти приложения: в статье она относится именно к модели в указанном формате.
Мультимодальность — это ещё и обработка входных данных
Общее языковое ядро дополняют собственные визуальный и звуковой энкодеры Liquid AI. Поэтому изменения затрагивают не только генерацию ответа, но и преобразование изображения или звука в представление для модели.
По данным компании, новый визуальный энкодер требует втрое меньше вычислений, чем SigLIP2 в предыдущих LFM VL. При работе с видео он объединяет каждую пару выбранных кадров в один временной срез, сокращая временную последовательность вдвое.
Звуковой энкодер устроен каузально: модель может начинать обработку, пока пользователь ещё говорит. Для речевого вывода используется новый LiquidCodec с потоковым декодированием. Авторы сообщают о задержке до первого токена от 50 мс, однако это показатель из их описания, а не обещание такой же задержки для любого голосового приложения.
Когда нужен не разговор, а решение
Отдельное место занимают **d1-2B** и **d1-omni-2B**. Вместо свободного текстового ответа они получают ситуацию и набор вопросов, после чего отвечают на них за один прямой проход. Результаты сопровождаются вероятностями, которые авторы характеризуют как калиброванные.
Поддерживаются ответы «да/нет», выбор одного или нескольких вариантов, оценки, указание объектов, чтение значений из документов и численные оценки с диапазоном. Версия d1-2B принимает текст, изображения и видео; d1-omni-2B добавляет аудио.
В примере Liquid AI одна заявка в поддержку одновременно проверяется на запрос возврата, направляется в подходящий отдел и получает тематические метки и оценку срочности. Для подобных сценариев полезно отдельно оценить d1: требуемый результат здесь — набор полей для дальнейшей обработки, а не объяснение в форме диалога.
Как подходить к внедрению
В статье приведены примеры запуска через Transformers и учебные блокноты для дообучения. Среди задач — извлечение JSON из документов и фотографий чеков, выбор инструментов, преобразование голосовых команд в вызовы функций и ответы на устные вопросы об изображениях.
Начать практическую оценку разумно с одного такого узкого сценария. Сначала определить нужные входы и формат результата, затем проверить базовую модель на собственных примерах и только после этого выбирать способ адаптации. Заявление о дообучении на одном GPU не сопровождается в обзорной статье единым требованием к видеопамяти для всех задач, поэтому его нельзя превращать в универсальную конфигурацию оборудования.
Liquid AI приводит многочисленные сравнения с предыдущими LFM и другими моделями. Это результаты авторов релиза, а не независимая проверка. Для выбора в продукт важнее воспроизвести нужный рабочий сценарий: качество на своих данных, задержку, потребление памяти и корректность вызовов инструментов.
LFM3 предлагает конкретную стратегию: общий компактный фундамент, отдельные модели под разные входы и дальнейшая специализация. Насколько она подходит приложению, стоит решать не по универсальному рейтингу, а по результатам проверки выбранной модели на целевой задаче.
Источники
Попробовать модели через APICODIK
Claude, GPT, Gemini, DeepSeek и другие модели по одному ключу, без VPN и с оплатой в рублях.
APICODIK