Google запускает высокоскоростную откры‑AI модель DiffusionGemma, кардинально отличающуюся от существующих вариантов

Google запускает высокоскоростную откры‑AI модель DiffusionGemma, кардинально отличающуюся от существующих вариантов

17 hardware

Google представила DiffusionGemma – экспериментальную модель ИИ

ЧтоКак работаетКлючевые особенности
НазначениеГенерация текста с акцентом на скоростьОткрытый исходный код (Apache 2.0)
Технология«Diffusion» – создаёт целый блок текста за один проход, а не слово‑за‑словомИспользует шумовый старт: случайные токены → осмысленный текст после нескольких итераций
АрхитектураMixture‑of‑Experts (MoE)26 млрд параметров, но в каждый момент активны только ~3.8 млрд; требуется ~18 ГБ видеопамяти
Параметры генерацииЗа один шаг генерирует 256 токенов, которые «видят» друг друга внутри блокаПредоставляет глобальное представление о тексте, а не линейную последовательность

Как ускоряется процесс

- На Nvidia H100 – ≈ 1000 токенов/сек
- На потребительских видеокартах – ≈ 700 токенов/сек

Шумовый старт позволяет модели «переписывать» весь блок за один проход, а не ждать появления следующего слова. Это делает DiffusionGemma особенно полезной в сценариях реального времени.

Где применить

- Структурирование данных: заполнение пропусков в коде, работа с JSON и другими форматами.
- Логические задачи: решение сложных вопросов, где важно быстро получить корректный ответ.
- Математические закономерности: анализ и генерация числовых последовательностей.

Поскольку модель видит весь блок сразу, она может исправлять противоречия в одном цикле, не дожидаясь появления следующего токена.

Ограничения

- Качество ниже Gemma 4 – скорость достигается ценой точности.
- Позиционируется как экспериментальный инструмент для сценариев, где важнее быстрота, а не совершенство ответа (например, встроенные помощники, интерактивные приложения ИИ).

Таким образом, DiffusionGemma — это быстрый, но менее точный вариант генерации текста, который может заменить традиционные модели только в тех случаях, когда скорость критична.

Комментарии (0)

Оставьте отзыв — пожалуйста, будьте вежливы и по теме.

Пока нет комментариев. Оставьте комментарий — поделитесь своим мнением!

Чтобы оставить комментарий, войдите в аккаунт.

Войти, чтобы комментировать