Google запускает высокоскоростную откры‑AI модель DiffusionGemma, кардинально отличающуюся от существующих вариантов
Google представила DiffusionGemma – экспериментальную модель ИИ
| Что | Как работает | Ключевые особенности |
|---|---|---|
| Назначение | Генерация текста с акцентом на скорость | Открытый исходный код (Apache 2.0) |
| Технология | «Diffusion» – создаёт целый блок текста за один проход, а не слово‑за‑словом | Использует шумовый старт: случайные токены → осмысленный текст после нескольких итераций |
| Архитектура | Mixture‑of‑Experts (MoE) | 26 млрд параметров, но в каждый момент активны только ~3.8 млрд; требуется ~18 ГБ видеопамяти |
| Параметры генерации | За один шаг генерирует 256 токенов, которые «видят» друг друга внутри блока | Предоставляет глобальное представление о тексте, а не линейную последовательность |
Как ускоряется процесс
- На Nvidia H100 – ≈ 1000 токенов/сек
- На потребительских видеокартах – ≈ 700 токенов/сек
Шумовый старт позволяет модели «переписывать» весь блок за один проход, а не ждать появления следующего слова. Это делает DiffusionGemma особенно полезной в сценариях реального времени.
Где применить
- Структурирование данных: заполнение пропусков в коде, работа с JSON и другими форматами.
- Логические задачи: решение сложных вопросов, где важно быстро получить корректный ответ.
- Математические закономерности: анализ и генерация числовых последовательностей.
Поскольку модель видит весь блок сразу, она может исправлять противоречия в одном цикле, не дожидаясь появления следующего токена.
Ограничения
- Качество ниже Gemma 4 – скорость достигается ценой точности.
- Позиционируется как экспериментальный инструмент для сценариев, где важнее быстрота, а не совершенство ответа (например, встроенные помощники, интерактивные приложения ИИ).
Таким образом, DiffusionGemma — это быстрый, но менее точный вариант генерации текста, который может заменить традиционные модели только в тех случаях, когда скорость критична.
Комментарии (0)
Оставьте отзыв — пожалуйста, будьте вежливы и по теме.
Войти, чтобы комментировать