Основная технология Grok Imagine
Узнайте о технологии модели Aurora, стоящей за Grok Imagine — уникальной авторегрессивной архитектуре, которая генерирует кинематографические видео со встроенным звуком, принципиально отличаясь от конкурентов на основе диффузии.
Авторегрессивная архитектура Mixture-of-Experts
В отличие от диффузионных моделей, которые удаляют шум из случайного шума, модель Aurora в Grok Imagine генерирует видео токен за токеном, как языковая модель. Каждый фрагмент размером 16×16 пикселей предсказывается последовательно, при этом специализированные экспертные подсети активируются через динамическую маршрутизацию для различных задач — физики движения, стилевой согласованности, координации аудио — максимизируя качество при минимизации вычислительных затрат.
Temporal Latent Flow для согласованности движения
Grok Imagine использует технологию Temporal Latent Flow, которая рассматривает каждый статический кадр как часть 4D-представления (3D-пространство + время). Это отображение траекторий в латентном пространстве обеспечивает согласованное освещение, тени и субпиксельную стабильность текстур между кадрами, эффективно устраняя мерцание и временные артефакты, характерные для других ИИ-генераторов видео.
Унифицированная аудиовизуальная генерация
Grok Imagine генерирует аудио и видео за один унифицированный проход, а не как отдельные конвейеры. Поскольку текст, изображение и аудио разделяют одни и те же латентные представления внутри модели Aurora, звуковые эффекты естественно синхронизируются с визуальными событиями, диалоги соответствуют движениям губ, а фоновая музыка адаптируется к настроению сцены — всё создаётся одновременно во время генерации.
