Сбер открыл исходный код своей новой флагманской языковой модели GigaChat 3.5 Ultra с 432 миллиардами параметров. Это не просто очередной релиз - команда переписала архитектуру, поменяла подход к данным и ускорила генерацию вдвое. Меньше весит, работает быстрее, бьёт сильнее.
Меньше параметров - больше мощи
Предыдущий флагман GigaChat 3.1 Ultra тянул на 700 миллиардов параметров. Новый - 432 миллиарда. На первый взгляд шаг назад. На деле - осознанная инженерная ставка: за счёт обновлённого рецепта обучения и архитектурных изменений модель обогнала предшественника по ключевым бенчмаркам, при этом потребляя заметно меньше памяти. KV-кеш на токен сократился примерно в четыре раза. В тот же объём памяти влезает более чем вдвое больше контекста. Пропускная способность выросла на 20%.
Отдельного внимания заслуживает ускорение генерации. Инженеры добавили MTP-головы для self-speculative decoding - и greedy decoding теперь работает в 2,2 раза быстрее. Всё обучение прогнали в формате FP8: пониженная точность ускорила процесс на десятки процентов без потери качества относительно bf16.
Своя архитектура вместо чужого рецепта
Это, пожалуй, главная история релиза. GigaChat 3.5 Ultra построен на собственной гибридной архитектуре: команда объединила MLA-слои с GatedDeltaNet и добавила стабилизирующие механизмы - Gated Attention, GatedNorm, сэндвич-нормализацию и клиппинг активаций. Без этого набора масштабирование до сотен миллиардов параметров ломает обучение.
Это не абстрактная осторожность. При создании предыдущего поколения команда опиралась на опубликованный рецепт DeepSeek V3 - и столкнулась с нестабильностью. Технический отчёт не раскрывает всех деталей реализации, а на масштабе 700 миллиардов параметров мелочей не бывает. Урок усвоили: GigaChat 3.5 строился вокруг собственного рецепта с самого начала.
Данные: органика вместо синтетики
Ещё один концептуальный разворот - в подходе к обучающим данным. Прежние версии во многом держались на синтетически сгенерированных текстах. При сотнях миллиардов параметров и триллионах токенов это начинает работать против модели: разнообразие падает, покрытие реальных сценариев сужается.
В 3.5 основу pretrain-корпуса составляют органические тексты. Веб-документы прогнали через LLM-парсинг и получили чистый Markdown с сохранёнными формулами и таблицами вместо тегового мусора. Число поддерживаемых языков программирования выросло с 16 до более чем 600. Итоговый состав корпуса выглядит так:
- около 52% - веб
- около 26% - качественные источники: научные статьи и прочее
- около 16% - код
- около 6% - математика
Прирост по бенчмаркам на новом датасете составил плюс 6% по MMLU-PRO и плюс 6% по MATH относительно предыдущего корпуса. Эксперименты масштабировались на сетапе 120B MoE / 2 трлн токенов - только при таком размере видны эффекты, которые на маленьких моделях просто не проявляются.
Что это значит для рынка
Выход GigaChat 3.5 Ultra в open source - это прямая заявка на конкуренцию с западными открытыми моделями вроде Llama и Mistral, а также с азиатскими флагманами линейки DeepSeek. Российская модель сопоставимого класса, обученная на собственной инфраструктуре с собственной архитектурой - аргумент весомый. Особенно с учётом того, что команда прямо указывает на планы по дальнейшему развитию математики, кода и самостоятельному краулингу веба. Следующий релиз, судя по всему, будет ещё интереснее.
