11.11.2026
Исследователи из управления экспериментальных систем машинного обучения Сбербанка представили Pollux — открытую компактную модель-судью и инструментарий для оценки языковых моделей по критериям, которые задаёт пользователь. Новая модель поможет специалистам быстрее находить ошибки в ответах ИИ, а пользователям — получать более точные и безопасные ответы от нейросетей.
Научная статья о
Pollux принята в трек System Demonstrations на международную конференцию AACL-IJCNLP 2026 в Китае.
Открытая компактная модель-судья Pollux Judge на 4 млрд параметров оценивает не только пары «запрос-ответ» на русском и английском языках по критериям и шкалам, которые задаёт пользователь, но и диалоги, ответы с найденным контекстом (RAG) и цепочки вызовов инструментов.
Оценка генеративных моделей в задачах открытого типа остаётся сложной, ведь качество результатов может меняться по таким параметрам, как стиль, корректность, фактическая обоснованность и безопасность. Более того, упрощённая схема «запрос-ответ» оказывается недостаточной для универсальной системы оценки, так как современные приложения всё чаще включают многоходовые диалоги, использование внешних источников информации и вызовы инструментов (tool-calling). Сейчас в роли судей обычно применяют большие языковые модели: они дорогие и плохо масштабируются. Специализированные модели-судьи сложно встроить в реальные сценарии с диалогами, RAG и агентами.
Pollux решает эту задачу. Модель использует гибкие критерии, шкалы и форматы вывода, которые определяет пользователь. В основе методологии Pollux лежит подход из бенчмарка Pollux Benchmark. В бенчмарке собрано 35 групп задач и 2115 запросов, которые подготовили эксперты. Pollux обучена методом GRPO (алгоритм обучения с подкреплением) на русскоязычных и англоязычных данных. Модель спроектирована для двуязычного применения благодаря языково-независимой схеме взаимодействия.
На независимом тестовом наборе с экспертной разметкой и на отложенной выборке Pollux демонстрирует коэффициент корреляции Спирмена, равный 0,744 с оценками специалистов. Это выше всех протестированных универсальных моделей, в том числе систем с количеством параметров до 1,1 трлн. При этом Pollux остаётся компактным. Решение можно развернуть локально или использовать через API, совместимый с OpenAI.
«Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи — по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах её оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше».
Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка
Разработчики могут подключить модель Pollux к фреймворкам, таким как DeepEval и LightEval. Так можно оценивать ответы, пары ответов, RAG-системы и агентов по собственным критериям.
