Над открытой моделью работало управление экспериментальных систем машинного обучения банка. В Pollux четыре миллиарда параметров, для проверки доступны ответы на двух языках — русском и английском.

Запускать разработку можно локально. В пресс-службе пояснили, что обычно ответы проверяют большие языковые модели, а при массовом анализе это требует существенных вычислительных ресурсов. Использование Pollux снижает такие затраты.

Проверять можно не только отдельные ответы. Модель разбирает диалоги с несколькими обменами репликами, оценивает результаты систем, которые обращаются к внешним источникам информации, и анализирует, в какой последовательности ИИ-агенты вызывают инструменты.

Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков рассказал, что обучению предшествовали подготовка детальных критериев и сбор большого объема данных, которые разметили эксперты. На этой основе обучили Pollux. Критерии вместе с экспертной разметкой доступны исследователям.

В банке рассчитывают с помощью новой модели быстрее обнаруживать ошибки нейросетей. Также ожидается, что разработка поможет улучшить ИИ-системы и сделать их безопаснее.