В разработке бенчмарка для программистов, инженеров, исследователей и ИТ-компаний участвовали команды Сбера, Т-Банка, MWS AI (входит в МТС Web Services), Ростелекома, Университета Иннополис, ИТМО, Сколтеха, Центрального университета и компании «Сибирские нейросети».
С развитием больших языковых моделей разработчики всё чаще используют искусственный интеллект для генерации кода, автоматизации рутинных задач и работы с документацией. Однако до сих пор не существовало единого способа оценить, насколько хорошо эти модели справляются с практическими задачами в русскоязычной среде. MERA Code — важный шаг к стандартизации и объективности оценки больших языковых моделей в русскоязычной среде программирования.
Ключевые особенности разработанного бенчмарка:
— Прозрачная методика оценки LLM для русского языка: впервые создан стандарт, учитывающий специфику постановки задач и документации на русском языке;
— Задачи и методика оценки отражают типичные кейсы, с которыми сталкиваются программисты в русскоязычной среде;
— 11 разнообразных задач в форматах text2code, code2text и code2code — на 8 языках программирования: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
— Честное тестирование — код запускается в изолированных средах, а не просто оценивается по тексту;
— Открытая платформа со сквозной системой подсчёта баллов, рейтингом и удобным фреймворком для тестирования;
— Анализ и результаты, охватывающие как открытые общие модели, так и проприетарные API для генерации кода.
Инструмент MERA Code поможет разработчикам и инженерам выбрать наиболее эффективные модели для своих проектов, исследователям — объективно сравнить модели в единых условиях и компаниям — принять решения о качестве LLM на основе открытых и прозрачных данных.
Подробнее о MERA Code
MERA Code — новая ветка бенчмарков MERA, созданная Альянсом в сфере ИИ для оценки кода. Впервые бенчмарк MERA был представлен на международной конференции AI Journey в 2023 году. Впоследствии методологию теста также презентовали на ведущей научной конференции по компьютерной лингвистике. В июне 2025 года в бенчмарке MERA также появилась отраслевая ветка — MERA Industrial.
mera.a-ai.ru/ru/code
Альянс в сфере ИИ объединяет ведущие технологические компании для совместного развития их компетенций и ускоренного внедрения искусственного интеллекта в образовании, научных исследованиях и в практической деятельности бизнеса.
a-ai.ru
