Сравнение Алисы (Яндекс) и Гигачат (Сбер) по 5 бенчмаркам: τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena‑Hard
Пара вводных слов, чтобы было понятно о чем речьВсем привет!Я обещал написать эту статью и я наконец-то закончил тесты и готов поделиться с вами результатами.Я потратил МНОГО времени на то, чтобы прогнать эти бенчмарки. Много времени на сетапы, много времени на ожидание тестов. Все вместе заняло около двух недель работы - модели обрывались, где-то нужно было костылять заплатки чтобы они отвечали, где-то просто ждать по несколько дней на прохождение теста (даже в многопоточном тестировании).
Не бенчмарком единым: стелс‑модель union‑alpha на реальной задаче — сутки от релиза до боя
Дисклеймер: в статье упоминается Meta — организация, признанная экстремистской и запрещённая на территории РФ. Статья — не прогрев и не реклама. Все логи, цифры и скрины — из реальных прогонов на тестовом аккаунте.Все ключи, телефоны и названия в примерах изменены; код, схема, логика и скрины‑ из рабочего проекта заказчика, и строго с его разрешения! Статья не является рекламой/самопиаром и тому подобное. Пролог: живая встреча, бэклог и бесплатная модель
Отель, ферма и полигон ТКО автоматизируются одинаково?
«Мы под эти параметры не подходим — в связи с особенностью своих предприятий».Так главбух холдинга объясняет, почему типовые правила в 1С не ложатся на их учёт. Та же уверенность у гостиницы, у фермы, у мусорного оператора из того же холдинга: свой бизнес не похож на соседний, готовое решение не подойдёт. Когда мы разложили работу всех этих предприятий на автоматизацию, уникальности в ней оказалось процентов десять. Остальное — пять повторяющихся паттернов, одинаковых что для коровника, что для полигона ТКО.Это выводы с аудита того самого холдинга
Что будет, если доверить проверку документов нейросети
Меня зовут Никита Мохов. Я отвечаю за цифровое развитие закупок, документооборот и ещё десяток процессов в Цифровом СИБУРе — начиная с закупок и заканчивая выдачей сотрудникам ключей в нашем санатории. Сегодня — только про закупки. И про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
ИИ делал за поставщиков их работу и жёг токены. Пришлось сделать его тупее
Меня зовут Никита Мохов. Я отвечаю за цифровое развитие закупок, документооборот и ещё десяток процессов в Цифровом СИБУРе — начиная с закупок и заканчивая выдачей сотрудникам ключей в нашем санатории. Сегодня — только про закупки. И про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
Мы доверили нейросети закупки, а она первым делом упала на архиве в 380 МБ
Меня зовут Никита Мохов. Я отвечаю за цифровое развитие закупок, документооборот и ещё десяток процессов в Цифровом СИБУРе — начиная с закупок и заканчивая выдачей сотрудникам ключей в нашем санатории. Сегодня — только про закупки. И про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
Десять кругов правок одного документа — нормально, так всегда делали. А потом пришла нейросеть
Меня зовут Никита Мохов, я отвечаю за цифровое развитие закупок и документооборота в Цифровом СИБУРе — и ещё за десяток процессов, вплоть до того, как сотрудники получают ключи в нашем санатории. Здесь расскажу только про закупки и про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
Поставщики годами писали нам «предоставим позже», а потом пришла нейросеть
Меня зовут Никита Мохов. Я отвечаю за цифровое развитие закупок, документооборот и ещё десяток процессов в Цифровом СИБУРе — начиная с закупок и заканчивая выдачей сотрудникам ключей в нашем санатории. Сегодня — только про закупки. И про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
Опять прислали PDF вместо Excel. Нейросеть посмотрела и выкинула их из тендера
Меня зовут Никита Мохов. Я отвечаю за цифровое развитие закупок, документооборот и ещё десяток процессов в Цифровом СИБУРе — начиная с закупок и заканчивая выдачей сотрудникам ключей в нашем санатории. Сегодня — только про закупки. И про Колю.Коля — это ИИ-агент. История про него началась не с алгоритмов, а с одного простого наблюдения: наш процесс держался не на регламенте, а на закупщике, который каждый раз молча доделывал за рынок его работу.Жизнь до Коли: гигиена, которой не было
