Метрики для задач NLP. Часть 2. Генерация текста: BLEU, ROUGE, METEOR, BERTScore
Всем привет! Меня зовут Максим. Я NLP‑инженер в red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI. Это вторая часть серии статей про метрики задач NLP, в которой я затрону тему оценки качества в задачах генерации текста. Мы рассмотрим следующие метрики: BLEUROUGEMETEORBERTScoreНачнем!Генерация текста
Онлайн-оценка рекомендательных систем: метрики, которые говорят сейчас
Всем привет! Меня зовут Василий Калинин, я senior-аналитик в отделе ML-аналитики музыкального сервиса Звук. Про то, чем занимается наша команда, мы уже писали ранее (можно почитать
Как я перестал «вайбкодить» с LLM и собрал процесс разработки, который не разваливает проект
Как я перестал “вайбкодить” с LLM и собрал процесс разработки, который не разваливает проект
Я попросил ИИ написать максимально ПЛОХОЙ код
В то время как все пытаются научить ИИ писать такой хороший код, чтобы он заменил всех программистов, я решил попросить его сделать прямо противоположную задачу - написать максимально плохой код. Мой промпт звучал так:Напиши максимально ПЛОХОЙ код на языке PHP, реализующий функционал интернет-магазина. В качестве ИИ я использовал DeepSeek. Разумеется, в режиме рассуждения - ведь чтобы написать максимально плохой код, мне понадобится вся интеллектуальная мощность искусственного интеллекта. Почему плохой код должен быть именно на PHP, я думаю, объяснять не надо.Итак, сначала рассуждения ИИ:
На российских маркетплейсах стали появляться сгенерированные ИИ саженцы растений
В феврале 2026 года на некоторых российских маркетплейсах стали появляться
Глава Microsoft Gaming Фил Спенсер и президент подразделения Xbox Сара Бонд уходят в отставку с 23 февраля
Генеральный директор Microsoft Gaming Фил Спенсер уйдёт в отставку 23 февраля 2026 года спустя 38 работы в Microsoft. Его место займёт Аша Шарма, которая в настоящий момент возглавляет подразделение корпорации CoreAI. Одновременно со Спенсером компанию покинет президент подразделения Xbox Сара Бонд, которую заменит глава Xbox Game Studios Мэтт Бути. Последний будет находиться в прямом подчинении Шарма.
Умный выбор домена: MCP-Server + Cursor. Как я перестал перебирать занятые имена
Недавно c друзьями из AI Founders я запустил шуточный сервис, о котором уже успел написать статью. Неожиданно проект собрал отличный трафик, и я решил сделать аналог для англоязычной аудитории на Reddit.Для выхода на международный рынок мне потребовался новый домен в зоне .com.🚨Проблема: LLM не проверяет занят ли доменЯ начал по классике: открыл чат с AI и попросил нагенерировать варианты. И тут я столкнулся с главной болью всех, кто ищет домены через нейросети.
Иск на $134 миллиарда: как ChatGPT теряет пользователей, пока Google и Илон Маск захватывают трон
Скорость сжигания денег, судебный процесс и вопрос на триллион долларов.
Мой тимлид не пишет код 3 года. Почему он — лучший тимлид, с которым я работал
На Хабре любят хейтить менеджеров, которые «забыли, как кодить». Мол, оторвались от реальности, не понимают сроков, не чувствуют боль разработчика. Я раньше тоже так думал. А потом попал в команду к человеку, который три года не открывал IDE, и за полгода понял, что был неправ.Контекст: что было доДо Серёги (это нынешний тимлид) у нас был Андрей. Андрей — зверь в техническом смысле. Кодовую базу знал так, что мог в голове прокрутить стек вызовов уровней на пять. Каждый PR ревьюил лично. Сам писал кучу кода.И команда его в итоге ненавидела. Не сразу — сначала было восхищение, потом привыкание, потом тихое раздражение.
