Машинное обучение. - страница 53

Умеет ли Jev быть guard‑моделью для LLM?

картинка на подумать или посмеятьсяВведениеGuard модели становятся все более и более интересными. Еще 2 года назад лучшее, что мог дать опенсорс, был Wildguard

продолжить чтение

Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность

Привет, Хабр!Новая логика распределения заказов по курьерам выиграла A/B с запасом: время доставки минус восемь процентов, интервал узкий, p‑value с тремя нулями.Раскатали на сто, подождали две недели — время доставки осталось ровно там, где было. Логирование в порядке, сплит честный, пользователи делились случайно.Так ломается обычный тест в системах, где варианты дерутся за один ресурс.Курьер, доставшийся тестовой группе, отобран у контрольной, и разница надувается с обеих сторон сразу.Лечится это рандомизацией не по пользователям, а по времени:

продолжить чтение

Где ещё дают LLM API бесплатно: проверяю очередные находки

Проверил малоизвестные LLM API с бесплатными моделями, лимитами и реальными запросами. Вот что получилось:AtriaСайт: https://api.atria-asi.ai/Документация: https://api.atria-asi.ai/docsAPI: https://api.atria-asi.ai/v1Сразу после регистрации мне начислили 100 000 000 токенов.

продолжить чтение

Anthropic выпустила Claude Opus 5.5: на 40% дешевле и более чем на 30% быстрее Opus 5

Anthropic выпустили Claude Opus 5.5, первую модель нового семейства Claude 5.5. По данным компании, на большинстве рабочих задач она показывает результаты уровня Fable 5.1, при этом генерирует более чем на 30% быстрее Opus 5 и обходится на 40% дешевле на типичных задачах.

продолжить чтение

1352 кейса внедрения ИИ в России: почему в продакшене побеждает не модель, а обвязка

В каталоге кейсов внедрения искусственного интеллекта набралось 1352 проекта в российских компаниях и госорганах: от антифрода Сбера до распознавания сорняков с дронов у «Русагро». Каталог ведём мы в АНО «Цифровые платформы», кейсы в него добавляют сами компании и наша команда. Когда смотришь на внедрения 2025-2026 годов не по одному, а разом, видны закономерности: что повторяется из проекта в проект, где ломается и где приносит деньги. О них эта статья.

продолжить чтение

Почему LLM никогда не пройдут тест Тьюринга в Tinder: изнанка дейтинг-аутстаффа

Пока энтузиасты мечтают об автоматизации личной жизни через LLM, а Reddit захлебывается кейсами про «я натравил питоновский скрипт на тиндер и нашел жену», я тихо наблюдаю за этим из эпицентра индустрии.Мой микробизнес — дейтинг-аутстафф. Я руками веду аккаунты мужчин и женщин, сижу в их переписках и конвертирую мэтчи в реальные свидания. И каждый раз, когда мне говорят, что генеративные модели вот-вот оставят меня без работы, я вспоминаю про реальное положение дел, спокойно допиваю своё пиво и улыбаюсь.

продолжить чтение

Почему MVP и тесты гипотез — это плохо: адаптация lean startup под бигтехи

В любой компании нужно решать, над чем и как работать. Одна из широко распространённых методологий для принятия таких решений в IT — lean startup, то есть небольшие итерации с тестированием гипотез. Этот подход настолько привычен для индустрии, что многие команды даже не отдают себе отчёт, что используют его.Проблема в том, что lean startup не работает «в лоб», если вы не стартап:: я знаю много команд, чье использование MVP и тестов гипотез обернулось впустую потраченным ресурсом и привело к разочарованию в подходе.

продолжить чтение

Почему одна и та же модель может стоить в пять раз дороже

Исследователи из UC Berkeley и Arena сравнили семь моделей внутри Claude Code, Codex CLI и минималистичного Pi. На двух бенчмарках выбор харнесса почти не менял среднюю успешность, но увеличивал стоимость одной и той же модели до пяти раз. Результат хорошо объясняет, почему сравнивать coding-агентов только по названию моделей уже бессмысленно.А что именно измерили?

продолжить чтение

Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов

Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на рынке. В частности мы отвечаем за guard-модели и бенчмарки для продукта Jay Guard, о которых и пойдет речь в этой статье.

продолжить чтение

Почему нельзя просто загрузить историю с фитнес-браслета в LLM и попросить оценить здоровье

Исследователи из Meta и KAIST решили проверить очевидный на первый взгляд вопрос: если дать большой языковой модели реальную историю измерений с фитнес-трекера — пульс, сон, шаги за полгода — сможет ли она разобраться в этих данных так же уверенно, как рассуждает о здоровье вообще? Результат оказался неожиданным. Модели гораздо хуже справлялись с простыми вычислениями по самим цифрам, чем с клинической интерпретацией того же ряда. GPT-4o правильно считал тренды и аномалии лишь в четверти случаев, а вот рассуждал о рисках для здоровья на основе тех же данных вдвое увереннее.

продолжить чтение