Машинное обучение. - страница 134

Модель, которую боялись выпускать, теперь доступна всем. До 22 июня — бесплатно в подписке

Помните Claude Mythos? Ту самую модель Anthropic, которая в апреле находила уязвимости во всех основных ОС и браузерах, хотя её даже не учили этому специально. Тогда компания просто отказалась её выпускать. Доступ дали только Apple, Google, Microsoft и ещё паре гигантов, чтобы те успели залатать собственные дырыТак вот, вчера её выпустили. Называется Claude Fable 5

продолжить чтение

Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Модель обучается, loss падает, метрики растут. На какой‑то эпохе loss внезапно становится nan и больше не восстанавливается, как бы вы ни понижали learning rate. Или инференс на проде иногда возвращает вероятность ровно 1.0 для класса, которого в обучающей выборке почти не было, а в логах при этом тихо мелькает RuntimeWarning: overflow encountered in exp. Код не менялся, данные те же, гиперпараметры те же. Просто в какой‑то момент промежуточное число вышло за границу того, что тип float умеет хранить, и дальше вся арифметика поехала.

продолжить чтение

Xiaomi разогнали 1T-модель до 1200 tok-s на стандартных GPU

Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров).На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт похожие скорости на кастомном железе. Здесь обошлись без него.

продолжить чтение

Месть дата-сайентиста: почему LLM не отменили нашу профессию

Закончилась ли золотая эпоха дата-сайентистов? Когда-то Harvard Business Review назвал эту профессию «самой сексуальной работой XXI века». В технологической индустрии позиции data scientist часто входили в число самых высокооплачиваемых. При этом работа требовала необычного сочетания навыков:Data Scientist (сущ.): человек, который знает статистику лучше любого разработчика и разбирается в разработке лучше любого статистика.— JosH100 (@josh_wills), 3 мая 2012 года

продолжить чтение

Apple + Google =? Купертиновцы представили Apple Foundation Model с интеграцией Gemini

Apple представила

продолжить чтение

Видеоаналитика на промышленном объекте: почему большинство внедрений разочаровывают и как сделать правильно

Там, где нет людей, нет времени и нет права на ошибкуХочу поделится одной историей из жизни. На удалённом нефтепромысле в -30С° за бортом бригада выполняет огневые работы — сварку, рядом с действующим трубопроводом. По регламенту каждый должен быть в полном комплекте СИЗ, с газоанализатором. Мастер провел инструктаж, расписался в наряде‑допуске, и уехал на следующий объект. Инспектор по ТБ появится через два часа.Что происходит в эти два часа — не знает никто.

продолжить чтение

Как мы перепридумали голосовую активацию для Яндекс Дропс и уместили новую модель в 200 килобайт

продолжить чтение

Как глушить нефтяную скважину… машинным обучением. Часть 2, техническая

Продолжаю рассказывать широкой общественности об интересном ML проекте, результаты которого внедряются в реальный технологический процесс. В Первой части разобрались, что такое глушение и почему важно уметь рассчитывать объемы жидкостей глушения. В этой части будет непосредственно все то, как мы решали эту задачу с помощью МЛ:Построили двухконтурную систему: офлайн-обучение на XGBoost и CatBoost — и лeгкий онлайн-инференс через Flask.Вместо одного .fit()

продолжить чтение

Meta-Attention Is All You Need

IntroductionIn this article I want to talk about an interesting finding from my experiments with language models, which I decided to call "meta-transformers".Either I found something genuinely interesting, or I mistook wishful thinking for reality. Only a technically competent outside observer can give an objective assessment, and that is why this text was published. Specialists in transformer architecture would be especially welcome here.

продолжить чтение

Московскую студентку выгнали из-за ИИ в дипломе. Она отсудила восстановление и компенсацию

Верховный суд Татарстана признал незаконным

продолжить чтение