gpu.
753B на одной видеокарте: разбор FreeToken
Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке
Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель
Есть компании, где вопрос «какую модель выбрать» отходит на второй план, а первым встаёт другой: выйдут ли данные за периметр. Банк, госкорпорация, оборонный подрядчик, медицинский холдинг. И если ответ «выйдут, но мы всё обезличим» — начинается тяжёлый разговор. Обезличивание не даёт технической гарантии: достаточно одного не вычищенного поля в выгрузке или сочетания признаков, по которому человек восстанавливается. А отвечать за это решение будет конкретный человек — и чем выше цена ошибки, тем охотнее он выбирает вариант, где данные просто никуда не уходят.
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский, руководитель и MLOps‑инженер команды ML‑платформы в RWB. Мы занимаемся разработкой платформы машинного обучения, в том числе — контролируем инфраструктуру и эффективное использование ресурсов.Недавно проходил Inside AI Meetup, где мы рассказали про внедрение AIOps практик в нашей команде — видеозапись вы найдете тут.
ИИ‑прогноз погоды на своём железе: запускаем AIFS 2.0 от ECMWF
Открывать исходный код моделей — это здорово. Но если их запуск требует слишком много усилий, доступнее для сообщества они от этого почти не становятся. В этой статье мы разберём, как устранить этот разрыв: не просто открыть модели, но и упростить их запуск. Именно такую цель поставил перед собой ECMWF, когда открыл исходный код новых ИИ‑моделей AIFS. Эта статья — результат нашей совместной работы.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера
Предыдущая главаНаконец-то мы добрались непосредственно до того, как тренировать трансформер, и не просто тренировать, а делать это эффективно и масштабируемо.
AMD покупает стартап Taalas для создания чипов под конкретные нейросети
Компания AMD официально объявила
