ИИ дешевеет, а ваш компьютер дорожает: как OpenAI и Anthropic устроили гонку цен
Цены пошли на спад. 22 сентября Anthropic и OpenAI с разницей примерно в полтора часа выпустили модели дешевле своих предшественников, а DeepSeek отдала кэшированный вход по 0,003$ за миллион токенов.
PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLM
Привет, я Дмитрий, MLOps-инженер в Selectel.
Зачем Авито нужна своя Inference-платформа для ML-LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
Зелёный пайплайн ничего не доказывает. Семь способов, которыми quality gate пропускает брак в прод
Каждая секунда на счету, когда надо запускать manual джобуif roc_auc < 0.85: exit 1
AMD поглощает World Labs: к команде присоединится «крестная мать ИИ»
AMD покупает стартап World Labs
Зачем нейросети «обвязка»: как превратить LLM в рабочий AI-сервис
Большую языковую модель можно скачать с Hugging Face, развернуть на сервере с GPU и отправить ей первый запрос. Технически LLM уже работает: получает текст на вход и генерирует ответ. Но до готового бизнес-сервиса еще далеко.
Ищем замену MinIO в условиях импортозамещения: опыт тестирования трех S3-совместимых хранилищ
Привет, я Иван Засухин, DataOps Лаборатории искусственного интеллекта департамента больших данных Россельхозбанка. Мы одна из команд платформы RAISA (RSHB AI Systems and Applications), отвечаем за инструменты, которые связаны с данными и их обработкой: Оркестрация (Apache Airflow), Compute( Apache Spark и Apache Trino), Хранение (S3 и Qdrant), интерфейсы взаимодействия с источниками данных (python-модули и кастомные операторы). В команде я занимаюсь развитием инструментов и их дальнейшим сопровождением.
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
Как я построил ML‑пайплайн для поиска подозрительных транзакций и почему одной классификации оказалось мало
С ростом числа финансовых операций аналитикам всё сложнее вручную разбирать срабатывания систем финмониторинга — а большинство из них ложные.Привет! Меня зовут Максим Коцюба, я старший инженер по данным с опытом в финсекторе — ВТБ и Сбер, выпускник онлайн‑магистратуры «Инженерия данных
