s3.
CI-CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Привет, Хабр! Меня зовут Евстифеев Илья, я главный разработчик ML в команде MLOps FnR (Forecast & Replenishment) в MAGNIT TECH. Наша команда:Ислам Янгуразов
Посмотрел, как Mimolet обращается с данными и нежелательным контентом: два замечания и семь удачных решений
Когда сервис знакомств рассказывает о безопасности, текст обычно строится по одному шаблону: данные надежно защищены, модерация работает круглосуточно, современные алгоритмы следят за порядком. Звучит успокаивающе, но почти ничего не объясняет. Гораздо интереснее посмотреть не на обещания, а на конкретные механизмы. Что происходит с фотографией после загрузки? Где находится основной серверный контур? Может ли пользователь пожаловаться без подписки? Нужно ли сообщать собеседнику номер телефона для звонка? И что именно скрывается за словами об ИИ-модерации?
Паноптикум и ИИ
Давайте попробуем еще раз, в прошлый раз как-то не задалось, но много воды утекло с тех пор. Проект начался как простой способ "заглянуть в БД сервера" собственно таким он и остается до сих пор. Но по мере развития ИИ в нем появились новые фишки.Как гласит слоган на главной странице: Panopticum — место, откуда видно всё. Собственно я старался сделать его именно таким, чтобы можно было посмотреть и проверить как можно больше из одного места, желательно с одинаковым интерфейсом.
Как мы строили хранилище на 70 ПБ данных и не планируем останавливаться
Привет, сегодня я расскажу о том, как наша команда строила платформу обработки и хранения данных для обучения GenAI-моделей в Сбере, и как мы выросли до 70 ПБ сырых данных. Меня зовут Александр, я работаю в Сбере и два года занимался развитием этой платформы.Что такое GenAIGenAI — это генеративный искусственный интеллект, который способен создавать новый контент по определённому запросу. Яркими представителями GenAI являются большие языковые модели: нашумевший ChatGPT от OpenAI, китайский DeepSeek, а также российские GigaChat и YandexGPT. Также можно выделить модели для синтеза изображений, например,
Опыт использования S3 Vector с локальной LLM для RAG
ВведениеВ нашей компании AnyMaint, которая занимается разработкой софта для управления техническим обслуживанием и ремонтом (CMMS) промышленного оборудования, одной из главных задач является нормализация имён тулов (инструментов). Под «тулом» мы подразумеваем любой промышленный актив: машины, станки, приборы, оборудование и т.д.Зачем это нужно?
От наскальных рисунков до S3: эволюция хранения данных
Как вы храните данные? Используете файловое хранилище, S3
