Архитектура проекта автоматического обучения ML-моделей
Хабр, привет! На связи Кравцов Кирилл и Суздалев Руслан из команды моделирования поведенческих сценариев Центра развития искусственного интеллекта СПАО «Ингосстрах» (далее – ЦРИИ). В статье поделимся решением, которое помогает нам быстрее обучать и интегрировать модели в компании.С ростом компании и ЦРИИ, в частности, у нас появлялось все больше бизнес-заказчиков, которым нужны были ML-модели. Поэтому потребность росла, а ограниченность ресурсов не позволяла быстро обрабатывать задачи бизнеса и многое уходило в беклог.
Цифровой двойник: не просто копия, а твой персональный баг-репорт реального мира
Пока одни обсуждают метавселенные и ИИ, инженеры и разработчики уже строят цифровых двойников — виртуальных клонов реальных объектов, систем и людей. Эта статья — попытка разобраться без прикрас и с примерами, как устроена такая технология, какие инструменты сейчас в ходу, с чем сталкиваются разработчики, и где всё это реально применяется — от предсказания отказов турбин до мониторинга состояния коров в Новой Зеландии.
Обработка геоданных для ML-задач. Часть 2: пространственные объединения и расстояния
Эта статья продолжает наше обсуждение пространственных признаков в Python. Вы можете прочитать первую часть текста здесь
Рекомендательная система для вашего каталога научных работ (и не только!)
Используем обработку естественного языка и теорию графов для сравнения и рекомендации различных типов документов. ВведениеПочти все проекты начинаются с одного важного этапа — активных исследований. Инвестировать в то, что уже было сделано другими, в развитие их работы — это один из путей к повышению ценности вашего проекта. Важно не только извлечь уроки из опыта других, но и понять, чего не стоит делать в своем проекте, чтобы повысить его шансы на успех.
Помощник читателя: визуализируем сюжет
В текущих кодогенеративных реалиях создать что-то новое с нуля до уровня худо-бедной демонстрации стало предательски просто. Только успевай доходчиво формулировать свои хотелки, да вовремя давать по рукам бездушной LLM. Посему делюсь результатами воскресного вайбкодинга — концепцией ai-помощника для анализа текста. В первую очередь художественного.Откуда растут ноги.
Организация ML-проекта с примерами
На Github существует множество ML-проектов. Большинство из них предоставляют скрипты для обучения, тестирования, вывода моделей. Но почти все они организованы по-разному. Иногда неясно, как запустить этап конвейера, как подготовить данные или какие модели используются для предсказаний. Более того, когда разработчик заглядывает в чужой проект, он тратит много времени на то, чтобы разобраться в структуре.В этом посте я расскажу о шаблоне ML-проекта на основе CookieCutter на примере задачи классификации. Но вообще такой шаблон может быть использован для решения множества других ML-задач.
Автоматизировать, нельзя анализировать: интеграция SOAR Shuffle в SOC ч. 1
Привет, Хабр! Работая в современном коммерческом SOC'е я впервые столкнулся с масштабными средствами автоматизации, заточенными под самые разные инфраструктуры, которые позволяют экономить колоссальное количество времени и предотвращать тысячи киберинцидентов каждый день.
NoProp: Реальный опыт обучения без Backprop – от провала к 99% на MNIST
Всем привет! Обучение нейронных сетей с помощью обратного распространения ошибки (backpropagation) — это стандарт де‑факто. Но у него есть ограничения: память, последовательные вычисления, биологическая неправдоподобность. Недавно я наткнулся на интересную статью «NOPROP: TRAINING NEURAL NETWORKS WITHOUT BACK‑PROPAGATION OR FORWARD‑PROPAGATION» (Li, Teh, Pascanu, arXiv:2403.13 502), которая обещает обучение вообще без сквозного backprop и даже без полного прямого прохода во время обучения! Идея показалась захватывающей, и мы (я и ИИ‑ассистент Gemini) решили попробовать ее реализовать на PyTorch для MNIST.
Код, теория и практика: подборка книг по NLP
Привет! Это Никита Малыхин, Tech Lead в команде AdTech в Центре Big Data МТС. В прошлый раз я поделился
Выживание социофобушка в команде: личный опыт
Привет! Меня зовут Станислав Иванов, я — Senior iOS Developer в команде мобильной разработки «Лаборатории Касперского». Я социофобушек. Но я разобрался, как жить с этим самодиагнозом в IT, где волей-неволей приходится существовать среди большого количества созвонов, встреч и диалогов. Если вы из тех, кто хочет только сажать красно-черные деревья / красить кнопки / расстилать инфру / обуздывать многопоточность / варить код, а вас таскают по встречам, вынуждают светить лицом и говорить ртом (и думать: «Кто все эти люди и что они от меня хотят?») — эта статья для вас. На своем совокупном опыте, полученном в разных компаниях, объясню, зачем нужны все эти таскание/свечение/говорение и как уменьшить собственные страдания.
