Как подготовить данные к анализу: очистка и предобработка, без которых всё остальное не имеет смысла
Привет, Хабр! Меня зовут Руслан Каллагов, я системный аналитик в Лаборатории Globus — партнёре Нетологии по стажировкам на курсах ИТ-профессий. Уже 4,5 года я работаю в проектировании программного обеспечения и верю в инженерный подход к подготовке данных. Специально для хабровчан собрал практическое руководство по подготовке, очистке и предобработке данных для анализа и машинного обучения. В нём объясняю ключевые этапы подготовки данных, показываю примеры кода, даю чек-листы и алгоритмы действий.
Как мы встроили LLM в Data Quality и не потеряли контроль
Привет, Хабр! Меня зовут Макунина Арина, я аналитик и инженер данных в Just AI. Наша команда аналитики обожает, чтобы рутина в данных была максимально предсказуемой. Если что-то ломается, то должно быть понятно что, где, почему и что делать дальше. Когда мы поработали с Data Quality в продакшене, выяснилось, что правила качества сами по себе есть базовый минимум, но время утекает в две черные дыры.Первая — это эффект белого листа.
Искусственный интеллект в Data Science: инструменты и границы возможностей
Нейросети ещё не стали обязательным пунктом в требованиях работодателей, но на практике многие дата-сайентисты уже используют LLM в работе: генерируют код в Cursor, пишут SQL-запросы в DataGrip и спрашивают совета у ChatGPT.Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе «Специалист по Data Science» в Яндекс Практикуме. Начинал с этого же курса в 2020 году, после чего работал в сфере страхования и нефтехимии.
Что если собирать агентов как dbt-проект?
Я пришел в разработку агентов из дата инженерии, и в очередной раз занимаясь сборкой типовой структуры на LangGraph я заскучал по декларативному подходу, хорошо многим знакомому по dbt - там ты описываешь что ты хочешь сделать с данными, а не как. И тогда у меня появилась мысль - а почему бы не собрать свой фреймворк для агентов, который даст тот же подход.
Седиментация для памяти ИИ-агентов: помнить главное, даже забывая детали
Большие языковые модели делают вид, что решают задачу памяти. На практике они решают задачу контекста: чтобы ответ был связным, модели нужна информация о том, что было сказано только что, час назад, в прошлой сессии.Индустрия справилась с этим блестяще. Контекстные окна выросли до сотен тысяч токенов. Retrieval-Augmented Generation подтягивает релевантные фрагменты из внешних баз. Векторные хранилища позволяют ИИ «помнить» переписку за годы.
Замена огромных ЦОД-ов на коробочные решения
Журнал Forbes публикует Интервью с компанией СпецлабМощные ПК с дорогими картами nVidia - безусловно универсальное решение для любых задач. Но бизнесу чаще нужны не любые, а конкретные. А российскому бизнесу еще и чтоб без Интернет. Дешевые нейрочипы справляются с адаптированными к ним моделям компьютерного зрения, например, как YOLO 26, гораздо эффективнее в плане получаемого результата. Вот такая коробочка не требует ни комнат для серверов, ни охлаждения, ни обслуживания, ни даже больших затрат электричества - потребляет всего 20 Вт. При этом отрабатывает именно те задачи, которые требуются пользователю.
