Как готовить Triton: рецепты вашей собственной Inference-платформы
Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. Если вам нужно запустить небольшой инференс одной ML-модели, можно взять команду бэкендеров, дать им эту модель, они обернут ее в эндпоинт — и готово. Достаточно короткого скрипта из нескольких строк на Python. Но что если нужно запускать несколько моделей, оптимизировать выполнение, работать с ансамблем моделей, задействовать CPU и GPU одновременно и т. д.? Все эти проблемы решает NVIDIA Triton Inference Server. Правда, он добавляет одну новую: разобраться с ним и его документацией — тот еще квест. В статье посмотрим, насколько сложной задачей может оказаться создание собственного инференса и какие аспекты нужно учитывать. Научимся запускать различные форматы моделей, посмотрим на основные фичи Inference-платформы Selectel, запустим несколько популярных LLM и моделей, а также познакомимся со способами оптимизации конфигурации и проектирования интерфейса для модели.
Strava приобрела разработчика приложения Runna
Платформа Strava приобрела фитнес-сервис Runna. Стороны не раскрыли условия сделки. Запущенное в 2021 году приложение Runna представляет собой персонального тренера по бегу.
Разработка CLI с помощью пакета Cobra: как не наступить на змею при написании
Привет, Хабр. Меня зовут Иван Добряев, я разработчик программного обеспечения в Центре технологий VK. Сегодня хочу поделиться опытом по одной достаточно прикладной, но весьма увлекательной теме — разработке командной строки (CLI) на Go.Платформа для инференса ML-моделей (inference platform) у нас молодая, ей всего лишь полгода, и мы активно расширяем команду. Так что, если вы хотите писать сервисы на Go с нуля, то приходите к нам, у нас найдутся задачи на любой вкус.
Любите говорить о данных — отправьте заявку на Data Internals 2025
Привет, хаброжители! По прошедшим конференциям мы видим большой отклик на тему дата инженерии, поэтому решили сделать самостоятельную конференцию, чтобы встречаться в одном месте без галстуков. Только реальные истории и живое общение. Для разработчиков, инженеров и просто тех, кто любит заниматься данными. Ваша экспертиза — это пропуск в сообщество профессионалов. Готовы поделиться своим опытом и вывести знания на новый уровень?Что нужно сделать, чтобы стать спикером?Заполнить заявку на доклад — это ваш первый шаг к выступлению!
Как ИИ воплощает мечты: персональный план развития за 5 минут
Недавно в Instagram завирусились рилсы, где пользователи показывают, как ChatGPT за пару минут составляет подробные планы: от саморазвития до инвестиций. Мы протестировали этот метод на реальных запросах и делимся результатами.
Запретить нельзя использовать: о проблеме использования LLM при обучении инженеров-программистов
Использование больших языковых моделей в обучении студентов, кроме многих достоинств, создает дополнительные проблемы — существует реальный риск ухудшения базовых знаний у будущих инженеров. Меня зовут Игорь Никифоров, и я знаю, о чем говорю: более 14 лет я преподаю в Высшей школе программной инженерии Санкт-Петербургского политехнического университета Петра Великого, в том числе курирую совместную лабораторию с YADRO.
Opera добавила помощника Aria AI в браузер Opera Mini
Норвежская Opera развернула помощника на базе искусственного интеллекта Aria AI в мобильном браузере Opera Mini для Android. Ассистент позволит получать последние новости и информацию по разным темам, а также генерировать изображения.
Обзор конференции по робототехнике и искусственному интеллекту ROS Meetup 2024 в преддверии новой
Привет, Хабр! На связи сообщество ROS Russia.Мы объединяем любителей и профессионалов, которые занимаются робототехникой. Изначально наше сообщество создавалось для обсуждения самого популярного фреймворка для прототипирования ПО для роботов — Robot Operating System, однако давно уже охватывает темы, выходящие за рамки ROS: электронику, механику и общие вопросы создания ПО для роботов. Помимо общения на темы, связанные с разработкой роботов, мы проводим тематические мероприятия.
Как понимать нейросети (и заставить глупую машину работать)
Стандартный опыт с нейросетями — пришла идея задачи, написал промпт, получил в ответ буллщит, поругал тупой ИИ, не оставил ему чаевых, закрыл и забыл. Многие кейсы, правда, не срабатывают. Тут обычно две причины: ваша задача в принципе не решается нейронками, либо вы написали плохой промпт. Обычно обе связаны с непониманием, что у LLM под капотом.Я не буду описывать технические детали, которые сам плохо понимаю. Просто расскажу, как полезно думать про нейросети, чтобы добиваться от них результата. Добавить больше осознанности при работе с ними. Мой самый большой прогресс с нейросетками случился, когда я начал думать так.
Анализ данных: от EDA до Tinder-битвы графиков
Всем привет! Меня зовут Максим Шаланкин, и я веду несколько образовательных блоков в нашей школе аналитиков данных в МТС. Сегодня я хочу рассказать, как мы организовали необычное занятие по анализу данных: в нем студенты соревновались за звание лучшего в игре, напоминающей Tinder, но для графиков предварительного анализа (EDA). Эта активность не только помогла освоить ключевые навыки визуализации, но и сделала процесс обучения увлекательным и запоминающимся, демонстрируя практическую значимость качественного анализа данных.
