Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang
ВведениеВсем привет! Меня зовут Максимов Максим, я — NLP‑инженер в компании red_mad_robot. Сегодня я хотел бы представить вам практическое руководство по запуску и использованию популярных инструментов для работы с LLM. Целью этой работы было познакомиться и опробовать следующие инструменты: OllamaLM StudiovLLMTriton llama.cppSGLang
Исследование: DeepSeek снижает качество кода для пользователей из Тайваня и Тибета
Исследователи IT-компании CrowdStrike провели эксперимент, в ходе которого они запрашивали у DeepSeek помощь в написании программного кода. Выяснилось, что нейросеть может изменять качество выдачи в зависимости от региона, в котором находится пользователь.
Нет, тренировка DeepSeek R1 не стоила $294 тыс. Реальная цифра в десятки раз выше
В интернете широко обсуждают опубликованный в Nature отчет авторов DeepSeek, в котором якобы заявляется, что обучение модели R1 обошлось компании всего в 294 тысячи долларов. Цифра выглядит сенсационной, ведь конкуренты тратят на создание своих моделей в тысячи раз большие суммы: например, для Claude Sonnet 3.7 давали оценку в несколько десятков миллионов долларов. Если бы взятая из Nature цифра была правдой, то получилось бы так, что у конкурентов нет никаких шансов перед командой DeepSeek. Но это не так.
Микропластик проникает в мозг и ускоряет изменения, схожие с болезнью Альцгеймера, у мышей
Микро- и нанопластик, широко распространённый в окружающей среде, регулярно попадает в организм человека через воду, которую мы пьём, пищу, которую мы едим, и даже воздух, которым мы дышим. Эти пластиковые частицы проникают во все системы организма, включая мозг, где они могут накапливаться и вызывать состояния, похожие на болезнь Альцгеймера, согласно новому исследованию, проведённому учёными из Фармацевтического колледжа Университета Род-Айленда.
Nano Banana: редактирование изображений через нейросеть
Доброго времени суток, «Хабр»!Не так давно компания Google представила обновлённую модель для работы с визуальным контентом. Nano Banana уже получила в сети громкий титул убийцы Photoshop, поскольку не только создает картинки с нуля, но и редактирует: меняет стиль одежды, перекрашивает стены, удаляет лишние объекты и не только.В сегодняшней статье мы подробно рассмотрим Nano Banana, протестируем эту модель, а также я со своей, далеко не авторитетной точки зрения, отвечу на вопрос: фарс или годнота предстала перед нами?Принимайте устойчивое сидячее или лежачее положение — как вам удобнее, а я приступаю к своему рассказу.
Автономный подводный сбор отходов может вскоре стать реальностью
Николас Хойшен, Зара Зотабаева, Цзу-Юань Хуан и Хамиш Грант из TUM обсуждают нового подводного робота TUM в порту Марселя.
Создание умных AI-агентов: полный курс по LangGraph от А до Я. Часть 2. Диалоговые агенты: память, сообщения и контекст
Представьте себе AI-агента, который не просто выполняет изолированные задачи, а ведет осмысленный диалог, запоминает контекст разговора и принимает решения на основе накопленной информации.Вместо простого:Пользователь: "Сколько будет 2+2?"Бот: "4"Мы создадим агента, который может:Пользователь: "Привет! Меня зовут Алексей, я работаю Python-разработчиком"Агент: "Приятно познакомиться, Алексей! Как дела в мире Python? Над какими проектами сейчас работаешь?"Пользователь
