gpu.
Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending
В 2024 году была опубликована интересная статья
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R‑Vision.В первой части эксперимента мы выяснили, как на производительность локальной LLM влияют длина контекста, количество параллельных запросов и объем генерируемого ответа. Стресс‑тесты позволили определить границы конфигурации Qwen3.5–122B‑A10B‑GPTQ, vLLM и NVIDIA RTX PRO 6000 Blackwell Max‑Q с 96 GB видеопамяти.
Nvidia начала страховать по кредитам сдающих в аренду ИИ-мощности провайдеров
Nvidia нашла способ стимулировать продажи своих GPU на фоне конкуренции. Теперь компания выступает страховщиком по кредитам для специализированных провайдеров, сдающих в аренду ИИ-мощности.
Разворачиваем MiniMax-M2.7 на GPU-инфраструктуре с поддержкой S3
Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется, чтобы коммерческая тайна или уязвимости инфраструктуры утекли в сеть.
Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля
В октябре 2025-го Андрей Карпатый выложил nanochat — «лучший ChatGPT, который можно купить за $100»: полный пайплайн от токенизатора до веб-чата, четыре часа на арендованной ноде. Еще в декабре 2024-го DeepSeek опубликовал техотчет V3 с цифрой $5,576 млн за обучение. А в конце января 2025-го, на волне выхода R1, заголовки «китайцы сделали GPT-4 за шесть миллионов» несколько дней трясли и прессу, и биржу. А два дня назад прямо здесь, на Хабре, вышла habrGPT — модель 0.5B, обученная с нуля на статьях Хабра на одной RTX 5090, с претрейном за ~6 часов.
Локальный запуск LLM для SOC: сколько GPU действительно нужно?
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R-Vision.Когда речь заходит о локальном запуске больших языковых моделей, обычно первым возникает вопрос стоимости инфраструктуры: «Self-hosted LLM — это десятки или сотни GPU?». Для обучения foundation-моделей или публичных сервисов с миллионами пользователей это действительно так. Но применение LLM внутри SOC устроено иначе.
Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает
Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает
Как мы вынесли семантический поиск на обычный сервер без видеокарты, облака и выделенной поисковой системы
Когда мы занялись поисковым слоем AI-ассистента в «Первой Форме», договорились на входе: языковую модель, которая отвечает пользователю, не трогаем. Вся эта история — о том, что происходит на шаг раньше: как система решает, что именно показать модели, прежде чем та начнёт отвечать.Планку себе поставили простую на словах и сложную на деле: семантический поиск промышленного уровня, но без специализированной инфраструктуры, целиком внутри изолированной сети, на том же оборудовании, что и само приложение.
Перенёс ByteTrack на GPU и ускорил мульти-камерный трекинг в 6 раз
Как я взял самый популярный трекинг-алгоритм, заставил его считать математику всех камер одним GPU-батчем — и по дороге трижды наступил на грабли, о которых стоит знать каждому, кто пишет real-time пайплайны на PyTorch.
