Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве
Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно и, вполне вероятно, столкнулись с одной из типичных проблем:«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».«Платим за A100, а реально используем лишь 30% ее мощности».Привет, на связи Павел, ML-инженер в Cloud.ru. Я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.
RL (RLM): Разбираемся вместе
Всем привет! Недавно я познакомился с курсом по глубокому обучению с подкреплением от HuggingFace Deep Reinforcement Learning Course и захотел сделать выжимку самого интересного. Эта статья — своего рода шпаргалка по основам Reinforcement Learning (RL) и одному из ключевых алгоритмов — PPO, который лежит в основе тонкой настройки современных LLM (Large Language Models).Вы наверняка слышали про такие модели, как o1 от OpenAI или QwQ от Alibaba. Их "рассуждающие" способности во многом — результат применения RL. Давайте разберемся, как обычный принцип обучения, известный по играм вроде AlphaGo, помогает языковым моделям стать умнее.
GigaMemory: научи ИИ «помнить всё» с AI Journey Contest 2025
Мы всё чаще делегируем ИИ-ассистентам рабочую рутину и бытовые вопросы. Но во взаимодействии с ними есть существенная проблема: модели не помнят пользователя. Между сессиями теряются имя, контекст работы, желаемые ограничения и предпочтения, значительно влияющие на то, что и как стоит ответить пользователю. В итоге диалог каждый раз начинается «с нуля», а ответы звучат усреднённо. Это снижает эффективность и по доверие: когда ассистент не помнит важное о вас, он превращается в поисковик с красивыми фразами.Мы в команде RnD для B2C SberAI хотим это исправить. Представляем вашему вниманию задачу
CEO Anthropic заявил, что 90% кода в компании уже пишет ИИ — но заменять разработчиков пока не собирается
ИИ, способный писать код, пока не вытесняет инженеров в Anthropic.
От LangChain к LangGraph: детально разбираемся с фреймворками и всей Lang-экосистемой
LangChain или LangGraph? Какой фреймворк для ии-агентов выбрать? А может быть LangSmith? Или LangFuse? LangFlow? Если вы сходу не отличаете все эти Lang между собой или просто хочется побольше узнать о внутренностях LangChain и LangGraph, то добро пожаловать в эту статью, которую мне хотелось сделать фундаментальной, чтобы ответить сразу на все возникающие вокруг LangChain вопросы.Поговорим про архитектурные различия между LangChain и LangGraph, их подходы, посмотрим как это выглядит в коде, поищем лучшие точки применения и взглянем на сформированную экосистему вокруг.
Исследование: 250 вредоносных документов могут вызвать сбой в работе языковой модели с 13 млрд параметров
Специалисты Anthropic совместно с Институтом безопасности ИИ Великобритании, Институтом Алана Тьюринга и другими исследовательскими центрами провели эксперимент, который показал, что всего 250 вредоносных документов способны вызвать сбой в работе языковой модели с 13 млрд параметров. Таким образом, для появления багов достаточно «отравить» всего 0,00016% обучающего корпуса.
Книга: «Промт-инжиниринг для LLM. Искусство построения приложений на основе больших языковых моделей»
Привет, Хаброжители!
У меня нет рта, но я должен выводить эмодзи морского конька
Существует ли эмодзи морского конька? Давайте спросим об этом у GPT-5 Instant:
Почему обычный RAG ломается на русском
RAG (Retrieval-Augmented Generation) — это не одна технология, а архитектурный приём: мы соединяем поиск по базе знаний (retrieval) с генерацией текста (generation). На английском всё работает прилично, а вот на русском начинаются приключения.Причины банальны:Морфология.
Orange Pi представила мини-ПК на базе процессора Huawei Ascend 310
Китайский производитель одноплатных компьютеров Orange Pi представил мини-ПК AI Studio на базе ИИ-ускорителей Huawei Ascend 310. Во флагманской конфигурации он обеспечивает ИИ-производительность на уровне 352 TOPS и объем оперативной памяти до 192 ГБ, поддерживая локальный инференс больших языковых моделей.
