llm. - страница 101

llm.

Память агента без вектор-БД: 363 markdown-файла вместо эмбеддингов

У меня восемь агентов с постоянной памятью, и на всех вместе больше 360 файлов, около 1,4 МБ текста. Векторной базы нет ни одной: эмбеддинги я не считаю вообще.И это не “руки не дошли”. Схема работает с мая 2026 года: сначала на одном агенте, с июня централизованно на всех восьми. За это время вопрос про вектор-БД я поднимал трижды, каждый раз с конкретным кандидатом на внедрение, и каждый раз закрывал его отказом. Ниже разберу, как это устроено, какими числами живет и в какой момент перестанет работать.Рефлекс, от которого я отказался

продолжить чтение

Read‑only by construction: почему инструкции — не граница безопасности для AI‑агента в Kubernetes‑кластере

Всё чаще встречаю такую схему: берём LLM, даём ей доступ к kubectl или k8s API, в system prompt или подключённом skill‑е пишем что‑то вроде «ты можешь только читать, ничего не удаляй и не изменяй», и считаем вопрос закрытым. Прошёл через это сам и в какой‑то момент понял, что это не граница безопасности, а вежливая просьба.

продолжить чтение

Квантизация LLM: как запихнуть 70B модель в свою видюху

Ну что, думаете что для запуска LLaMA 3 70B вам нужна серверная стойка за лярд рублей? Поздравляю, вас обманули маркетологи GPU-вендоров. Модели с сотнями миллиардов параметров — LLaMA 3 70B, DeepSeek-V3 с его 671 лярдом параметров — жрут vRAM как не в себя, но есть способ запихнуть это все в обычную потребительскую видюху.Сегодня в статье разберем, как работает чудо квантизации под капотом, чем отличаются PTQ и QAT, почему MoE-модели (DeepSeek-V3, Mixtral, LLaMA 4 Scout) квантизовать сложнее и как выбрать между GPTQ, GGUF и AWQ.

продолжить чтение

Разговорили гуманоида: как за месяц мы построили русскоязычный голосовой стек для китайского робота

К нам в лабораторию приехал человекоподобный робот ростом 173 сантиметра и весом 75 килограммов — и он не понимал по-русски ни слова. Штатный голосовой стек работал на китайском, лежал на закрытой плате внутри корпуса, куда нет доступа, и заменить в нём язык было нельзя. Пришлось строить собственный: своё распознавание речи, свой синтез голоса, свою логику диалога.

продолжить чтение

От LLM-портала до фабрики внутренних агентов: как в Авито строят корпоративного ассистента «Виталик»

Привет! Меня зовут Никита, я старший DS-инженер в Авито. В этой статье расскажу, как мы строили «Виталика» — нашу корпоративную экосистему ИИ-агентов. Отвечу на три главных вопроса: как процесс становится агентом, как сделать систему production-ready и куда развивать её дальше.Статья будет полезна ML-инженерам, AI-архитекторам и техническим лидам, которые строят агентные системы на базе LLM в корпоративной среде.Якорный кейс про закупку программного обеспеченияАгентами становятся успешные процессы

продолжить чтение

Anthropic публикует системные промпты Claude. Разбираем, как они менялись от Haiku 3 до Opus 5

Что Claude получает ещё до первого сообщения пользователя, зачем модели отдельные инструкции по работе с инструментами и длинными задачами и какие идеи из system prompts можно использовать в собственных AI-ассистентах.Когда мы отправляем Claude первый запрос, для пользователя диалог только начинается.Для модели нет.До пользовательского сообщения Claude уже получает системную инструкцию, которая задаёт контекст работы: кто модель, какая сейчас дата, как оформлять ответы, как работать с доступными инструментами, что делать с неопределённостью и какие ограничения учитывать.

продолжить чтение

Что настоящего осталось в программисте?

Привет, Хабр !А вот реально, что настоящего осталось в программисте когда вокруг llm ? Где его суть и индивидуальность, где теперь его ценность ?Дисклеймер

продолжить чтение

Зачем компаниям строить собственный AI и как это делать?

Привет! Меня зовут Саша Журавлев. Я венчурный инвестор и основатель фонда Mento VC. Мы инвестируем в технологические компании на стадиях Seed / Series A в США, а в своем телеграм-канале рассказываю, как вижу рынок и принимаю инвестиционные решения.Зачем компаниям строить собственный AI и как это делать?Ответу на этот вопрос Sequoia Capital посвятила отдельное видео для фаундеров и AI-команд.

продолжить чтение

Сжатие данных — это предсказание

Недавно я читала материалы о сжатии данных, и меня внезапно озарила безумная мысль: по сути своей, алгоритмы сжатия и LLM предназначены для решения одной и той же задачи.

продолжить чтение

От прототипа до продукта: как на самом деле проектируют приложения на базе LLM

продолжить чтение