AWS обновила OpenSearch Serverless под AI-агентов
AWS запустила новое поколение OpenSearch Serverless — управляемого сервиса для поиска и работы с векторными данными. Главное изменение: инфраструктуру адаптировали под агентные нагрузки, где трафик создают не люди, а автономные ИИ-системы.
RAG для тех, кто разочаровался: почему retrieval ломается и как это починить
Вы собрали RAG-пайплайн: загрузили документы, нарезали на чанки, сгенерировали эмбеддинги, подключили векторную базу. Задаёте вопрос — модель отвечает уверенно и подробно. Показываете заказчику, тот в восторге. Потом начинается тестирование на реальных вопросах, и оказывается, что на половину из них система отвечает мимо: то находит не тот документ, то находит правильный, но не тот кусок, то вообще ничего релевантного не достаёт и модель уверенно галлюцинирует.
О важности времени в архитектуре систем ИИ
Одной из наиболее недооцененных сил при проектировании систем ИИ является задержка при выполнении вычислений. Когда инженеры говорят о производительности модели, они часто сосредотачиваются на точности, полноте данных и производительности обучения.Но в производственных системах для пользователей огромное значение имеет время. Для них важно, чтобы система отвечала на их запросы достаточно быстро. Потому что даже самая умная система ИИ начинает сильно раздражать, если ответ на запрос пользователя приходит слишком поздно.
RAG vs Fine-tuning: когда что выбирать — опыт 30+ проектов
RAG vs Fine-tuningПредставьте: клиент хочет «умного бота для базы знаний». Первый вопрос, который я задаю: «Данные часто меняются?»От ответа зависит архитектура. И бюджет. И сроки. И головная боль на следующие полгода.
VK внедрила визуально-языковые модели ИИ в поиск своих сервисов
Компания VK начала внедрять в поиск своих продуктов визуально‑языковые модели (VLM). VLM) представляют собой искусственный интеллект, который одновременно анализирует текст, изображения, звук и видеоряд. Технология уже работает в «VK Видео». Она появится в других сервисах компании, где есть поисковые системы.
Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
Три месяца назад я наблюдал, как мой агент на Llama 3.1 8B в третий раз спрашивает, как меня зовут.Я представился в первом сообщении. Двести сообщений назад...Агент забыл. Не потому что тупой. Потому что контекст переполнился и начало разговора уехало в никуда.Это был момент, когда я понял: мы неправильно думаем о памяти.Почему большие контексты — это ловушкаКогда вышел Claude с контекстом на миллион токенов, казалось — проблема решена. Запихиваем всё в контекст, модель помнит всё. Красота.Потом пришёл счёт за API.
