Корпоративная база знаний на базе ИИ
Корпоративная база знаний на базе ИИ отвечает сотрудникам на вопросы по внутренним документам компании и показывает, откуда взят ответ. Строится она по схеме RAG — поиск нужных фрагментов плюс языковая модель. Это руководство для архитектора: из чего состоит стенд и где его разместить, сколько ресурсов нужно каждой модели, как выбрать хранилище и посчитать среду, что проверить до запуска и где обычно совершаются ошибки.Зачем компании база знаний с ИИ
EmbeddingGemma 2: как перейти с 768 на 512 координат и сэкономить память на RTX 5090
Привет, Хабр!Пять миллионов 768-мерных эмбеддингов в FP32 занимают 15,36 ГБ. На RTX 5090 с её 32 ГБ VRAM это почти половина, причём только под координаты. Поисковому индексу нужна ещё служебная память, а если на той же карте работает модель, место потребуется и ей.У EmbeddingGemma 2 есть возможность сократить этот объём. Последний линейный слой модели преобразует 512 чисел в 768. В точной арифметике его выходы лежат в 512-мерном подпространстве: для их хранения можно выбрать другой базис и оставить 512 координат, сохранив косинусное сходство.
Как правильно выбрать эмбеддинг для проекта
Эмбеддинги (иначе говоря, векторные представления) — это способ представления абстрактных данных в виде набора чисел (в виде векторов, как вы могли уже понять), близкие значения которых связаны семантически и математически и с которыми может работать модель искусственного интеллекта. Разберемся какие модели лучше других подходят для кодирования слов. Параллельно с этим разберём принципы, на которые нужно опираться при выборе эмбеддинг-модели, пощупаем русские BERT-модели и внесём ясность про системные требования, контекстное окно и размер батча.1. Типы эмбеддингов и области применения
RAG от А до Я: шпаргалка архитектора (векторные базы, чанкинг, реранкинг и 8 граблей продакшена)
Это же так легко
Почему RAG — фундамент любой AI-трансформации
За последние годы большинство AI-проектов в компаниях стартуют одинаково: сначала делают чат-бота, затем добавляют агентов, автоматизируют отдельные процессы и ожидают роста эффективности.На практике такие проекты часто не дают устойчивого результата. Модель может корректно генерировать текст, демонстрации выглядят убедительно, но в реальной работе ответы оказываются нестабильными, противоречивыми и не связанными с внутренними стандартами компании.Основная причина — отсутствие единого слоя знаний.
Notion + RAG + Telegram: архитектура AI-копирайтера для сети ресторанов
В ресторанной сети с несколькими заведениями контент быстро становится отдельным операционным процессом. Нужно регулярно готовить описания блюд, тексты для социальных сетей, рассылки, пресс-релизы, переводы, анонсы мероприятий, описания ресторанов и другие материалы. При этом у каждого ресторана может быть своя концепция, своя аудитория и собственный Tone of Voice.
Базовый минимум. Часть 3: RAG-системы
Дисклеймер: данная лекция подготовлена в первую очередь для непрофильных студентов магистратуры и аспирантуры, которые используют ИИ в учебной, исследовательской и профессиональной деятельности. Материал носит вводный характер и содержит намеренные упрощения. В то же время лекция может быть полезна и более широкой аудитории пользователей ИИ. Буду признателен за замечания и предложения по улучшению.Серия «Базовый минимум» (4 части): Базовый минимум. Часть 1: большие языковые модели;Базовый минимум. Часть 2: промпт-инжиниринг
Домашняя векторная БД + RAG
Пример поискаИсходная идея
LLM как помощник тестировщика: от экспериментов к ИИ агенту
Всем привет! На связи Арслан, тимлид команды тестирования компании «Совкомбанк Технологии». В этой статье я поделюсь опытом успешного внедрения методов искусственного интеллекта и больших языковых моделей (LLM) в тестирование программного обеспечения. Объясню причины разработки собственных внутренних решений на основе искусственного интеллекта, какие трудности возникли на этом пути, как используем техники промпт-инжиниринга для повышения качества тест-кейсов и каких результатов смогли достичь.

