Оценивание LLM в RAG на клиентских и синтетических датасетах: методология и результаты
Привет, Хабр! Меня зовут Таня, я аналитик качества в команде Базы Знаний Just AI. Наша команда занимается разработкой продукта для клиентских баз знаний на основе RAG и созданием таких баз под ключ.Одной из ключевых задач POC для наших заказчиков является оценка качества и точности ответов системы, а также выбор модели, которая обеспечит эти показатели. Чем точнее ответы, тем больше доверия к системе со стороны сотрудников/клиентов и меньше ручного труда по поиску доп.информации. 90% точности ответов — одно из основных требований большинства наших клиентов при выборе Базы Знаний
Методы анализа текстовых данных пользовательских обращений
В прошлой статье мы исследовали проблему слишком навязчивой или нерелевантной рекламы, которая может ухудшить пользовательский опыт и вызвать негатив клиентов.
Сравнение low-code редакторов для разработки приложений на основе LLM
Привет, Habr! Наша команда LLM-разработки подготовила статью с анализом low-code редакторов для разработки пайплайнов на базе LLM-моделей. Тема сравнения пайплайнов назревала давно, так как мы активно используем данные редакторы в своей работе и зачастую сталкиваемся с различными ограничениями решений. Данная статья будет полезна командам, которые только выбирают среду разработки пайплайнов для своих LLM-приложений и ИИ-агентов, а также тем, кто ищет лучший редактор для решения своих задач.Введение
Безопасность AI-агентов в Web3. Часть 2: уязвимости современных LLM и соревновательный взлом
Современные методы джейлбрейков
Docker теперь конкурент Ollama?
Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.Фактически у нас с вами появилась новая команда:
MTS AI выпустила Cotype Pro 2 — второе поколение LLM для бизнеса
MTS AI представила
Машина может быть живой?
Это продолжение прошлых статей по поводу создания СИИ. Учитывая ошибки прошлой статьи хочу порассуждать на вопросы: сможем ли мы когда-нибудь считать машину живой? При каких условиях можно выдать ей паспорт гражданина? Какие правовые и этические последствия это повлечёт? Пробуем полностью пересмотреть понятия живого и неживого. Проведем мысленную эквилибристику.
Слушать некогда читать: где поставим запятую?
Узнаете, когда заглянете под кат.😉 Для затравочки: речь пойдёт про инструмент ЮMoney для транскрибации аудио с внутренних созвонов в тексты и про кое-что ещё для наших клиентов. 😎👇Меня зовут Макс, я аналитик в ЮMoney. Недавно перед моей командой стояло две цели:
Как мы транскрибируем аудио с внутренних созвонов в текст
Меня зовут Макс, я аналитик в ЮMoney. Недавно перед моей командой стояло две цели:● Повысить качество взаимодействия пользователя и бизнеса за счёт аналитики данных аудио.● Снизить время на рутину у коллег.Так родились два проекта 👇●
Реализация AI агента на базе LLM с нуля – что включает цикл разработки
Разработка AI агента, использующего большие языковые модели (LLM) – это малоизвестный пока еще и потому интересный инженерный процесс, охватывающий весь цикл создания от идеи до финального развертывания. Технические стандарты разработки агентских систем пока еще формируются. В данной статье я поделюсь своим опытом и рассмотрю ключевые этапы, технологии и практические нюансы, которые встречаются при разработке такой системы с нуля.
