Как сделать RAG для своей компании
По следам:Как я сделал RAG для своей компанииКак я сделал RAG для своей компании (часть 2). И как начал делать AI АгентаAI агенты — клоны сотрудников (часть 3)В этой статье я постараюсь суммировать свой опыт, подвести итоги и предоставить верхнеуровневую картину решения. Определите список вопросов и сабсет данных
Как мы внедрили LLM в рабочие процессы аналитиков на R — и сделали это бесплатно
В этой статье расскажу, как мы в команде аналитиков начали использовать большие языковые модели (LLM) в повседневных рабочих инструментах. Всё построено на R, и покажу на практике, как можно внедрить такие фичи у себя — без платных подписок, без OpenAI и без строчки кода на Python.Это не просто обзор, а реальный кейс — как мы встроили LLM в наше Shiny-приложение, которое помогает управлять задачами на сервере. Расскажу и покажу:Как бесплатно получить API-ключ от Gemini;Как с помощью пакета ellmer собрать свой AI-чат;Как научить чат доставать структурированные данные из текста;
Будьте добры, помедленнее! Я записываю… или Как мы приручили нейросеть для видеозвонков
Всем привет! Меня зовут Дима, я продакт-менеджер команды видеозвонков в Битрикс24.
Хватит говорить, что ИИ нас заменит
Сидишь вечером и смотришь на то, как ChatGPT за несколько секунд пишет полнофункциональное CRUD-приложение. Пялишься на экран и спрашиваешь себяЗаменит ли меня эта штука или нет?Ты не один, кто задается таким вопросом – и нет, твоя карьера, к счастью, ещё не закончилась.ИИ хорош, но ИИ ≠ разработчикИИ уже вошёл в индустрию – инструменты как ChatGPT, Copilot, и Claude заметно повышают скорость разработки. Ещё в 2022, когда ChatGPT только появился, никто не мог себе такого представить.Что ИИ делает хорошо?Хорошо справляется с боилерплейтом, например, при написании кода для работы с базами данных
Mistral Small 3.1 и DeepCoder-14B-Preview появились в библиотеке Ollama
В библиотеке Ollama, популярной платформы для локального запуска LLM, сегодня появились две новые модели: Mistral Small 3.1 и DeepCoder-14B-Preview.
Fine tuning или RAG. Что выбрать?
При разработке ИИ чатов существует два способа интеграции внешних данных: RAG хранилища и Fine tuning. Для не технаря отличия не очевидны, я столкнулся с мнением менеджера проекта, что первое это новая версия второго. Это не так. Поэтому, я сделал short summary, чтобы по существу изложить плюсы и минусы двух решенийЧто такое RAG?Языковые модели умеют запускать python/javascript функции через tool_calls. Делается такая функция, ей на вход аргумент search
Как запустить языковую модель без цензуры, не имея видеокарты и мощного компьютера
Думаю, все сталкивались с тем, что языковая модель отказывается отвечать на какие-то вопросы. К счастью, в интернете есть опубликованные так называемые abliterated модели, которые не имеют цензуры и отвечают на любые
LLM беспристрастно о хорошем и плохом на Хабре
Если что не так, то все претензии к модели, а не ко мне. Я старался вести диалог спокойно, без дурных намерений и каверзных вопросов.LLM ответила очень подробно, по существу, иногда жестко и нелицеприятно, зато беспристрастно.Я бы предложил всему IT-сообществу и владельцам самого портала без обид просто поразмыслить над этими простыми и объективными суждениями и выводами модели. Если каждый что-то изменит на своём уровне возможностей, то будет оздоровление и польза. Моя цель состоит именно в этом.Обратите, пожалуйста, внимание на вопросы о проблемах и недостатках, это действительно стоит того.
Балансировка нагрузки LLM через Nginx
Исходный код, разобранный в статье, опубликован в этом репозиторииВ интернете существует множество примеров, которые позволяют подключить ChatGPT 3.5 без инструментов к телеграм боту. Однако, когда речь заходит о большом количестве пользователей, не существуют примеров распределения нагрузки по нескольким процессам: все туториалы в интернете запускают монолит с одной репликой
