DataCopilot: строим мультиагентную архитектуру для работы с корпоративным хранилищем данных и документацией
Привет, Хабр! Меня зовут Максим Шакуров, я ML-инженер в VK.
Выбор локальной LLM модели. Публикация на сайт с чатом
Исходный код, разобранный в данной статье, опубликован в этом репозиторииДля решения некоторых задач бизнес-требованием является запуск LLM модели локально на своём железе. Это связано с SJW цензурой, например, стандартный датасет для обучения Llama не позволяет вести консультации, носящие медицинский характер: рекомендовать лекарства, обсуждать носящую интимный характер медицинскую тайну с ИИ-терапевтом (см побочки антидепрессантов)
