Бесплатная расшифровка без облака: черновик субтитров сразу во встречу, чистовик после встречи в хорошем качестве
Это продолжение моей статьи «Число vCPU ничего не говорит: как я считал, нужен ли свой ASR-сервер вместо Deepgram». Читать первую часть не обязательно, всё нужное я коротко перескажу.
RAGу для программиста
Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода:fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели:ресурсы на fine-tuning в случае on-prem решения,дополнительные средства за дообучение модели по подписке.RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста.
От толмачей до локальных нейросетей: как я собрал приложение для перевода книг
На днях хотел прочитать книгу, но она была только на английском языке. Всё бы ничего, только я не совсем дружу с английским.
Ouroboros, очередной инструмент для вашего harness
Harness - построение инфры вокруг LLM таким образом, чтобы man in the loop (человек в процессе поддержки LLM) отсутствовал.Я решил поэкспериментировать некоторое время назад, идея была очень простой - дать агенту возможность дебажить и исследовать написанный код через логгирование до того, как он попадет в чистовик.Дисклеймер: инструмент пилил для себя, результатом доволен, для локальных моделей буст получил, для агентов клода тоже, если есть идеи как дотюнить - добро пожаловать в комментарии.
Open source для ИИ: смотрим на патенты и лидеров гонки
Казалось бы, open source и патенты понятия практически несовместимые. Особенно в сфере ИИ. Но за патентами в этой сфере уже давно идет серьезная гонка. Разбираемся с лидерами и смотрим на сами решения. Рейтинг держателей патентов
Кажется, мы ищем форму
Привет, Хабр :3, что-то давно я не писал свое графоманство, что читается хуже нейрослопа, да и знаки препинания по паузам в уме моём, а еще я "–" умею ставить ввиду академической проф-деформации.Итак, заваривайте чай, напрягаем мозг, сегодня поговорим в целом о программировании и его проблемах, а также экспериментах. Плана статьи не будет, до конца дочитают сильнейшие (изи байт). Ехала!Проблема AI и LLM
Моё исследование средств выявления уязвимостей в скиллах
Пока делал CEO AI (моё виденье помощника в работе), решил проверить, можно ли использовать сканеры для проверки скиллов перед подключением. Собрал 12 синтетических пакетов и прогнал через Cisco Skill Scanner, NVIDIA SkillSpector и AgentVerus без
Gauntlet Loop — величайшее заклинание в мире маглов
Gauntlet Loop: от черновика к интерактивной лекции через повторяющийся цикл проверки и улучшения.Привет, Хабр!
Как построить систему безопасности для AI-платформы в эпоху новых вызовов и угроз
Разбор практического кейса по работе с разными слоями безопасности на примере платформы для создания ИИ-агентов
