Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x
CosyVoice3 — одна из лучших open source TTS моделей прямо сейчас, особенно для русского языка. Но у неё есть проблема: LLM-часть на PyTorch работает медленно на слабых GPU вроде T4. RTF (real-time factor) около 1.17 — это значит синтез одной секунды аудио занимает больше секунды реального времени.Я решил это исправить, добавив поддержку llama.cpp через llama-cpp-python. Результат: RTF упал до ~0.45, то есть ускорение примерно в 2.6x.В этой статье расскажу как это работает, почему это нетривиально, и как попробовать самому.Почему CosyVoice LLM — не обычная LLM
Квантовый сапёр и квантовый тетрис: изучение квантовых феноменов через компьютерные игры
Игра — один из наиболее универсальных и интересных способов знакомства со сложными концепциями и взаимосвязями. Тема обучающих игр для программистов на Хабре популярна и хорошо разобрана в отдельных статьях (особенно в корпоративных блогах). Я бы отметил работы уважаемой Дарьи @t3chnowolf в блоге компании «МТС», затрагивающие эту тему, в частности, «5 обучающих игр для разработчиков» (почти 29 500 просмотров) и «Обучающие игры для разработчиков: кодим, играя
Сломал руку, купил Pixel 10, возненавидел Gboard и написал свой офлайн-голосовой ввод для Android на GigaAM v3
Всё началось с того, что пару месяцев назад я сломал левую руку. Печатать одной правой оказалось той ещё пыткой, поэтому я начал искать альтернативы. Ради интереса попробовал встроенную диктовку на Маке, которой отродясь не пользовался. И внезапно обнаружил, что современный голосовой ввод в macOS — это пушка. Он отлично справляется с моим быстрым темпом речи и сложными словами. Я начал диктовать вообще всё: от сообщений в Telegram до рабочих промптов.А потом я попытался сделать то же самое на Android.
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
Если вы работаете с LLM-провайдерами, то наверняка сталкивались с одной и той же проблемой: у OpenAI лимит 100 RPM на ключ, у Vertex AI — свои квоты на проект, у Anthropic — отдельные ограничения. В итоге приходится держать несколько ключей, балансировать нагрузку вручную, следить, чтобы один заблокированный доступ не уронил всё приложение, и при этом хочется сохранить единый OpenAI-совсместимый эндпоинт для клиентского кода.Именно для этого и создан Auto AI Router
Слишком опасен, чтобы показать? Что скрывается за запуском Claude Mythos
Опасный ИИ? Маркетинговый трюк? Или своеобразная «крыша»?Чуть больше недели назад Anthropic представила миру свою модель Claude Mythos
Проблема промпта «пиши как человек»
Борьба с «запахом ИИ» (вымарывание деепричастий, списков и канцелярита) — бессмысленная некромантия. Это происходит из-за путаницы: попытки лечить стилистические симптомы, забывая об онтологии текста. «Пиши как человек» — это команда алгоритму сымитировать субъектность.Сделаем «шаг назад», обратимся к филологической базе. Чтобы понять, почему текст выглядит мертвым, достаточно вспомнить, что такое функциональные стили речи и типы текстов.Филологическая база против «Промпт-инжиниринга»
ИИ дал одиночке студию. Проблема в том, что студия арендована
Про route.yaml, авторство в пайплайнах и почему open source без экономики рискует снова стать кормом для платформИИ меняет масштаб возможного для одиночки не теоретически, а практически.
Лучший промпт для LLM. Бессмысленный поиск
В общем и целом LLM глупы. Я прошу у них написать прекрасный текст, рабочий код, решить задачу, подобрать ссылки, подготовить ответ, объяснить как починить холодильник, раскритиковать не нравящуюся мне статью. Вполне понятные и простые просьбы. В ответ приходит какая-то ерунда. Ответ неполон, ошибочен и, в целом, совершенно меня не устраивает. Виновата LLM или мой промпт?Давайте рассмотрим этот вопрос подробнее.❯ Претензии к LLMЧаще всего
Нейросеть Seedance: генерация видео и возможности модели
Генерация видео из текста
