Локальный Tool Calling или «У нас есть BFCL-V4 дома»
В своей прошлой статье я рассказывал о компактной модели, которая по бенчмаркам смогла превзойти модели в 10 раз больше ее самой. О том, что это стало возможным благодаря особому подходу к обучения самой модели и что такую модель вполне реально запустить у себя локально.Однако, когда дело касается локального запуска, думаю, далеко немногие из нас запускают модели в BF16 через vLLM на Nvidia H100. А значит, все эти красивые результаты по бенчмаркам на практике, вероятнее всего, очень далеки от того, что мы получим на практике.И я решил это проверить.
Как заработать на LLM, перестав писать «правильные промпты»
В этой статье я бросаю вызов общепринятому представлению о больших языковых моделях как о «тупых исполнителях», которые ничего не понимают, галлюционируют, но позволяют получить результат быстрее (нередко за счет качества). Подобные мифы активно распространяются в сети, а также на курсах, на которых обучают «правильно» писать промпты. Я на Хабре уже написал несколько статей, разоблачающих отсутствие мышления у LLM, но здесь я опишу способность больших языковых моделей решать задачи, людям недоступные
РосНОУ стал новым партнером «Школы 21»
Одним из, безусловно, положительных итогов уходящего года можно считать подписание соглашения о взаимодействии в области информационных технологий и подготовки кадров в ИТ-сфере. Мероприятие прошло в кампусе «Школа 21. Ярославия» в Ярославле. РосНОУ присоединился к ведущим вузам-партнерам «Школа 21» - РАНХиГС, МГИМО МИД России, Санкт-Петербургскому политехническому университету Петра Великого, Университету науки и технологий МИСИС, Сеченовскому университету, РУДН и ВГИК.
Как налоговый юрист написал сервис для расчета пени по НДС с помощью LLM, не зная Python
ВступлениеЯ налоговый юрист и автор телеграм-канала «Налоговый Инсайдер». В моей работе есть рутинные задачи, которые сложно автоматизировать стандартными средствами вроде Excel. Одна из таких задач — расчет пени по НДС при подаче уточненной налоговой декларации.
Нейропоисковик на 17 миллионов картинок: OpenCLIP, Qdrant и ZeroTier вместо облаков
Как я собрал семантический поиск по 17 миллионам картинок, не разорившись на AWSЗачем это всёЯ занимаюсь визуальными искусствами и фронтендом более 10 лет. Для креативной работы мне постоянно нужны референсы, причём основанные на ощущении, визуальном стиле, том, что на английском (да и у нас зачастую) называют vibe.Был замечательный проект same.energy, который решал именно эту задачу. Когда он перестал работать, я почувствовал себя без рук. И, как инженер, решил не ждать, а собрать свой инструмент.Задача звучала амбициозно: проиндексировать датасет на
Умная афиша концертов Золотого кольца России: Python + LLM
Содержание: 1. Знакомство с сервисом 2. Архитектура 3. Важные нюансы 4. Развёртывание в PROD1. Знакомство с сервисомКак это работает? Представим, что «Знаток концертов» — Ваш умный библиотекарь 📚. Он настоящий специалист в своём деле, и по каждой книге (концерту) у него есть заметка с кратким содержанием 📝Вы приходите к библиотекарю с мыслью "что-то этакое почитать"
От голосовых к тексту: делаем Telegram-бота для расшифровки аудио на модели от СБЕР — GigaAM-v3
Привет, Хабр! Недавно Сбер выкатил новые модели распознавания речи (speech-to-text, STT), и мне захотелось проверить их не в абстрактном демо, а в реальном сценарии. В этой статье я расскажу о практическом кейсе – разработке Telegram-бота, который преобразует голосовые сообщения в текст. Посмотрим, на что способна новая отечественная модель GigaAM-v3, и соберём на её основе расширяемого Telegram-бота.
Как построить идеальную «песочницу» для ML-моделей
Привет, Хабр! Я Даниил Салман, техлид по контейнеризации. Эта статья написана по мотивам моего доклада для конференции DevOops. Разберёмся, как сделать такую ML-«песочницу», где Data Scientist пишет код, а всё остальное (установка драйверов, выделение ресурсов, деплой и тренировка модели, сбор метрик) уже настроено на бэкенде. Написали максимально просто и доступно, чтобы понять смог даже человек с минимальным погружением в тему. Идеи из этой статьи можно применять в любой инфраструктуре — важно лишь понимать основы: как работает k8s-кластер, Docker и python-фреймворки. Итак, поехали!
