Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов
В какой‑то момент я посмотрел на 13 ГБ весов LLaMA-7B и подумал: а почему, собственно, они должны занимать именно столько? Что, если не делать маленькую модель, не учить её заново и не заставлять копировать большую, а просто найти более короткую запись тех же «мозгов»?Здравый человек, вероятно, скачал бы готовую квантизацию и пошёл заниматься своими делами. Я вместо этого поставил цель ужать модель сначала до 2 ГБ, а в идеале — до одного. Без дообучения, дистилляции, pruning и изменения архитектуры. Только математика над уже готовыми весами и небольшая выборка текстов для калибровки.
Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов
Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов.Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:инструкциях по возврату средствсписке сотрудниковсообщениях электронной почтыДля правильного ответа (
Как мы автоматизировали перевод технической документации через инструменты вокруг модели
Привет! Меня зовут Глеб Смольяков, я инженер-программист в DevRel-отделе Битрикс24.DevRel-команда работает с разными задачами, которые помогают разработчикам и пользователям быстрее разобраться в возможностях продукта. Одна из таких задач — улучшение документации и её перевод на другие языки.В статье расскажу, как мы сделали сервис DocFlow, который автоматизирует перевод документации с русского на английский. Главная часть статьи — о том, как мы создавали инженерный слой для аккуратной точной работы.СодержаниеЗачем понадобился сервис перевода DocFlow
6 бесплатных AI API‑шлюзов: модели, лимиты и реальные RPM
Я проверил бесплатные AI API‑шлюзы реальными запросами: доступные модели, стартовые бонусы и ограничения RPM. Ниже — результаты тестов на момент публикации. VyceAIСайт: https://vyceai.comAPI: OpenAI‑compatibleBase URL: https://vyceai.comСписок моделей: GET /v1/modelsChat: POST /v1/chat/completionsПосле регистрации сервис начислил $40 внутреннего API‑баланса. Для доступа к моделям нужно привязать Discord.
Семь нейросетей сравнили вслепую на восьми заданиях: победила Fable 5.1, Kimi K3 взяла больше всего заданий
Опубликованы итоги открытого сравнения семи нейросетей от семи разных команд на восьми практических заданиях. Первое место по сумме баллов заняла Fable 5.1 (145), второе — Kimi K3 (133), третье — GPT-5.6 Sol (118). Все работы, голоса судей с пояснениями и сырые данные выложены на https://ikorg.ru/rating/.Кто участвовал. Fable 5.1, GPT-5.6 Sol , Kimi K3, Qwen 3.8 Max, Gemini 3.8 Flash, Grok 4.6 и DeepSeek V4 Pro.Задания.
Речевая аналитика на домашнем «чайнике»
Как я собрал офлайн-пайплайн для телефонных звонков на одной игровой карте — и зачем там вообще LLM, если «кто что сказал» нас почти не интересует.Написано с помощью ИИРепозиторий: antirek/calls-pipelineПересмотрел запись вебинара про речевую аналитику. Вспомнил, что после конференции год назад хотел собрать такой пайплайн сам — потому что на вопрос из зала докладчик ответил примерно: «Все бы мы хотели…».
LLM зацикливается: как найти причину, не трогая параметры?
Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про аварию, которую сложно поймать тестами.Сервис на базе LLM три недели работает нормально, а потом начинает отдавать отчёты, где с середины примерно двадцать раз подряд идёт один и тот же абзац, а дальше — обрыв на полуслове. Пользователи присылают скриншоты, GPU занят
Как мы построили multilabel guardrail‑классификатор и как мы сделали его в 3 раза быстрее и дешевле
Как учесть 15 категорий риска одновременно, не потерять редкие и критичные классы, обмануть попытки обхода фильтров и не разориться на инференсе. Изображение сгенерировано с помощью seedream-5.0-pro
