Без тренировки, но с обучением: имплицитная динамика in-context learning
АннотацияОдной из наиболее примечательных особенностей Large Language Models (LLM) является их способность к in-context learning — обучению в контексте. В частности, на этапе инференса LLM может усваивать новые паттерны без какого-либо дополнительного обновления весов, если эти паттерны представлены в виде примеров в промпте, даже если эти паттерны не встречались во время обучения. Механизмы, за счёт которых это возможно, всё ещё во многом остаются неизвестными.
Как DS-инженеры совершенствуют автогенерацию описаний и пополняют индекс объявлений Авито
Привет! Я Сергей Кляхандлер, техлид в команде LLM Авито. В 2024 году мы разработали и выпустили ML-модель, которая автоматически генерирует описания для объявлений из категории «Одежда, обувь, аксессуары». В этом году автогенерацию усовершенствовали, а подход переиспользовали. Теперь мы можем создавать дополнительные ключевые слова для поиска.Статья будет полезна DS-инженерам, которые работают с мультимодальными LLM-моделями.
Тренд на компактные модели: Meta* запускает семейство моделей рассуждений MobileLLM-R1 для ПК и мобильных устройств
Долгое время мощь ИИ-моделей напрямую связывалась с их размером: число параметров росло до сотен миллиардов и даже триллионов. Но слишком большие модели создают очевидные проблемы для компаний: отсутствие контроля над системой, зависимость от сторонних облаков и непредсказуемые расходы.На фоне этого набирает обороты противоположный тренд — малые языковые модели (SLM), которые можно запускать прямо на ПК и смартфонах. Последний и самый яркий пример — Meta* MobileLLM-R1
SWE-MERA — новый динамический бенчмарк для моделей агентной генерации кода
Всем привет! Пару месяцев назад Альянс в сфере искусственного интеллекта, в который MWS AI тоже входит, запустил
Переводим fb2 книжки, с нейронками, для себя
Получилось так что я купил книжку на английском, в Австралии (автор оттуда и там она дешевле в 3 раза чем у Гугла), но прочитать не смог, очень богатый мир , много странных слов, начал терять контекст истории, читал по 2 страницы в день. Затем на ТГ канале Акимова попалась ссылка на прототип агента по переводу текста , со сслыками в итоге на научные работы и т.д., обрадовавшись полез на гитхаб искать форки и конечно готовую софтину , но почему то она не случилась. спустя два года появились платные сервисы, но не опенсорсная поделка, и я решил собрать хотя бы MVP чтобы проверить идею самостоятельно, потом написать
Секреты LLM по API: динамическая анонимизация данных для российского бизнеса
Привет, Хабр! Мы — Мария Старцева и Катерина Пославская из команды R&D в Just AI.
️ Kimi k2.1 — новая модель от Moonshot и снова лидер
Полное имя билда: Kimi K2 0905.Модель обходит даже Claude 4 Sonnet почти по всем бенчам. Аналогично и с Gemini 2.5 Pro.Веса — кликОтчёт — клик (больше бенчей внутри)Что важно из техчастиАрхитектура:
