Как научить модель рассуждать, не переобучая её, меньше чем за 10$
ВведениеЭто статья обобщение моего исследования передачи знаний от большой модели с замороженными весами в малую модель, которую мы будем обучать через расширенный механизм кросс внимания или проще говоря через LLM модули. Оригинальное исследование доступно по ссылке: arxiv.org/abs/2502.08213 . Репозиторий с кодом и весами доступен на Hugging Face: LLM модули.
Карта российского Open Source для ИИ: 128 решений от 41 разработчика
ICT.Moscow изучил рынок инструментов с открытым исходным кодом для ИИ-разработчиков. Всего таких проектов с начала 2020 года по январь 2025 года оказалось 128. На карте авторы разделили их на семь групп. Самой популярной категорией оказались библиотеки и фреймворки (на них приходится треть от общего количества), за ними следуют модели ИИ, на третьем и четвертом местах расположились бенчмарки и датасеты.
Несудьба, интегрально-ролевая система
Правила универсальной нарративно-вычислительной ролевой системы, предназначенной как для соло игр, так и вождения партии. Использует калькулятор, теги с идентификаторами и строится на интерпретации ассоциаций.
«Перебросить код через стену из юристов — еще не значит сделать его открытым», — Константин Осипов, основатель Picodata
Продолжаю рассказывать об open source в России. На этот раз удалось пообщаться с @kostjaоб открытой разработке с точки зрения стратегии и управленческих аспектов. В том числе поговорили о лицензиях, работе с сообществом и интеграторами.
LLM Llama 3 — небольшое погружение в детали
Привет Хабр! В этой статье я попробую немного разобрать код LLM Llama 3. Полностью проанализировать каждую строку кода не получится, но самые важные и базовые концепции мы все-таки разберем насколько это возможно.Падаем в кроличью норуИзучать мы будем класс Llama (файл generation.py) и его метод text_completion
Сэм Альтман: OpenAI оказался на «неправильной стороне истории» в отношении open source
Исследователи, инженеры и руководители OpenAI, включая генерального директора Сэма Альтмана, ответили на вопросы пользователей Reddit. Альтман признал, что китайская DeepSeek ослабила лидерство OpenAI в области ИИ, а его компания оказалась «на неправильной стороне истории» в отношении открытого исходного кода.
Лучшие статьи Хабра в январе 2025 года
Уже более десяти лет я регулярно читаю Хабр, однако, как и многие другие пользователи, обычно концентрируюсь на статьях из своей ленты новостей. Это практично, но существует вероятность упустить интересные публикации, которые остаются вне моего внимания. Чтобы разобраться в актуальных тенденциях, я решил провести собственный анализ самых популярных публикаций на Хабре за январь 2025 года.
Сальваторе Санфилиппо возвращается в Redis
С того места, где я остановился…Я не из тех, кто сильно привязывается к своим собственным проектам. Когда я решил уйти из Redis, это было примерно 1620 дней назад (около 4,44 года), я напрочь перестал заглядывать в исходный код, смотреть коммиты или вообще что-то читать о Redis. Время от времени, когда мне требовался Redis, я просто скачивал его и компилил. Я просто набирал make и радовался, что даже спустя все эти годы сборка по-прежнему элементарна.
Perforator: новая система непрерывного профилирования теперь в опенсорсе
Привет! Сегодня мы выложили в опенсорс Perforator — систему непрерывного профилирования (continuous profiling), которую используем внутри Яндекса для анализа производительности большинства сервисов.В Github‑репозитории
Как я пишу open source игру на Java
Автор текста: Александр НиловАрхитектор информационных систем департамента «Логистика» КОРУС КонсалтингВсем привет! Меня зовут Александр Нилов, я архитектор департамента «Логистика» КОРУС Консалтинг. Но сегодня речь пойдет не о работе, а о моем личном проекте – 3D компьютерной игре.
