Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL
Я делаю свою линейку маленьких языковых моделей dpp-gpt. Не файнтюн чужой модели, а всё с нуля: токенизатор, претрейн, SFT, RL, бенчмарки. Всё это на одной домашней видеокарте RTX 4060 с 8 ГБ памяти. Недавно вышла версия 2.2 Pro на 260 миллионов параметров. В статье расскажу, как она устроена, что получилось, что нет, и какие неожиданные вещи всплыли по дороге.Сразу честно: это не конкурент моделям, обученным большими командами на триллионах токенов. На общепринятых английских бенчмарках она отстаёт даже от самых маленьких из них (бенчмарки ниже). Интересна она другим: тем, сколько можно выжать из одной видеокарты, и тем, что видно изнутри.
Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов
Я тепломеханик, начальник отдела в проектной организации, в проектировании четырнадцать лет. Программистом не был ни дня, с нейросетями вожусь меньше года. Весной взялся вырастить из слабых локальных моделей рой, который окажется умнее самой сильной из них. Рой не поумнел. Зато по дороге я разложил шесть маленьких моделей по схеме, по которой работает любой проектный институт, и замерил, что из этой схемы держит нагрузку. Держит одно деление на разделы, и слабой модели оно дает больше, чем сильной.
Сколько Rust помещается в 0.5B
Temper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.Первая версия Temper
Малые языковые модели: где пригодятся SLM и что учесть в работе с ними
Сегодня малые языковые модели (SLM) все чаще оказываются в центре внимания: на первый взгляд, они почти не уступают LLM, при том, что ресурсов тратят намного меньше.Но тут, как всегда, есть нюанс (и не один): обсуждаем, так ли хороши SLM, где они действительно могут быть полезны, а где пока буксуют. А еще разбираемся, почему — на наш взгляд — серьезных конкурентов для LLM из них пока не выйдет.
А мы и не заметили, или о том, какие ИИ живут в вашем кармане
Один разработчик запустил 400B-модель на iPhone 17 Pro.
Microsoft представила встроенную в Windows 11 локальную языковую модель Mu
Microsoft презентовала малую языковую модель Mu, которая встроена в Windows 11 и будет работать локально. Эта модель обеспечивает работу агента в настройках, доступного для инсайдеров Windows в Dev Channel с ПК Copilot+, путём сопоставления запросов ввода на естественном языке с вызовами функций настроек.
Microsoft планирует интегрировать Phi-4 mini в Edge для запуска ИИ на самом устройстве с Windows 11
Microsoft стремится превратить Edge в браузер с искусственным интеллектом, развернув интеграцию компактных рассуждающих языковых моделей Phi-4, которые будут работать локально на устройстве с Windows 11.
Nvidia выпустила G-Assist для улучшения производительности в играх
Project G-Assist от Nvidia теперь доступен для загрузки в рамках последнего обновления фирменного приложения компании. Это небольшая языковая модель (SLM), которая работает локально на устройстве и позволяет выполнять различные действия на ПК с помощью голосовых или текстовых сообщений.
Разработчик выявил представления разных нейросетей о среднестатистическом человеке
Разработчик Джеймс Хэнкок представил свой мини-проект Imagine a person, в рамках которого он попытался выяснить, каким представляют себе разные нейросети среднестатистического человека. Для этого он прогонял специально созданный промпт через каждую ИИ-модель 100 раз.
