slm.
Малые языковые модели: где пригодятся SLM и что учесть в работе с ними
Сегодня малые языковые модели (SLM) все чаще оказываются в центре внимания: на первый взгляд, они почти не уступают LLM, при том, что ресурсов тратят намного меньше.Но тут, как всегда, есть нюанс (и не один): обсуждаем, так ли хороши SLM, где они действительно могут быть полезны, а где пока буксуют. А еще разбираемся, почему — на наш взгляд — серьезных конкурентов для LLM из них пока не выйдет.
Как устроена токеномика — экономика мира ИИ
Долгое время разработчики жили в парадигме «закон Мура
Cisco запускает Antares — недорогие ИИ‑модели для поиска известных уязвимостей в исходном коде
Компания Cisco запустила
А мы и не заметили, или о том, какие ИИ живут в вашем кармане
Один разработчик запустил 400B-модель на iPhone 17 Pro.
OCC-RAG: компактные модели, которые отвечают только по источникам
Привет, Хабр! На связи команда Optimal Cognitive Core (OCC) из AIRI. Развитие языковых моделей в последние годы определяется масштабом: каждое новое поколение вмещает в веса всё больше знаний о мире. Но огромная доля практических задач выигрывает тогда, когда модель демонстрирует не свою энциклопедичность, а способность рассуждать и анализировать предоставленный контекст. Из этого наблюдения и выросло OCC — наше семейство компактных языковых моделей (SLM), которые имеют сильные когнитивные способности, не обладая при этом большим багажом «вызубренной» информации.
Geometry > Scale: Как 40М параметров на решетке E8 обходят классические трансформеры
Ребята, кажется, мы уперлись в стену. Пока гиганты наращивают параметры и жгут тераватты, пытаясь выжать каплю разума из статистики, я решил пересмотреть сам фундамент. Проблема не в данных, проблема в «вязкости» стандартного Attention.Суть метода: Я заменил стандартный механизм внимания на нативную
Тренды архитектуры ПО — взгляд InfoQ 2025
Ключевые идеиПока все вокруг активно прикручивают большие языковые модели, новые эксперименты всё чаще уходят в сторону более компактных и специализированных SLM и агентного ИИ.RAG уже стал почти обязательной надстройкой, чтобы вытянуть качество ответов из LLM, и теперь архитекторы стараются проектировать системы так, чтобы его было проще встроить.
