Не только трансформеры: за пределами стандартных архитектур LLM
Привет! Это перевод очень крутой и захватывающей статьи, в которой автор рассматривает альтернативные архитектуры LLM: гибриды с линейным вниманием, диффузионные LLM, модели мира и малые рекурсивные трансформеры. Дальше слово автору:Гибриды с линейным вниманием, текстовая диффузия, модели мира на основе кода и малые рекурсивные трансформеры.От DeepSeek R1 до MiniMax-M2, самые большие и способные LLM с открытыми весами сегодня остаются авторегрессивными (autoregressive) трансформерами декодерного типа, которые построены на различных вариациях оригинального механизма многоголового внимания (multi-head attention).
Адский эксперимент: личный сайт на нищих микросервисах
Микросервисы тут, микросервисы там… Из каждого утюга доносится дивный сказ про прекрасный мир микросервисов. А ведь это всего лишь один вид из десятка архитектурных стилей, который имеет свои достоинства и недостатки.
Почему ваш AI-ассистент пишет «вырвиглазный» код, и как это исправить грубой силой
Привет, Хабр! У нас на носу 2026 год, Илон Маск обещал AGI ещё вчера (раз уж упомянул: это действительно было в одном из его интервью, где он сказал, что ожидает AGI в 25-26 годах), а AI-ассистенты для кода слышны из каждого утюга. Все мы знакомы с Cursor, многие пробовали его коммерческие (Windsurf) и открытые (Cline, Continue.dev) альтернативы. И поначалу — чистый восторг. Кажется, еще чуть-чуть, и можно будет просто говорить машине, что делать.
AMD переведёт видеокарты серий RX 5000 и 6000 «в режим обслуживания»
В AMD предупредили о переводе видеокарт с архитектурой RDNA и RDNA 2 в так называемый «режим обслуживания». Их не будут наделять новыми функциями или оптимизировать под выходящие игры.
Архитектура ИТ решений. Часть 4. Архитектура приложений. 4.2. Портфель прикладных систем
Содержание курсаПонятие «Архитектура»Бизнес-архитектураИнформационная архитектураАрхитек��ура прикладных решений. Область разработки прикладных системАрхитектура прикладных решений. Портфель прикладных системТехнологическая АрхитектураПодходы к построению АрхитектурыГрафический язык моделирования ArchiMateАрхитекторыПортфель прикладных систем (Application Portfolio) -
Генеративный ИИ как штатный инженер техподдержки: настройка, внедрение, реальные ошибки
Эксперимент, начавшийся как попытка автоматизировать ответы на тикеты, закончился созданием почти самостоятельного "сотрудника" службы поддержки. В статье рассказываю, как мы внедряли генеративную модель в техподдержку, как настраивали контекст, ловили баги. Много практики, немного самоиронии и код, который заставил rethink-нуть наш пайплайн поддержки.
Архитектура ИТ решений. Часть 3. Информационная архитектура
Содержание курсаПонятие «Архитектура»Бизнес-архитектураИнформационная архитектураАрхитектура прикладных решенийТехнологическая АрхитектураПодходы к построению АрхитектурыГрафический язык моделирования ArchiMateАрхитекторы
Собираем качественные датасеты для LLM с помощью Telegram-бота
«Дайте мне качественный датасет, и я переверну Землю!» — возможно, так перефразировал бы свою крылатую фразу Архимед, доведись ему тренировать современные LLM. Хороших наборов данных в открытом доступе не так много, а собрать свой — задача не из простых. О популярных способах сбора данных для датасетов, связанных с этим рисках и о решении, которое мы используем в YADRO, сегодня и поговорим. Меня зовут Антон Шадрин, я работаю в DevOps-команде дивизиона искусственного интеллекта YADRO. В работе с моделями искусственного интеллекта, как и в CI/CD-пайплайне, есть похожий набор шагов.
Документирование архитектуры
Каждый архитектор сталкивается с вечной дилеммой: как правильно документировать архитектуру, чтобы она была понятна людям и одновременно пригодна для автоматизации? Сегодня разберем три основных подхода и выясним, когда какой использовать.Проблемы архитектурной документации
