Стресс-тест функций активации: GELU vs Tanh
В современных нейросетях, включая LLM на базе Transformer, стандартом стали неограниченные функции активации — ReLU и GELU. Их основное преимущество, хорошая проходимость градиентов и быстрое обучение глубоких моделей.Однако на практике наблюдается проблема: при появлении доминирующих паттернов или высокочастотного шума во входном контексте (длинные диалоги, шумные данные, повторяющиеся или доминирующие токены) модели становятся нестабильными и склонными к деградации генерации и галлюцинациям.В этой статье я попытался выяснить, может ли быть связан принципиально выбор функции активации с галлюцинациями LLM.
За пределами LLM: детерминированный движок рассуждения на конечном алфавите
Часть 1. Детерминированный движок рассуждения на конечной таблице операции (в перспективе — замена LLM)Когда речь заходит о больших языковых моделях, все сразу отмечают их талант к сочинению и пересказу текстов. Но вот встроить такую модель в реальный продукт — задача куда более каверзная, чем кажется на первый взгляд. На практике вылезают три системных «подводных камня», из‑за которых работать с ними бывает откровенно неудобно.
На стыке AI и науки: Летняя школа Veai для студентов
День студента — отличный повод поговорить не только о сессиях и вечеринках, но и о том, зачем вообще учиться.
OpenCode + Docker Model Runner для локальной разработки с ИИ
Команда AI for Devs подготовила перевод статьи о том, как использовать OpenCode вместе с Docker Model Runner для локальной разработки с LLM. В центре внимания — контроль над кодом, данными и затратами: модели запускаются локально, контекст не уходит во внешние сервисы, а ИИ-ассистент становится частью вашей инфраструктуры, а не сторонним SaaS. Практический разбор для тех, кто хочет использовать ИИ в разработке без компромиссов по безопасности и стоимости.
Ред флаги, но не в тиндере: что важно понять data-специалисту ещё до оффера
Пятничный вечер, бар, шумные разговоры. Мы - компания из нескольких ML-инженеров, DE и DA из Сбера, Магнита, Озона и Альфа-Банка собрались не ради обсуждения задачек в JIRA. Разговор зашел о наболевшем: как найти своих людей и команду мечты? Обсудили зарплату и плюшки, удалёнку и офис, стартапы и зрелые продукты, переработки, карьерный рост и рабочую культуру. В статье - цитаты из обсуждения и обобщённые выводы. А в конце - список вопросов, которые стоит задать на собеседовании, чтобы не ошибиться с выбором и найти тех людей, с кем не страшно будет выкатить релиз в пятницу вечером.
Клонирование голоса по 3-секундному образцу локально: обзор Qwen3-TTS, примеры на русском и портативная версия
Всем привет! Команда Qwen от Alibaba выложила в открытый доступ Qwen3-TTS — нейросетевую модель для синтеза речи с клонированием голоса. Сегодня хочу рассказать об этой технологии подробнее и поделиться портативной версией.
Немного о предсказаниях в ИИ
Под конец 25 года и начало 26, всю мою ленту заполонили разного рода «предсказания». ПРИМЕР 1, ПРИМЕР 2, ПРИМЕР 3. Поскольку эти предсказания, порой, диаметрально противоположны, то могут запутать невнимательного читателя.В связи с этим я хочу поделиться своим видением того, как стоит реагировать на такие предсказания.В первую очередь стоит научиться с очень большим скепсисом смотреть на прогнозы разнообразных CEO, директоров, PR отделов, хайп-блогеров, инвесторов и «всепропальщиков»:Заявления
Поиск статистически значимых подтверждений силы намерения
Что Вы чувствуете, когда в день Вашего рождения в комнату вносят пирог со свечками и все гости улыбаются Вам и желают счастья? Или когда огромный зал рукоплещет после Вашего выступления? Ну или когда провинились и нужно выйти лицом к лицу к людям, которые посмотрят на Вас с осуждением? А как насчёт Ваших пожеланий другим людям, это просто слова или они действительно меняют их жизни в ту или иную сторону?
Исследование Apple: управляемость ИИ зависит от задачи
Новое исследование показало, что управлять языковыми и генеративными AI-моделями сложнее, чем кажется. Эффективность таких моделей зависит от конкретной задачи, самого алгоритма и использованного запроса.
