A-A на страже: как статистический тест находит различие, которого нет
В прошлой статье я разбирал спекулятивное декодирование — способ ускорить языковую модель. Метод обещает, что ускорение не изменит ответы: распределение текстов на выходе останется ровно таким же, как при обычной генерации. Гарантия следует из самого устройства метода, но её стоило проверить на практике.Первая попытка дала обратный результат: статистический тест уверенно сообщал, что распределения различаются. Ошибка сидела не в модели и не в ускорении, а в самом тесте. По одному выводу её было не разглядеть: числа выглядели нормально.
Кто отвечает за ИИ-агента: юридический контур цифрового сотрудника
Это вторая часть материала про ИИ-агентов в корпоративном контуре для блога ЛАНИТ. В первой речь шла о том, как ограничить агента технически, какие полномочия ему давать, как разделять доверенные и недоверенные источники, что логировать и как тестировать систему до запуска. Здесь – о следующем вопросе. Что происходит, если ограничения все-таки не сработали, агент сделал что-то не то, а последствия уже наступили?
Восемь дней без алерта: как ручной разбор конверсии превратился в ИИ-агента
В партнёрском отчёте доля выданных займов среди одобренных сползла примерно с 80 до 77 %. Текущая неделя выглядела ещё хуже — меньше 75 %. Мы начали разбирать падение и довольно быстро нашли убедительное объяснение: в органическом трафике такого сдвига не было, а несколько партнёров стали приводить клиентов, которые получали одобрение, но не подписывали оферту.
Не начинать с LangChain: как спроектировать корпоративную GenAI платформу до реализации
GenAI проект легко начать с технологий: выбрать LangChain, vector database, Kubernetes, Kafka, модель и сразу писать RAG пайплайн.Для корпоративной платформы это почти всегда слишком ранний шаг.Основные архитектурные вопросы возникают не в момент вызова LLM, а вокруг неё: кто может получить доступ к данным, где проверяются права, какие компоненты нужно масштабировать независимо, как система ведёт себя при недоступности внешнего провайдера и что действительно необходимо включить в первую версию.## Начать не со стека, а с условийЕсли сразу обсуждать технологии, очень быстро появляются вопросы:LangChain или LlamaIndex;
«Ноутбучная» память приходит в серверы: зачем дата-центрам LPDDR5X и SOCAMM2
В дата-центре важно не только разместить как можно больше вычислительной мощности, но и уложиться в ограничения по энергопотреблению и охлаждению. По мере роста AI-нагрузок это становится все сложнее. Поэтому производители начали присматриваться к LPDDR5X — памяти, которая долгое время использовалась прежде всего в смартфонах и ноутбуках. Новый формат SOCAMM2 позволяет устанавливать такую память в серверы в виде съемных модулей. Разберем, чем этот подход отличается от привычных RDIMM и что показали испытания на нагрузках, приближенных к реальной работе.Почему серверной памяти нужно экономить ватты
Закрытый Jev против открытой Laya: сравниваем decision-модели в RAG-реранжировании
Можно ли заменить облачный Jev локальной Laya Multilingual? После сравнения Jev с обычными LLM проверил Jev и Laya на реранжировании документов. Сравнил качество и скорость на трех поисковых наборах, добавив специализированные BGE и Qwen3-Reranker.Зачем здесь реранкерПредставим вопрос: как найти честного страхового брокера в Канаде? Поиск может вернуть и советы по выбору специалиста, и обсуждение дешевой автостраховки. Во втором тексте тоже есть Канада, брокеры и страхование, но вопрос пользователя другой.
Две ИИ-фабрики Армении: что построили и на кого они работают
Часть 2.1 Дополнение к части 2 · Хабр · Холодный анализ Дисклеймер: это инженерный разбор, а не инвестиционная рекомендация.
Как нейросеть переводит видео. Часть 2: русский длиннее не текстом, а звуком
Я делаю speeek.io, сервис дубляжа видео, один. В первой части был вход конвейера: как звук становится текстом с таймкодами и что Whisper с этим текстом вытворяет. Эта про середину: перевод и укладку перевода в тайминг оригинала.Середина — самое больное место всего проекта. Распознавание я более-менее победил, синтез покупаю готовый. А вот что делать с русской фразой, которая не лезет в секунды английской, я до сих пор не уверен. В конце будет эксперимент, после которого стало немного понятнее.
