Машинное обучение. - страница 54

Давай по новой, Миша: speculative decoding от черновика до проверки

Маленькая модель быстро генерирует несколько следующих токенов, а большая проверяет их сразу одной пачкой. Подходящие токены принимаются, а с первого расхождения большая модель продолжает генерацию сама. При корректной реализации итоговое распределение остаётся тем же, что и при обычном декодировании. В speculative decoding большая модель буквально говорит черновой: «Давай по новой, Миша».На первый взгляд кажется, что ускорение здесь обязательно покупается ценой качества. Но нет: это как раз тот случай, когда можно ускорить генерацию без такого компромисса.

продолжить чтение

Суды рассматривают минимум 15 исков авторов против ИИ‑компаний

По данным Publishers Weekly, 63% опрошенных специалистов отрасли издательского дела подтвердили использование ИИ в своих организациях. При этом в судах находится на рассмотрении минимум 15 исков авторов против ИИ‑компаний.

продолжить чтение

OpenAI создаст консультативную группу по математике и ИИ

OpenAI объявила о создании независимой консультативной группы, которая будет базироваться в Институте перспективных исследований (Institute for Advanced Study) в Принстоне. “Консультативная группа по математике и искусственному интеллекту” (Advisory Group on Mathematics and Artificial Intelligence) призвана дать учёным возможность активнее участвовать в исследованиях компании, связанных с математикой.

продолжить чтение

Как я строю нейросимвольное извлечение условий из тендерных документов

Почему лучший кандидат не всегда правильный Рабочее название прототипа: Tender Semantic Engine (TSE)Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не является ли он правильным ответом на другой.Задача, которая только кажется простойЯ разрабатываю настольную систему для работы с тендерами. Один из ее модулей должен читать комплект закупочной документации и переносить в карточку тендера конкретные условия: порядок оплаты, аванс, срок и место поставки, гарантию, обеспечение, штрафы и другие обязательства сторон.

продолжить чтение

Галлюцинации недели: Jev, везде и сразу

продолжить чтение

«Яндекс» выводит на рынок решение для комплексной защиты систем с использованием ИИ – AI‑SPM

По информации СМИ, подразделение «Яндекса» Yandex B2B Tech выводит на рынок решение для комплексной защиты систем с использованием искусственного интеллекта (ИИ) – AI‑SPM. Это инструмент является комплексным решением для управления безопасностью и рисками с применением ИИ на российском рынке.Генеральный директор Yandex Cloud Григорий Атрепьев пояснил, что:решение AI‑SPM помогает системно внедрять безопасность на каждом этапе жизненного цикла ИИ;

продолжить чтение

Как устроены LLM: разбираем на примере 3-уровневой абстракции

Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробную статью, которая показывала бы этот стек как общую картину, поэтому я решил написать такую статью сам. Эта статья не является исчерпывающим обзором или набором наилучших практик. Здесь я в большей степени делюсь моими общими представлениями о том, как выглядит ландшафт современных LLM‑систем.Во‑первых, любая система проектируется с расчётом на достижение конкретных целей с учётом заданных ограничений. В LLM‑системах наиболее принципиальные цели связаны с увеличением

продолжить чтение

Модель Jev от TypeSafe AI стала доступна всем. На старте дают $5 на API‑счет

TypeSafe AI открыли общий доступ к Jev — модели для быстрых решений внутри AI-агентов и программных сценариев. Компанию основал Диого Алмейда, бывший исследователь OpenAI и соавтор работы об InstructGPT. Новым пользователям начисляют $5 на API-счёт — примерно 119 млн входных токенов по текущему тарифу.

продолжить чтение

Почему ваша LLM тупеет на больших документах и как ее починить

Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Когда Google анонсировал 2M контекста, а Anthropic подкинул еще 100K, наверняка многие подумали, что RAG теперь можно выкинуть на свалку истории. Зачем париться с этими чанками, эмбеддингами и всякой прочей ерундой, если можно просто кинуть в модель весь дамп википедии и спросить ее что угодно?

продолжить чтение

Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?

Jev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-5.6-luna на четырёх открытых датасетах, затем несколько тысяч реальных решений в рабочих процессах. Где он выигрывает, где ошибается и как его использовать.

продолжить чтение