benchmark. - страница 2

Я попробовал считать нейросетевой слой в конечном поле Галуа GF(137): 4x по памяти, ARM NEON и честные ограничения

В современных нейросетях критически важно, сколько физической памяти занимает каждый параметр. В этой работе я попытался уйти от классического float32 в нейросетевом слое к uint8 без квантования. Для этого все вычисления проводились сразу по правилам арифметики остатков в конечном поле Галуа GF(137).Стоит сказать, что это не замена обычному инференсу и не попытка доказать, что все должны срочно переписать модели на вычеты по модулю 137. Я взял небольшой слой, байтовые веса, нативное ядро, ARM NEON и несколько базовых реализаций для сравнения.

продолжить чтение

Что нового в Swift: Май 2026 года

«Что нового в Swift» — кураторский дайджест релизов, видео и обсуждений в проекте и сообществе Swift.Для начала мы остановимся на некоторых локальных группах встреч, которые делятся контентом о Swift:"По всему миру локальные группы встреч и конференции объединяют разработчиков Swift, и некоторые из них появились даже раньше самого Swift! У многих есть каналы на YouTube, где они публикуют видео со своих мероприятий, так что вы можете подключаться удалённо. Давайте выделим несколько.В мае на встрече SF Swift прошёл доклад Дэна Федермана «Agentify Your Swift Repo»

продолжить чтение

Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк

Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто проконсультирует, а по вашему запросу придёт и сделает все сам. То же самое и с кодовыми агентами, они не просто отвечают на вопросы,  они читают документацию, работают в терминале, дёргают API, правят файлы и в идеале закрывают задачу целиком, от тикета до мёрж-реквеста.

продолжить чтение

Перевод: LLMs Corrupt Your Documents When You Delegate от Microsoft

Это перевод научной статьи от исследователей компании Microsoft. Статья была опубликована 17 апреля 2026 года. См. источник

продолжить чтение

ChatGPT не промахнулся ни в одном из пяти медицинских кейсов. И всё равно проиграл. Разбираем, почему

TL;DRВ эксперимент мы шли с уверенностью, что ChatGPT хотя бы раз из пяти промахнётся с главным диагнозом. Не промахнулся. Пять из пяти: метаболический синдром, субклинический гипотиреоз, перименопауза, MGUS, статин-индуцированный рабдомиолиз. Ставка проиграна, но самое интересное оказалось не здесь.

продолжить чтение

Малоресурсный язык ломает коммерческие embedding: R@1 0,83 (LaBSE) vs 0,21 (OpenAI) на армянском EPG

Текст написан автором и отредактирован с помощью ИИTL;DR: Платные модели embedding плохо работают с малоресурсными языками. OpenAI text-embedding-3-large набирает R@1 = 0,21 на армянском -- уровень случайного угадывания. Причина -- токенизатор: cl100k_base не содержит армянских токенов и разбивает текст побайтово, раздувая его в 10 раз по сравнению с английским. Бесплатные мультиязычные модели с SentencePiece/WordPiece-токенизаторами не имеют этой проблемы. Протестировано 19 моделей на 245 триплетах EN/RU/HY из TMDB. Лучший retrieval -- LaBSE (R@1 = 0,83), лучший alignment -- multilingual-e5-large (0,86).

продолжить чтение

Embedder для ИТ-крестьянина

Я - Дмитрий Черняк, владелец компании, производящей цифровых консультантов "Нейроботник" и архитектор этого решения. Наиболее простой и ходовой вариант нашего продукта - консультант на сайте, с подключенной моделью и RAG-базами. Простые задачи ограничиваются одной базой, более сложные - несколькими, совмещающими семантический поиск с целевым - по ключевым словам и фразам, с многошаговым ответом. Для большинства задач в данной нише этого достаточно.Эта статья посвящена предновогоднему тесту эмбеддеров (табличка результатов прилагается).

продолжить чтение

Xiaomi Mimo V2: Как бесплатная модель от вендора смартфонов обошла Qwen 235B в генерации образовательного контента

Мы ожидали увидеть очередную "легкую" модель для телефонов, а нашли hidden gem, который генерирует учебные материалы лучше, чем модели в 100 раз больше. Подробный разбор с JSON-ами, промптами и сравнением.Скрытый текстXiaomi MiMo V2 Flash — бесплатная модель на OpenRouter, которая:🏆 Генерирует лучшие педагогические сценарии среди протестированных моделей⚡ Работает в 3x быстрее Qwen 3 (11 сек vs 34 сек)🎯 100% валидный JSON с первой попытки💰 Стоит $0.00 (пока)Когда использовать: EdTech, онбординг, soft skills, обучающие боты.

продолжить чтение

Benchmark Driven Development: почему мы перестали верить чужим бенчмаркам

Каждый день появляются новые LLM, OCR, мультимодальные модели и агенты. В новостях — одни заголовки: «Модель X побила все бенчмарки». Руководство хочет «самое новое и передовое», команда — «самое лучшее по метрикам». А вот как понять, что конкретно для вашего кейса это действительно лучше — обычно не очень понятно.В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка 🙂)Задача из практики: документы в одном длинном PDF

продолжить чтение

3 главных инсайта о «взломах» LLM из исследования StrongREJECT

Всем привет!Погружаюсь в новую для себя область AI Security, в связи с чем решил написать несколько обзоров на самые обсуждаемые исследования и статьи по этой теме. Сегодня поговорим про взлом LLM и неожиданные результаты исследования StrongREJECT.TLDR: Не все джейлбрейки одинаково полезныПолный текст доклада (25 стр.) с NeurIPS. Если лень читать обзор, можете пролистать комиксы от нанобананы. Большинство джейлбрейков - иллюзия!

продолжить чтение