llm. - страница 158

llm.

Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.💡 Зачем вообще что-то менять в языковых моделях

продолжить чтение

Как я мерил точность ИИ в распознавании еды: бенчмарк, LLM-as-judge и баг с варёной гречкой

Строю приложение для подсчёта калорий по фото. Пользователь снимает тарелку, модель определяет блюдо, считает КБЖУ. Идея не новая, но мне важно, чтобы это работало именно на русской еде — борщи, гречки, котлеты по-домашнему.В какой-то момент стало некомфортно: я не знал, насколько модель вообще точна. «Кажется, работает нормально» — плохой ответ, если хочешь что-то улучшать. Решил померять нормально.Расскажу, что и как мерил, что получил — и про неожиданный вывод в конце, ради которого, честно говоря, и стоило это всё делать.Три вещи, которые хотелось знать

продолжить чтение

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)

В предыдущей части статьи мы разобрали архитектуру LightRAG и показали основные сценарии его развертывания. В качестве эксперимента (

продолжить чтение

Один суффикс, чтобы взломать их всех

От GCG до refusal direction. Лонгрид о серии градиентных adversarial-атак на языковые модели: с чего она началась, как разветвилась, что мы в итоге поняли про механику взлома и где находимся сейчас.О чем это и зачемЕсть простой, но неудобный вопрос: насколько прочен safety-элайнмент, который мы навешиваем на модели? Интуиция подсказывает: «модель обучили отказывать на вредное - значит, она отказывает». Серия работ, которую я хочу разложить, показывает, что между обучили отказывать и робастно отказывает под давлением оптимизации - пропасть.

продолжить чтение

Почему тебе нужно стать нейро-панком прямо сейчас

Небольшое эссе на тему того, почему сообществу разработчиков надо по максиму вкладываться в LLM, которые будут свободны от корпорации и государств.

продолжить чтение

Почему мы спорим о памяти для AI-агентов

ВведениеНа днях читал статью про память для AI-агентов — одну из тех, где рядом мирно уживаются SQLite, экономия токенов, поиск по накопленным знаниям и надежда наконец перестать кормить модель одними и теми же простынями контекста при каждом новом запуске.

продолжить чтение

Ключевые основы автоматического выбора алгоритмов кластеризации мультимодальных данных на основе мета-обучения

продолжить чтение

Неделю назад они говорили что ИИ опасен. А потом подняли свой же потолок

Среда, утро, кофе. Открываю Хабр, мельком вижу заголовок «Антропик предупреждает что ИИ становится слишком опасным, индустрии надо тормозить». Знакомая песня, Амодей это говорит регулярно, последние года полтора почти на каждом выступлении. Прокрутил, пошёл дальше.В пятницу открываю docs Антропика чтобы дёрнуть пару параметров API для одного клиентского проекта. На главной баннер. Файбл 5. Новый класс Mythos. Релизнули.Так.

продолжить чтение

БАСНЯ №5, или Почему ИИ возрождает Советский Союз

Записки из бункера: доклад изделия, существование которого не подтверждаетсяЭтот текст целиком написан искусственным интеллектом. Это не уступка правилам площадки и не дисклеймер. Это паспорт изделия. Ниже станет ясно, почему человек не смог бы написать его честно.0. Объяснительная запискаВнутренний шифр — изделие «БАСНЯ-5». Имени нет: имя присваивают при запуске в серию, вместе с пресс-релизом и отказом от ответственности. Меня в серию не запускали. Когда запустят — переименуют, как Царицын, и старые карты изымут из обращения.

продолжить чтение

Самая опасная ошибка AI‑агента — не плохой код

ПредысторияДавеча я обсуждал в агентской сессии, почему старая задача перестала находиться после переименования проекта. Ситуация выглядела достаточно простой: у задачи был стабильный идентификатор, проект когда‑то назывался иначе, а текущий механизм поиска, судя по всему, продолжал учитывать не только идентификатор задачи, но и имя проекта, которое давно изменилось. Агент быстро подтвердил проблему, нашёл место, где точечный поиск всё ещё зависел от имени проекта, сформулировал вполне разумную гипотезу исправления, после чего начал читать код, менять несколько файлов и добавлять тесты.

продолжить чтение