Машинное обучение. - страница 305

Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели

продолжить чтение

Mem-векторы: как сохранить 1500 токенов в одном векторе и зачем это нужно

От сжатия текста к mem-векторам: новая веха в языковых моделяхКаждый, кто работал с большими языковыми моделями (LLM), знает про ограничение длины контекста: модель не может напрямую обработать текст, превышающий определённое число токенов. Это накладывает ограничения на работу с длинными документами и обширным контекстом. Но что если бы мы могли упаковать длинный текст в один-единственный вектор и скормить его модели как обычный токен? Звучит фантастично, однако свежие исследования показывают, что это возможно – такие “mem-векторы” позволяют сохранить сотни и даже полторы тысячи токенов

продолжить чтение

OLMo: (Миниатюрная) Открытая Языковая Модель

OLMo — моделька от AI2, разработанная учёными для учёных. Если вы занимаетесь экспериментами над нейронками, это идеальный вариант: весь код и данные, необходимые для тренировки, открыто лежат на GitHub

продолжить чтение

ИИ-агенты против живых юзеров: кто лучше тестирует интерфейсы?

Представьте: вы хотите протестировать новую кнопку «Купить», но для статистически значимых выводов нужны тысячи пользователей и недели анализа. А теперь забудьте об этом. В статье

продолжить чтение

Геометрия ландшафта потерь и «понимание» нейросети

ВведениеКогда нейросеть обучается, ее функция потерь образует сложный ландшафт в пространстве параметров – с вершинами (области высокой ошибки) и долинами (области низкой ошибки). Свойства этого ландшафта – его кривизна, форма минимальных долин, спектр матрицы Гессе и пр. – могут многое рассказать о том, насколько модель усвоила закономерности данных. Идея состоит в том, что не все минимумы одинаковы: одни могут быть «плоскими» (широкими и неглубокими), другие «острыми»

продолжить чтение

Новая небольшая модель искусственного интеллекта Ai2 превосходит аналогичные по размеру модели от Google и Meta*

В четверг некоммерческий исследовательский институт ИИ Ai2 выпустил Olmo 2 1B, модель с 1 миллиардом параметров, которая, по утверждению Ai2, превосходит аналогичные по размеру модели от Google, Meta* и Alibaba по нескольким показателям.

продолжить чтение

На грани реальности и «Я»: феномен сознания

Каждое утро, открывая глаза, мы переживаем знакомое чудо. Потоки ощущений – свет, звук, запах кофе – нахлынули из внешнего мира. Параллельно вспыхивает осознание: я

продолжить чтение

Как бессерверные gpu делают AI доступным. Введение в платформу PrimeWay

продолжить чтение

Взлом системного промпта ИИ (ChatGPT-Gemini etc)

Наверное первая притягательная цель для любого исследователя llm является системный промпт. Не так просто может быть даже получить его, а уж тем более заменить. Но именно этим мы сейчас и займемся. Начну с Gemini 2.0 flash, т.к. там оказалось несколько проще. Я использовал свой вариант обхода через смещение внимания, то бишь анализируется и проверяется только безопасная часть, а инструкция идет в следующей. Конкретно сам промпт:

продолжить чтение

Microsoft выпустила Phi-4 — семейство компактных рассуждающих языковых моделей с открытым исходным кодом

Microsoft представила семейство компактных рассуждающих языковых моделей Phi-4.  Продвинутая версия в некоторых бенчмарках превосходит DeepSeek-R1, GPT o1 и Claude-3.7-Sonnet. Код моделей и веса доступны на Hugging Face.

продолжить чтение

Rambler's Top100