Вы соревнуетесь не с умными людьми, а с их вниманием, и планка сейчас на дне
Вот я сижу перед чистым листом. Я намерен писать только свои мысли, без постороннего влияния и без лишней спешки. Это должно быть совсем просто.Мне нужно лишь сосредоточиться...поймать фокус...Вот, кажется, сейчас... он близко, вот-вот придёт... ещё немного и...Чёрт. Я не могу...
Проблемы людей и нейросетей
Эта статья написана без участия ИИ. Для простых смертных. Упрощена.Сейчас тренд на замену людей нейросетями, вайбкодинг, и другие вещи, которые завернуты в фантик «Беззаботного будущего», всё это мне напоминает предыдущий тренд, который был до появления ИИ — «Успешный успех». Нам продают не технологии, а чувства простоты, на которое люди каждый раз охотно ведутся.По ощущениям, это тот же барабан с цифрами 777, нам показывают пару удачных прокруток, «джекпоты», счастливые лица, а реальная статистика, цена попыток, и неизбежные промахи остаются за кадром.
Куда и почему уходят бабки на нейросети
Малоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У нейросетей по-настоящему многоразовых задач не существует. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.
Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей
Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.Содержание:Архитектура трансформераМеханизм вниманияПозиционные эмбеддингиТокенизацияТрансформерные архитектуры (BERT, GPT и тд)Полезные материалы
Как сделать нейросети понятнее: эксперимент OpenAI с разреженными моделями
Команда AI for Devs подготовила перевод исследования OpenAI о том, как обучение разреженных моделей может сделать ИИ более прозрачным. Авторы показывают: если заставить модель использовать меньше связей, внутри неё появляются понятные цепочки вычислений, которые можно изучать и проверять. Это может стать шагом к созданию мощных, но интерпретируемых систем.
Momentum Attention: когда внимание получает инерцию
В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.Внимание распределяется мгновенно:Именно этот механизм сделал трансформеры тем, чем они стали.Но вот в чём проблема - внимание не имеет памяти.
Эволюция внимания в LLM: от квадратичной сложности к эффективным оптимизациям
Мы живём в эпоху больших языковых моделей — инструментов вроде ChatGPT, Gemini, Claude, которые поражают своими способностями: они пишут тексты, отвечают на сложные вопросы, генерируют код и даже ведут осмысленные диалоги. Но задумывались ли вы, как им удаётся не просто понимать отдельные фразы, но и удерживать смысл длинных документов, многочасовых бесед или даже целых книг?В статье разберём путь от понимания человеческого восприятия до современных оптимизаций механизма внимания в LLM. Сложность человеческой речиПрежде чем погружаться в технические детали, сначала — про масштаб задачи.
Яндекс победил шум
Бывало с вами так - лежишь в ванной, хочешь посмотреть видео с конями, кричишь "Алиса!", а колонка тебя не слышит из-за льющейся воды, работающего телевизора, пылесоса, чайника, соседа с перфоратором, блядской стройки за окном?Один из способов - жениться на женщине по имени Алиса, но тогда вам придется растить детей, убирать срач в доме и ездить в глупые отели в эмирате Дубай. Должно существовать более эффективное решение, не требующее обратной дискриминации мужчин.Инженеры (ни в коем случае не рисёчеры) из Яндекса посмотели на эту проблему, и, похоже, нашли элегантное решение. Почитать подробней пейпер можно
