Natural Language Processing. - страница 26

Токенизация: почему ИИ сложно считать буквы «r» в «strawberry»?

Пока мы воспринимаем свои промпты как обычный текст из символов, для LLM они в виде токенов «выглядят» совсем иначе. И если не осознавать этого, порой можно наткнуться на проблемы. Поэтому полезно (и интересно) понимать: что вообще представляют собой токены? По какому алгоритму текст преобразуют в них и обратно? Какие важные нюансы при этом возникают?Возможно, подробнее и понятнее всех объяснил пару лет назад ИИ-рисерчер Андрей Карпатый, записав двухчасовое видео

продолжить чтение

Битва двух ёкодзун: почему детекторы ИИ и гуманизаторы делают тексты еще хуже

В век, когда абсолютно все площадки, включая Хабр, захлебываются под цунами сгенерированного контента, особенно ценными становятся статьи, написанные людьми. Только есть один нюансик: человеческий текст должен быть хорошим. А я как редактор часто становлюсь невольным свидетелем битвы двух ёкодзун: искусственного интеллекта с естественной халтурой. Чума на оба этих дома, честно говоря. В этой статье хочу порассуждать на тему: любой ли сгенерированный контент плох с редакторской точки зрения и становится ли текст живого автора ценным лишь по факту своей «человечности»? Попутно мы разберем:

продолжить чтение

Выбираем и оцениваем open-source LLM для саммаризации встреч

Публичные бенчмарки LLM дают ориентиры по общему уровню моделей, но не отвечают на вопрос, как они ведут себя в конкретной задаче. А прикладные сценарии чувствительны к деталям: формату входных данных, структуре ответа, требованиям к точности. В этих условиях различия между моделями становятся более заметными.Даже у близких по классу моделей небольшие различия в архитектуре и обучении дают заметный разброс в качестве ответов.Качество моделей сильно зависит от типа задачи

продолжить чтение

Перевод: LLMs Corrupt Your Documents When You Delegate от Microsoft

Это перевод научной статьи от исследователей компании Microsoft. Статья была опубликована 17 апреля 2026 года. См. источник

продолжить чтение

Закон о суверенном ИИ и его борьба с матчастью

В марте Минцифры опубликовало проект закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта». В апреле документ смягчили под давлением бизнеса (на портале regulation.gov.ru поступило 428 предложений от более чем 150 экспертов. Из них учтено полностью - 30, частично - 128), а 23 апреля Совет по кодификации при президенте под руководством Павла Крашенинникова отклонил

продолжить чтение

Голосовой агент — это не чатбот с телефоном: 40 часов экономии и $100, сожженные на ботах

Я однажды примерно за сутки сжег около $100 на голосовом агенте.Не на большом запуске. Не на огромной базе. Не на хитрой рекламной кампании. Просто на небольшом пуле холодных контактов, где агент периодически попадал на voicemail, IVR, секретарей и других ботов.В какой-то момент два не очень умных голосовых процесса могли довольно долго вежливо говорить друг другу что-то в духе:Здравствуйте.Здравствуйте, чем могу помочь?Я звоню, чтобы…Здравствуйте, чем могу помочь?Конечно, подскажите, пожалуйста…

продолжить чтение

Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

продолжить чтение

Классификация галлюцинаций LLM | «Врага нужно знать в лицо»

Дисклеймер: В этой статье я систематизировал ключевые фундаментальные предпосылки / причины галлюцинаций, постарался объяснить их природу и предложил архитектурные подходы к их предупреждению / устранению.Для кого будет эта статья полезна:Если вы изучаете LLM и хотите лучше понимать «как ее обуздать?», то внимательное изучение этой статьи позволит вам стать своеобразным «терапевтом» для нейросетей. Системный подход к присущим им болезням дает осознание, что многие из них лечатся просто «чистоплотностью промптинга и окружения».

продолжить чтение

Пять мыслей о возможностях и ограничениях LLM

О фундаментальных ограничениях больших языковых моделей одни говорят, что трансформеры, обученные предсказывать следующий токен (NTP), - тупиковый путь для создания интеллектуальных машин: язык слишком беден, это лишь плоская проекция реального мира, машины ничего не понимают. Другие говорят , что та же задача, повторённая триллионы раз, может вызвать появление сложного поведения примерно как простой механизм эволюции породил всё многообразие жизни.Ниже представлены наблюдения по этим вопросах. | Если вам интересна тема AI-агентов и внедрения нейросетей, заглядывайте в мой Telegram-канал 

продолжить чтение

В Google Translate появился тренажёр произношения с обратной связью на базе ИИ

В Google Translate появился встроенный тренажёр произношения с обратной связью на базе искусственного интеллекта. Тренажёр включается кнопкой Practice в мобильной версии приложения. 

продолжить чтение