Даже если случайно переставить буквы в словах, GPT-4 понимает текст
Цветом выделена токенизация Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.
Ответ ChatGPT длиннее, если пообещать чаевые
@voooooogel Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.
Microsoft Research выпустила Orca 2 LLM, способную сравниться по производительности с крупными моделями
Microsoft Research объявила о выпуске Orca 2, второй версии своей языковой модели Orca. В своём блоге Microsoft заявила, что Orca 2 была разработана как LM меньшего размера, но её всё равно можно использовать для ответов на сложные вопросы наравне с LLM.
Разработчик выпустил llm.js — библиотеку для запуска больших языковых моделей в браузере
Разработчик под никнеймом rahuldshetty опубликовал на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.
Контекстное окно в 200 тыс. токенов Claude 2.1 подвергли проверке
Anthropic Компания Anthropic представила Claude 2.1, следующую версию своей языковой модели. В 2.1 заявлены разнообразные улучшения точности и 50-процентное сокращение частоты галлюцинаций. Новая модель удваивает размер контекстного окна со 100 тыс. токенов до 200 тыс. Грег Камрадт протестировал эффективность памяти Claude 2.1 в зависимости от длины контекста и выдал несколько рекомендаций.
IBM представила аналоговый чип ИИ по образцу человеческого мозга
Исследователи IBM Research рассказали, как они использовали человеческий мозг в качестве модели при создании аналогового чипа для задач, связанных с искусственным интеллектом. Они опубликовали
Как сделать Stable Diffusion XL ещё умнее, используя отрицательные подсказки
В прошлом месяце Stability AI выпустила Stable Diffusion XL 1.0 (SDXL) и дала открытый доступ к его исходному коду всем желающим. Пример изображений SDXL 1.0Релиз прошел практически незамеченным, потому что шумиха вокруг генеративного искусственного интеллекта немного поутихла. Все слишком заняты
Искусственный интеллект в России и мире: эволюция, тенденции, будущее
Сегодня искусственный интеллект активно задействуют в промышленности, строительстве, ТЭК и других сферах. Усиливают потенциал данной технологии новые суперкомпьютеры, которые помогают обучать ИИ для выполнения соответствующих задач. Проекты ИИ получают поддержку со стороны государства. В 2021 году стартовал Федеральный проект «Искусственный интеллект», в рамках которого в ИИ будет вложено 24,6 млрд ₽ в течении 5 лет. Уже было профинансировано создание 6 новых научно-исследовательских центров в ведущих университетах и НИИ.
