Даже если случайно переставить буквы в словах, GPT-4 понимает текст
Цветом выделена токенизация Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.
Ответ ChatGPT длиннее, если пообещать чаевые
@voooooogel Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.
Microsoft Research выпустила Orca 2 LLM, способную сравниться по производительности с крупными моделями
Microsoft Research объявила о выпуске Orca 2, второй версии своей языковой модели Orca. В своём блоге Microsoft заявила, что Orca 2 была разработана как LM меньшего размера, но её всё равно можно использовать для ответов на сложные вопросы наравне с LLM.
Разработчик выпустил llm.js — библиотеку для запуска больших языковых моделей в браузере
Разработчик под никнеймом rahuldshetty опубликовал на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.
Контекстное окно в 200 тыс. токенов Claude 2.1 подвергли проверке
Anthropic Компания Anthropic представила Claude 2.1, следующую версию своей языковой модели. В 2.1 заявлены разнообразные улучшения точности и 50-процентное сокращение частоты галлюцинаций. Новая модель удваивает размер контекстного окна со 100 тыс. токенов до 200 тыс. Грег Камрадт протестировал эффективность памяти Claude 2.1 в зависимости от длины контекста и выдал несколько рекомендаций.
Как справиться с эмоциональным выгоранием. 13 советов
Работа организма состоит из множества процессов в нем происходящих и психических и физических, но любая деятельность задействует не все процессы, а некоторые из них, какие-то сильней, какие-то слабей. (художник больше использует воображение и работу рукой, певец голос и слух, инженер внимание и концентрацию, боксер реакцию и физику)
Завершён проект воссоздания человеческого мозга в компьютере стоимостью €600 млн. Что в итоге?
Human Brain Project (проект "Человеческий мозг") завершается в сентябре 2023 после десяти лет работы. Nature анализирует его достижения и непростое прошлое.Цифровая реконструкция цепочки нейронов из височной доли человеческого мозга.
Сервис кикшеринга Whoosh провёл испытания электросамоката с нейроинтерфейсом
Компания Whoosh совместно с российской биотех-лабораторией Neiry провела тестирование системы управления электросамокатом с помощью силы мысли. Скорость транспортного средства контролировалась специальным устройством, считывающим волновую активность мозга.
IBM представила аналоговый чип ИИ по образцу человеческого мозга
Исследователи IBM Research рассказали, как они использовали человеческий мозг в качестве модели при создании аналогового чипа для задач, связанных с искусственным интеллектом. Они опубликовали
