llm.
Архитектура RAG: полный гайд
Первая часть. Часть вторая про Advanced RAG тут.Если, открывая холодильник, вы еще не слышали из него про RAG - то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.Итак, зачем нужен RAG?
OpenAI: ChatGPT начал «лениться» и иногда не отвечает на вопросы
OpenAI подтвердила в треде в X (Twitter), что получает жалобы от некоторых пользователей. Они утверждают, что в последнее время при использовании GPT-4 или ChatGPT API чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор. По данным The Independent, вышеуказанные проблемы обычно
Google призналась, что демонстрация мультимодальности Gemini — это постановка
6 декабря вместе с семейством моделей Gemini компания Google показала видеоролик, где человек взаимодействует с мультимодальной языковой моделью. На видео пользователь общается голосом, рисует и показывает жесты, а Gemini распознаёт увиденное и всячески развлекает. Как заметили наблюдатели и как позже признала Google, видеоролик преувеличивает технические способности ИИ.
Google представила ИИ-модель Gemini, которая обходит GPT-4 в большинстве тестов
Google объявила о запуске главного конкурента ChatGPT — ИИ-модели Gemini
Даже если случайно переставить буквы в словах, GPT-4 понимает текст
Цветом выделена токенизация Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.
Ответ ChatGPT длиннее, если пообещать чаевые
@voooooogel Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.
Microsoft Research выпустила Orca 2 LLM, способную сравниться по производительности с крупными моделями
Microsoft Research объявила о выпуске Orca 2, второй версии своей языковой модели Orca. В своём блоге Microsoft заявила, что Orca 2 была разработана как LM меньшего размера, но её всё равно можно использовать для ответов на сложные вопросы наравне с LLM.
Разработчик выпустил llm.js — библиотеку для запуска больших языковых моделей в браузере
Разработчик под никнеймом rahuldshetty опубликовал на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.
Контекстное окно в 200 тыс. токенов Claude 2.1 подвергли проверке
Anthropic Компания Anthropic представила Claude 2.1, следующую версию своей языковой модели. В 2.1 заявлены разнообразные улучшения точности и 50-процентное сокращение частоты галлюцинаций. Новая модель удваивает размер контекстного окна со 100 тыс. токенов до 200 тыс. Грег Камрадт протестировал эффективность памяти Claude 2.1 в зависимости от длины контекста и выдал несколько рекомендаций.
OpenAI перестала использовать данные клиентов для обучения языковых моделей
Генеральный директор OpenAI Сэм Альтман заявил, что компания больше не использует данные клиентов для обучения своих больших языковых моделей. OpenAI обновила свои Условия обслуживания, чтобы отразить эти изменения.
