Использование больших языковых моделей (LLM) в Access Management
ВведениеХайп вокруг нейросетей, особенно больших языковых моделей (LLM), пока не утихает.Как в свое время было с хайпом на блокчейн многие техноэнтузиасты начинают применять подход “решение в поисках проблемы”. То есть, искать применение нейросетей ко всем задачам подряд.Это объясняется двумя причинами:Повысить шансы привлечение инвестиций, добавив суффикс AI к названию своего проекта.Экспериментировать с новыми технологиями всегда интересно.Access Management
Как я нашёл уязвимость в ядре Linux при помощи модели o3
В этом посте я расскажу, как нашёл уязвимость нулевого дня в ядре Linux при помощи модели OpenAI o3. Уязвимость обнаружилась благодаря одному лишь API o3 — не потребовались никакая дополнительная настройка, агентские фреймворки и инструменты.
CAG и KAG: Улучшенные методы дополнения генерации после RAG
Доброго времени суток, уважаемые хабровчане. Меня зовут Кирилл Кухарев и я являюсь разработчиком в компании Raft. Про RAG в блоге нашей компании написано уже внушительное количество статей. Если кто-то не знаком с этой технологией или только начинает изучать, рекомендую обратить ваше внимание на статью Игоря
250 откликов за 20 минут: как я автоматизировал процесс ответов на вакансии
Будем откровенны: поиск работы — это отстой. Это мучительный цикл многократного копипастинга одной и той же информации, внесения сотен мелких правок в резюме и написания сопроводительных писем, которые должны выглядеть, как мольба, но не слишком очевидная. Обратим внимание на следующее: повторяющиеся задачи + структурированный процесс = идеальный кандидат для автоматизации. Поэтому я поступил так, как поступил бы любой разработчик в здравом уме — создал систему автоматизации всей этой фигни. В конечном итоге я смог разослать 250 откликов на вакансии за 20 минут. (Ирония заключается в том, что я получил оффер ещё до того, как закончил создавать эту систему. Подробнее об этом ниже.) В статье я расскажу, как я это сделал.
Google призналась, что демонстрация мультимодальности Gemini — это постановка
6 декабря вместе с семейством моделей Gemini компания Google показала видеоролик, где человек взаимодействует с мультимодальной языковой моделью. На видео пользователь общается голосом, рисует и показывает жесты, а Gemini распознаёт увиденное и всячески развлекает. Как заметили наблюдатели и как позже признала Google, видеоролик преувеличивает технические способности ИИ.
Даже если случайно переставить буквы в словах, GPT-4 понимает текст
Цветом выделена токенизация Для представления внутри трансформеров слова или их небольшие части преобразуются в токены. Кажется, что если перемешать в каждом слове буквы, то языковая модель на трансформерах потеряет всякую способность понимать текст. Авторы научной работы «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» (arXiv:2311.18805) показали, что это не так. Как выяснилось, GPT-4 без проблем оперирует текстом, где в каждом слове все буквы случайно переставлены.
Ответ ChatGPT длиннее, если пообещать чаевые
@voooooogel Микроблогер поделилась забавным наблюдением про работу ChatGPT: языковая модель реагирует на обещание дать чаевые и отвечает чуть подробнее. Хотя чат-бот не имеет возможности получить оплату, размер ответа всё равно незначительно вырастает.
Контекстное окно в 200 тыс. токенов Claude 2.1 подвергли проверке
Anthropic Компания Anthropic представила Claude 2.1, следующую версию своей языковой модели. В 2.1 заявлены разнообразные улучшения точности и 50-процентное сокращение частоты галлюцинаций. Новая модель удваивает размер контекстного окна со 100 тыс. токенов до 200 тыс. Грег Камрадт протестировал эффективность памяти Claude 2.1 в зависимости от длины контекста и выдал несколько рекомендаций.
