В предыдущей статье мы описали основные способы машинного обучения и архитектуры нейросетей, включая трансформеры – эта архитектура используется для обработки естественного языка в популярных ИИ-чат-ботах, включая ChatGPT. Сегодня ИИ-ассистенты обрабатывают не только текст, но и изображения, и речь, а ИИ-агенты умеют самостоятельно взаимодействовать с цифровыми сервисами и выполнять ряд последовательных действий для достижения поставленной пользователем задачи. Разумеется, в популярных ИИ-инструментах злоумышленники сразу же начали искать уязвимости и применять новые методы кибератак: например, ИИ-агент Deep Research от ChatGPT можно использовать для незаметного получения доступа к электронной почте пользователя, а ИИ-браузеры подвержены уязвимостям, которые позволяют выполнять произвольные действия на веб-страницах от имени пользователя, включая переход по фишинговым ссылкам и оплату товаров в фейковых интернет-магазинах.
Проследив в этой статье историю развития ИИ от первых языковых моделей до мультимодальных агентов, мы сможем понять, какими особенностями ИИ пользуются злоумышленники.
Руслан Рахметов, Security Vision
Теоретические основы ИИ были заложены столетия назад: в 1763 году была опубликована фундаментальная работа в области теории вероятностей (теорема Байеса, в 1812 году она была переформулирована Лапласом), в 1805 году Лежандром был описан метод наименьших квадратов, который сейчас применяется в регрессионном анализе для аппроксимации и предсказания влияния ряда независимых переменных на зависимую. В 1906 году русский учёный Андрей Андреевич Марков доказал, что закон больших чисел распространяется на зависимые события, и предложил концепцию, в которой вероятность наступления следующего события зависит только от текущего события – теория «Цепей Маркова» активно применяется сейчас в прогнозировании и различных рекомендательных алгоритмах, обработке текстов и в языковых моделях. В 1943 году американскими исследователями была предложена математическая модель искусственной нейронной сети, а в 1950 году британский ученый Алан Тьюринг сформулировал концепции машинного обучения и искусственного интеллекта. В 1957 году американец Фрэнк Розенблатт создал перцептрон – первую в мире нейросеть с одним слоем, которая эмулировала процесс человеческого восприятия; в 1960 году она была реализована в виде нейрокомпьютера «Марк-1», после обучения позволявшего различать простейшие геометрические фигуры. Первая программа, обладавшая возможностями эмуляции общения с пользователем (прообраз современных чат-ботов), получила имя ELIZA – она была разработана в 1966 году в Массачусетском технологическом институте, а в 1979 году в Стэнфордском университете был создан прототип автономного автомобиля (Stanford Cart), который мог самостоятельно перемещаться и объезжать препятствия в лабораторных условиях.
Всплеск интереса к тематике искусственного обучения в 2010-х годах был обусловлен, во-первых, значительным ростом производительности аппаратного обеспечения, во-вторых, ростом объемов цифровых данных (датасетов), на которых можно было обучать ML-модели, а в-третьих, рядом знаковых событий. Так, в 2009 году был запущен проект ImageNet, в котором были собраны миллионы классифицированных изображений – именно эти свободно доступные датасеты позволили исследователям совершенствовать механизмы компьютерного зрения и глубокого обучения. В 2012 году конкурс по распознаванию образов с ImageNet был выигран свёрточной нейросетью AlexNet с 8 слоями и 60 миллионами параметров – её создали выходцы с постсоветского пространства Александр Крижевский и Илья Суцкевер под руководством научного руководителя Джеффри Хинтона в Университете Торонто, впервые использовав для обучения нейросети две видеокарты Nvidia GeForce GTX 580, что заложило долгосрочный тренд на использование GPU (хотя сейчас всё чаще применяются TPU – тензорные процессоры). В 2014 году была создана DeepFace – система распознавания лиц с использованием глубокого обучения, содержавшая 9 слоев и более 120 миллионов параметров и обученная на 4 миллионах фотографий пользователей популярной американской социальной сети, а разработанная российской компанией NtechLab в 2016 году технология распознавания лиц FindFace позволила искать пользователей соцсети VK по их фотографиям. В 2017 году в Google была разработана современная версия нейросетевой архитектуры типа трансформер, которая позволила сократить время на обучение по сравнению с рекуррентными нейросетями – именно на её основе компанией OpenAI были созданы большие языковые модели GPT. Выпуск GPT-3 в 2020 году стал знаковым событием, поскольку эта модель с 175 миллиардами параметров получила возможность работать с задачами, которым предварительно не обучалась, а в GPT-3.5 была оптимизирована интерпретация пользовательских промптов – именно данная модель, облаченная в общедоступный веб-интерфейс чат-бота ChatGPT, позволила людям в ноябре 2022 года приобщиться к миру ИИ.
В нейросетевой архитектуре трансформеров используются следующие компоненты и элементы:
1) Входящая информация (текст, изображение, аудио) разбивается на токены: токенизатор позволяет конвертировать предложение или картинку в набор целых чисел. В случае с текстом один токен (число) может соответствовать слову, части слова (последовательности букв, символов), словосочетанию, знаку препинания, началу или концу предложения. В зависимости от реализации нейросети, для английского языка один токен соответствует в среднем четырём символам, но для русского языка это соотношение чуть выше, около пяти-шести символов на один токен – это связано с тем, что в русском языке используются более длинные слова, суффиксы, склонения и спряжения, что позволяет семантически отличать одни слова и фразы от других. Другие типы данных токенизируются аналогичным образом: изображения разделяются на микросегменты (например, размером 8×8 или 16×16 пикселей), звуки разделяются на фреймы (например, длительностью 20-40 миллисекунд), затем обрабатываются и группируются в токены.
2) Полученные токены конвертируются в их векторное представление (эмбеддинги). Для примера можно рассмотреть метод векторизации Word2Vec (англ. word to vector, из слова в вектор), разработанный Google в 2013 году: в нём каждому слову из определенного набора сопоставляется вектор в n-мерном пространстве (размерность пространства зависит от сложности данных, но может достигать тысячи и более), а для оценки связности слов (т.е. их семантического сходства) сравнивается близость расположения их векторов по их косинусному сходству, т.е. косинусу угла между ними. Например, если в рассматриваемом наборе слова «оригинал» и «подлинник» часто встречаются недалеко друг от друга, то их эмбеддинги (векторные представления) будут близки; таким образом, обработавший огромный массив текстов трансформер будет знать, что это слова-синонимы. Однако, возникает задача учёта соседних слов и понимания контекста – например, под словом “месяц” может подразумеваться календарный месяц или Луна – естественный спутник Земли. Для решения этой задачи в трансформерах используется механизм внимания (англ. attention), который изменяет эмбеддинг слова путем формирования линейной комбинации эмбеддингов соседних слов с определенными весовыми коэффициентами. Развитием данной концепции стал механизм Multi-Head Attention (буквально «многоголовое внимание»), в котором трансформер параллельно анализирует различные части одного предложения для поиска взаимосвязей между словами и их контекста и подстраивает весовые коэффициенты – эта идея содержалась в выпущенной исследователями Google в 2017 году научной публикации “Attention Is All You Need”, в которой впервые была предложена нейросетевая архитектура трансформеров.
3) Позиционное кодирование (Positional Encoding) позволяет учитывать положение слов в предложении, работая с эмбеддингами. Кодировщик (Encoder) состоит из нескольких слоев, обрабатывает входящую фразу и применяет механизм Multi-Head Attention, а затем обрабатывает результат во встроенной нейронной сети с прямой связью (FNN, Feedforward Neural Network) и использует нормализацию. Далее результат работы кодировщика попадает в декодировщик (Decoder), который также состоит из нескольких слоев и применяет attention-механизмы, FNN-сеть и нормализацию, а затем передаёт результат на выходной слой, который формирует итоговый результат в виде распределения вероятностей результирующих токенов с использованием многопеременной логистической функции (англ. Softmax). Например, если перед трансформером стояла задача перевести предложение с английского языка на русский, то кодировщик преобразует токены исходной фразы на английском в эмбеддинги, а декодиров��ик и выходной слой сформируют набор слов на русском и расставят их в правильном порядке для получения итоговой переведённой фразы.
Самообученная на большом объёме неразмеченного текста нейросеть-трансформер называется большой языковой моделью (LLM, Large Language Model) – примерами практической реализации являются известные чат-боты ChatGPT, Google Gemini, Microsoft Copilot. Если трансформер обучен и умеет работать не только с текстом, но и с изображениями, аудио- и видео-материалом, то он называется мультимодальным (модальность – тип данных); первым популярным мультимодальным трансформером стал GPT-4o (где o означает omni, т.е. всеобъемлющий). Особенность LLM заключается в том, что у них присутствует определенная отсечка знаний (англ. knowledge cutoff) – например, у последней версии ChatGPT-5, выпущенной в августе 2025 года, знания ограничены серединой 2024 года. Несмотря на то, что по запросу пользователя ChatGPT может обработать более свежие сведения из различных источников, этот временный контекст будет забыт сразу после окончания текущей беседы с чат-ботом. Полное переобучение LLM (англ. Full Fine-Tuning) может быть длительной и затратной задачей – например, в случае с GPT-3.5 пришлось бы подготовить вычислительные ресурсы для работы со 175 миллиардами параметров, в случае с GPT-5 речь идёт уже о триллионах параметров. Поэтому для адаптации модели к выполнению определенных задач и изменения её поведения используются различные упрощенные методы:
1) Промпт-инжиниринг – оптимизация запросов-промптов помогает без перенастройки LLM добиться выполнения специфических задач. Промпт может содержат детальное описание задачи, исходные данные, контекст, режим работы модели и ожидаемое пользователем представление ответа – например, промпт для точного перевода технического текста с английского языка на русский может выглядеть следующим образом: «Работай в режиме технического переводчика. Сохраняй точность перевода и стиль исходного текста. Используй точные математические и физические определения. Выводи результат в простом текстовом виде без разметки. Переведи на русский язык следующий текст на английском: …». В приведенном примере мы дали модели инструкции без примера ожидаемого ответа – эта техника называется Zero-Shot Prompting, которую мы объединили с техниками Role Prompting (указали, в каком режиме должна работать модель) и Instruction Prompting (дали точные и детальные инструкции). Чтобы повысить точность работы модели, промпт можно сопроводить примером того, как LLM должна решить поставленную задачу – такой подход называется уже Few-Shot Prompting. Промпт с цепочкой рассуждения (Chain of Thought) подразумевает декомпозицию задачи на несколько шагов (пользователь «объясняет» модели, какова должна быть последовательность рассуждений). Техника разбивки промпта (Chunking) поможет обойти ограничения контекстного окна модели (объем текста, обрабатываемого в одном запросе), а техника связывания запросов (Prompt Chaining) позволит модели решить более сложные задачи, заданные в нескольких последовательных промптах, одновременно давая пользователю возможность проверять промежуточные результаты.
2) Обучение в контексте (In-Context Learning) подразумевает, что пользователь даст модели ряд чётких инструкций и приведёт несколько примеров ожидаемого поведения/ответов, а модель обобщает примеры и соответствующим образом корректирует своё поведение.
3) Метод эффективной тонкой настройки параметров (Parameter-Efficient Fine-Tuning, PEFT) позволяет изменить лишь небольшое число параметров исходной предобученной модели и сохранить её структуру для снижения трудоёмкости переобучения. При применении метода PEFT большинство параметров и слоёв модели замораживается, при этом к внешним слоям добавляется несколько изменяемых параметров (адаптеров), а также дополнительно может использоваться техника оптимизации памяти с помощью контрольных точек градиента (gradient checkpointing). В результате применения метода PERT можно обучить модель выполнению дополнительных задач – например, использовать при взаимодействии с пользователем определённую лексику (скажем, банковский чат-бот должен общаться с клиентами в официальном тоне), распознавать на изображениях новые типы объектов (например, не только кошек, но и собак). Метод PERT защищает модель от эффекта катастрофического забывания, когда модель после переобучения «забывает» полученные при исходном обучении знания, а также от переоснащения (англ. overfitting, буквально «чрезмерное обучение»), когда модель корректно работает только с данными из обучающей выборки, но не может прогнозировать или делать выводы на основе новых данных. Среди алгоритмов практической реализации PERT можно выделить:
· адаптеры – между слоями исходной нейросети добавляются небольшие нейросетевые модули-адаптеры и далее при дообучении модели изменяются только их параметры;
· LoRA (Low-Rank Adaptation, адаптация с малым рангом) при которой веса исходной модели не меняются, а добавляются матрицы малого ранга, содержащие изменяемые в процессе дообучения параметры;
· QLoRA (Quantized Low-Rank Adaptation, квантованная адаптация с малым рангом), при которой веса исходной модели переводятся в более компактные представления, что позволяет получить существенный выигрыш в ресурсоёмкости при адаптации модели, жертвуя небольшим снижением её точности.
4) Метод генерации с дополненной выборкой (Retrieval-Augmented Generation, RAG) позволяет LLM обращаться к внешнему источнику (базе знаний) для актуализации информации. Разработчик включает в базу знаний релевантные и регулярно обновляемые сведения (например, данные о новых моделях товаров, новые техники кибератак или свежие научные статьи), а модель ищет в ней запрашиваемую пользователем информацию с помощью векторного (семантического) поиска, используя оценку косинусного сходства эмбеддингов. Использование проверенных баз знаний не только повышает доверие пользователей к ответам моделей, но и позволяет обеспечить безопасность данных, поскольку базы знаний не становятся частью обучающего датасета и сохраняются в исходном виде, а доступ модели к ним можно оперативно отозвать. При этом некоторые ИИ-ассистенты (например, Perplexity и Яндекс Нейро) могут в качестве внешнего источника использовать общедоступные интернет-ресурсы, а не подготовленные и очищенные от противоречивых данных внутренние базы знаний.
5) Дистилляция знаний (Knowledge Distillation) помогает сжимать модели для снижения ресурсоёмкости при сохранении производительности, что позволяет запускать модели на устройствах с невысокой вычислительной мощностью, включая смартфоны. При использовании метода дистилляции большая предобученная модель-учитель передаёт «знания» небольшой модели-студенту. Например, дистиллированная модель DistilBERT меньше на 40% и быстрее на 60% по сравнению с оригинальной моделью BERT, сохраняя при этом 97% её производительности. Метод дистилляции известен уже более 10 лет и даже стал причиной скандала в индустрии ИИ: Microsoft и OpenAI в начале 2025 года заявляли о своих подозрениях в адрес китайского стартапа DeepSeek, который в целях оптимизации своей модели R1 мог несанкционированно использовать метод дистилляции модели GPT-4 от OpenAI, а совсем недавно компания Anthropic обвинила три китайские ИИ-компании в использовании незаконной дистилляции.
6) Оптимизация гиперпараметров заключается в их экспериментальном подборе для обеспечения наиболее эффективной работы модели. Гиперпараметры модели – это такие её характеристики, как скорость обучения, количество слоёв, количество нейронов (узлов), используемая функция активации, число эпох (количество полных проходов всего датасета нейросетью), размер батчей (частей, на которые разделён датасет).
7) Применение оптимизаторов для ускорения обучения нейросетей, включая градиентный спуск (классический, стохастический, пакетный), импульс (включая импульс Нестерова, англ. Nesterov momentum), AdaGrad (адаптивный градиент), RMSProp (среднеквадратичное распространение), ADAM (адаптивная оценка импульса). Кроме того, некоторые разработчики LLM предлагают использовать собственные оптимизаторы – например, создатели китайской Open Source модели Kimi-K2 создали собственный оптимизатор MuonClip для повышения стабильности обучения.
После обучения нейросети и адаптации LLM можно переходить к инференсу (англ. inference) – практическому использованию модели для генерации текста, а в случае мультимодальной LLM – для распознавания изображений и речи, выявления аномалий и т.д. Когда модель начинает делать точные выводы о новых для неё данных, самостоятельно анализировать информацию и принимать решения, созда��ать новый контент, т.е. воспроизводить действия человека по его запросу-промпту, можно говорить о полноценной работе генеративного искусственного интеллекта (Generative AI, сокр. gen AI, генеративный ИИ). Если система ИИ умеет выполнить действия только в строго определенной области (например, воспринимать голосовые команды или распознавать объекты), то такая система называется «слабым (или узким) ИИ» (англ. Narrow AI). Если же система ИИ может понимать, самообучаться и применять знания в самых разных областях, превосходя возможности людей, то такая система называется «сильным (или общим) ИИ» (англ. Artificial General Intelligence, сокр. AGI).
Кроме генеративных ИИ-систем, существуют также:
· Предиктивные ИИ (англ. Predictive AI), которые позволяют предсказать будущие последствия некоторых текущих событий на основе исторических данных и используются, например, для дата-ориентированной бизнес-аналитики;
· Дискриминационные ИИ (англ. Discriminative AI), которые обучены различать данные или классифицировать объекты на изображениях;
· Рассуждающие ИИ (англ. Reasoning AI), которые самостоятельно выстраивают длинную внутреннюю цепочку рассуждений, проверяют себя, распознают свои ошибки, возвращаются на шаг назад при неверном решении, а также могут отобразить пользователю всю цепочку принятия решения;
· Агентные ИИ (англ. Agentic AI) представляют собой набор ИИ-агентов – автономных программ на базе ИИ, использующих текущий контекст, разговорную память, историю выполнения, полученные результаты и инструменты (API-интеграции с внешними программами и системами, взаимодействие с другими ИИ-агентами, доступ в интернет) для самостоятельного выполнения поставленных пользователем задач, например, совершения покупок в интернет-магазине, планирования маршрута путешествия и покупки билетов, написания и установки программы по текстовому описанию пользователя (т.н. vibe coding). В свою очередь, мультимодальные ИИ-агенты могут взаимодействовать с различными типами данных – не только с текстом, но и с изображениями, видеозаписями и речью, включая информацию, полученную со встроенных в устройство сенсоров (камер, микрофонов).
Автор: RRakhmetov
