Защита конфиденциальных данных — одна из главных проблем при работе с LLM. По этой причине не рекомендуется работать с облачными сервисами и передавать туда корпоративные секреты, исходный код, приватные данные сотрудников, медицинскую информацию и прочее. Вендоры используют массив собранных данных для дальнейшего обучения своих моделей, то есть приватная информация де-факто попадает в открытый доступ.
В качестве решения проблемы предлагается полностью гомоморфное шифрование запросов (FHE). Оно позволяет организовать полностью зашифрованный канал между двумя пользователями (E2E) с сервером посредине между ними, на котором эти пользователи секретно обрабатывают свои зашифрованные данные. LLM-сервер получает зашифрованный запрос и выдаёт зашифрованный результат, но сам не может его расшифровать.
Гомоморфное шифрование
Гомоморфное шифрование — форма шифрования, позволяющая производить определённые математические действия с зашифрованным текстом и получать зашифрованный результат, который соответствует результату операций, выполненных с открытым текстом. Например, один человек может сложить два зашифрованных числа, не зная их, а другой человек — узнать зашифрованную сумму, не зная слагаемых. Гомоморфное шифрование позволяет оказывать различные услуги, не предоставляя открытые пользовательские данные для каждой услуги.
FHE использует криптографию на решётках (lattice-based cryptography), обучение с ошибками (Learning with errors, LWE) и внешне работает достаточно просто:
FHE по своей сути является математической трансформацией, как преобразование Фурье. Алгоритм защищён от квантовых вычислений и использует выводы обычных математических операций, какие применяются к незащищённым данным. Эти выводы дают такой же результат на зашифрованных данных.
Для функции f(х) в клиент-серверной архитектуре это выглядит так:
Полностью гомоморфная криптосистема (Fully Homomorphic Encryption, FHE) поддерживает выполнение двух операций: сложение и умножение (в обычном гомоморфном шифровании — только сложение).
В этой системе главная проблема — производительность, потому что вычисления FHE над зашифрованными данными в десятки тысяч раз медленнее, чем обычные вычисления на современных CPU и GPU. Одна из основных причин в том, что размер зашифрованного текста в FHE в десятки раз больше оригинала.
Проблемы производительности в FHE
Сложение и умножение целых чисел на FHE требуют примерно в 10 000 раз больше тактовых циклов. Обычный CPU не приспособлен для распараллеливания таких вычислений. В свою очередь, GPU превосходно справляются с параллельными операциями, но не оптимизированы на точность, а в FHE производятся операции с 64-битными числами.
Кроме того, в FHE применяются некоторые нестандартные математические схемы вроде автоморфизма с необычными операциями, а также специфическое подавление шума — бустраппинг, требующий больших вычислительных ресурсов.
Эти операции не эффективны на обычном CPU.
Хотя за последние годы разработаны умные алгоритмы и библиотеки, всё равно остаётся необходимость в аппаратном ускорителе.
Поэтому университеты и стартапы работают над специализированными чипами, которые могут ускорить вычисления.
В феврале 2026 года на Международной конференции по твердотельным схемам IEEE (ISSCC) в Сан-Франциско компания Intel и представила прототип микросхемы Heracles, ускоряющий вычисления FHE до 5000 раз по сравнению с лучшими серверными CPU. Также вышел прототип SDK.
Микросхема Heracles
По мнению специалистов, Heracles — это первый серверный ускоритель для шифрования FHE, который готов для массового производства и установки в серверах.
Другие экспериментальные чипы для FHE пока что спроектированы в размерах не более 10 мм², Heracles в 20 раз больше и построен с использованием передовой технологии FinFET с техпроцессом 3 нм. Чип располагается внутри корпуса с жидким охлаждением и двумя модулями памяти по 24 ГБ с высокой пропускной способностью — конфигурация, обычно встречающаяся только в графических процессорах для обучения ИИ.
Разработка Heracles началась пять лет назад по программе DARPA для ускорения FHE с использованием специализированного оборудования.
В центре микросхемы 64 вычислительных ядра («пары плиток» или tile-pairs) в сетке 8×8. Это вычислительные движки SIMD, предназначенные для параллельного выполнения полиномиальной математики, манипуляций и других операций FHE. Внутренняя 2D-сетевая топология соединяет плитки друг с другом с помощью широких, 512-байтных, шин.
Огромное количество данных потребовало подключения 48 ГБ высокоскоростной памяти и каналов с пропускной способностью 819 ГБ/с. На чипе установлено ещё 64 МБ кэша — немного больше, чем у GPU линейки Nvidia Hopper. Через кэш скорость обмена данными между ядрами 9,6 ТБ/с.
Чтобы вычисления и перемещение данных не мешали друг другу, Heracles одновременно выполняет три синхронизированных потока инструкций: I/O для перемещения данных на процессор и с него, один для перемещения данных внутри CPU и третий для математических операций.
По информации Intel, это значительно увеличивает скорость. Heracles на частоте 1,2 ГГц выполняет основное математическое преобразование FHE всего за 39 мкс, в 2355 раз быстрее, чем Intel Xeon 3,5 ГГц. По семи ключевым операциям Heracles от 1074 до 5547 раз быстрее.
Электронные голосования с шифрованием голосов
Один из примеров использования FHE — проверка результатов голосования на сервере. Конкретный избиратель может обратиться к зашифрованной БД со своим секретным ключом и проверить, что его голос на электронном голосовании учтён правильно. При этом сам владелец сервера не имеет даже теоретической возможности посмотреть, за кого проголосовал конкретный человек, потому что база зашифрована, также как возвращаемый ответ. На серверном процессоре Intel Xeon криптографические операции FHE займут 15 мс, а Heracles делает это за 14 мкс. Таким образом, проверка 100 млн бюллетеней занимает 17 дней на обычном CPU — и всего 23 минуты на Heracles.
Но ключевая задача FHE-ускорителей — создание зашифрованного ИИ, то есть работа в реальной облачной инфраструктуре ИИ. Кроме Intel, работу над такими ускорителями ведут и другие компании. Например, стартап Niobium Microsystems недавно [заключил сделку] на $6,9 млн с сеульской компанией по проектированию чипов Semifive для разработки FHE-ускорителя с использованием 8-нанометровой технологической платформы Samsung Foundry.
Над FHE-ускорителями работают и другие стартапы, включая Fabric Cryptography, Cornami и Optalysys.
Защита от облака
Как мы рассказывали в прошлой статье про FHE, полностью зашифрованные чат-сессии с LLM — не такое далёкое будущее. Например, стартапы вроде Duality обещают вскоре реализовать такие технологии для коммерческих (платных) клиентов. В прошлом году компания Duality продемонстрировала LLM с шифрованием FHE.
Пока что экспериментальный фреймворк поддерживает лишь очень маленькие LLM, и их приходится дополнительно настраивать для поддержки FHE. Конкретно система Duality работает на свободной библиотеке гомоморфного шифрования OpenFHE. Вполне возможно, что через несколько лет такие технологии станут доступны для широкой аудитории.
Главное, чтобы облачный LLM или любой другой «вычислительный движок» выполнял работу только над зашифрованными данными, не имея доступ к открытой информации.
Автор: GlobalSign_admin
