Фрилансер рассказал про контракт, в рамках которого за $35 тыс. развернёт ИИ-решение на Llama 3 70B

Реддитор поведал ^[1] сообществу n8n о своём недавно заключённом контракте. Как рассказывает фрилансер, он развернёт для юридической фирмы полноценное ИИ-решение на основе Llama 3 70B со стоимостью хостинга около $1200 в месяц.

ChatGPT и другие схожие продукты молниеносно завоевали мировой рынок. Свой первый миллион пользователей чат-бот от OpenAI набрал ^[2] всего за 5 дней, а уже через два месяца сайт ежемесячно открывали ^[3] 100 млн человек. На данный момент более 400 млн человек пользуются ^[4] ChatGPT раз в неделю или чаще. Согласно прикидке Google, 600 млн людей прибегают ^[5] к ИИ от OpenAI хотя бы раз в месяц.

Аналогичные показатели демонстрируют другие чат-боты на больших языковых моделях (БЯМ). Как хвастает ^[6] Alphabet, 400 млн человек хотя раз в месяц пользуются услугами сервисов Gemini — и это без учёта ещё 1,5 млрд людей, получающих ответы ИИ в поиске Google. Компания Anthropic, куда более мелкий игрок, никогда не раскрывала точную статистику, но оценки указывают ^[7], что у Claude десятки миллионов ежемесячных пользователей.

Подобную скорость сложно оценить без сравнения. TikTok, который часто ругают за механики вырабатывания зависимости, собирал первые 100 млн пользователей долго, почти год ^[8], а Instagram — 28 месяцев ^[9]. Чат-боты на БЯМ значительно популярней даже самых известных мобильных приложений.

Насколько быстро выросла аудитория этих чат-ботов, настолько же быстро компании ограничили своим сотрудникам возможность ими пользоваться. Делалось это по соображениям безопасности и управления чувствительными данными. Комплаенс и другие политики строго ограничивают передачу информации, чтобы соответствовать законодательству и договорным обязательствам.

Как убедилась Samsung, это не просто абстрактные соображения. Вскоре после появления ChatGPT в конце 2022 года в компании ввели полный запрет на ChatGPT. Но после онлайн-семинара 22 февраля 2023 на тему пользы ИИ было решено устроить послабления, пусть и в тестовом режиме — только для некоторых отделов. С подачи одного из вице-президентов компании Хан Ёнхи ChatGPT внутри Samsung разбанили 11 марта. Впрочем, в СМИ сообщалось ^[10], что часть департаментов общалась с БЯМ уже 9 числа.

Как выяснилось ^[11] в апреле 2023 года, всего за 20 дней сотрудники отдела полупроводников Samsung три раза умудрились допустить утечку данных. За неполные три недели самсоновцы копипастили в ChatGPT скрипты для промышленного оборудования, программный код для анализа дефектных микросхем и даже полную расшифровку совещания.

Вставлять подобные данные в чат-бота категорически нельзя: информация будет сохранена на серверах OpenAI, поэтому рискует попасть в датасеты обучения ^[12] и дообучения. Если БЯМ запомнит такие данные, то в дальнейшем сможет цитировать их. После опроса внутри Samsung запрет вернули ^[13] на место.

Не нужно думать, что южнокорейский пример уникален. Этот случай интересен только вниманием ^[14] СМИ — в других организациях вводили ровно такие же ограничения, просто без драматичных утечек. ChatGPT запретили использовать (1 ^[15], 2 ^[16]) везде: как технологические компании по типу Apple, Amazon или Verizon, так и в финансовые гиганты уровня JPMorgan Chase, Bank of America и Deutsche Bank. Речь идёт не только об организациях, ограниченных правилами GLBA ^[17] и PCI-DSS ^[18]. Также часто запрещено общаться с чужими чат-ботами в области здравоохранения, где применяется закон HIPAA ^[19]. Наконец, часто данные нельзя передавать куда попало из-за общих норм по типу GDPR ^[20] в Евросоюзе, 242-ФЗ ^[21] в России и PIPL ^[22] в Китае.

Однако ИИ бывает необходим, и в таких случаях разворачивают собственные продукты на БЯМ.

Стоимость подобных решений иногда явно уходит в миллионы долларов. К примеру, Microsoft развернула ^[23] GPT-4 в частном изолированном облаке Azure Government Top Secret для министерства обороны США. Стоимость проекта не называлась, однако известно, что Пентагон кормит ^[24] Google, Oracle, Amazon и Microsoft через контракты Joint Warfighting Cloud Capability, и суммарно на «совместную боевую облачную платформу» тратится почти миллиард долларов в год.

В последние месяцы БЯМ с открытыми веса́ми и лицензиями на коммерческое использование вплотную приблизились к проприетарным решениям. Как продемонстрировал пример одной мелкой американской студии из двух человек, собственный ИИ может позволить себе юридическая фирма среднего размера. В посте на подреддите /r/n8n фрилансер под ником eeko_systems (не связан с одноимённой компанией из Нигерии) рассказал ^[1], что получил контракт на частное ИИ-решение на $35 тыс.

Реддитор дал общее описание архитектуры, которую будет разворачивать. Хотя облачные компоненты присутствуют, сторонние API не используются, из-за чего удаётся добиться соответствия строгим политикам обработки юридических данных. Условно систему можно представить в виде трёх частей:

• Языковая модель Llama 3 в варианте на 70 млрд параметров, запущенная через библиотеку vLLM. Модель сжата квантованием. Его битность или схему eeko_systems не уточняет.

• Изолированный сервер в облаке CoreWeave с двумя Nvidia A100 (80 ГиБ памяти ^[25]). Ускорители дорогие — $2,21 в час, что в пересчёте на месяц составит порядка $1600. Однако с помощью резервирования и планирования стоимость хостинга после деплоя упадёт до порядка $1,2 тыс. в месяц. Предусмотрена возможность лёгкого переноса всех компонентов на собственные локальные серверы.

• Документы нужно разбивать на части и проводить к ним запросы. Необходимый для этого пайплайн RAG будет настроен через LlamaIndex с хранилищем в ChromaDB.

Планируемый продукт необходим для анализа юридических документов. Экспертная система сможет отвечать на сложные вопросы о юридических делах, судебных ходатайствах и контрактах. Реализована она будет как простейший чат на Streamlit ^[26] с JWT-авторизацией и журналом запросов для аудита.

Оркестрация событий планируется через n8n ^[27]. Конечно, речь идёт о Community Edition на собственном сервере, а не запросах через облачное API компании-разработчика. Телеметрия в Community Edition полностью отключается ^[28] установкой параметра N8N_ENABLE_TELEMETRY=false, но дополнительно сервер будет находиться за файрволом. В любом случае n8n должен обрабатывать только автоматизацию, а не сами чувствительные данные.

Именно через n8n будет настроен мониторинг расшаренного аккаунта Google Drive, в котором появляются новые документы. После этого документы будут конвертироваться, разбиваться на части и встраиваться в ChromaDB. За этим следует стадия запуска задачи по составлению краткого содержания, которое уйдёт на электронную почту и в Slack помощникам юристов.

Именно n8n поможет обработать идущие через форму или UI чата вопросы и отдать ответ от БЯМ. Дополнительно n8n журналирует информацию с целями комплаенса, составления отчётов и аудита. Что особенно важно, сотрудники клиента при желании смогут самостоятельно менять воркфлоу n8n.

Юридическая фирма не раскошелилась на услуги по поддержанию инфрасткрутуры, но как пишет ^[29] eeko_systems, он готов был заключить соответствующий договор за $2000 в месяц. Кстати, получить этот контракт помог обычный холодный звонок и 5 недель переговоров.

По результатам выгодного контракта реддитор сделал несколько выводов. Как отмечает eeko_systems, приватность и контроль данных стали новыми киллер-фичами. Многие организации отказываются от выгрузки данных в ChatGPT или в Claude из-за опасений о приватности и всерьёз рассматривают разворачивание собственного ИИ. При этом компании часто не желают делать это самостоятельно, желая видеть некое простое решение, которое развернёт кто-то ещё. Подобный опыт ^[30] реддитор планирует адаптировать в специальный продукт для юридических, финансовых и медицинских организаций.

Наконец, eeko_systems считает Llama 3 70B моделью, достаточной для реального использования, если БЯМ развернули правильно.