Привет! Меня зовут Саша Журавлев. Я венчурный инвестор и основатель фонда. Мы инвестируем в технологические компании на стадиях Seed / Series A в США, а в своем телеграм-канале рассказываю, как вижу рынок и принимаю инвестиционные решения.
Продолжение этой статьи. Досмотрел выступления портфельных компаний Sequoia о том, как они строят внутри себя AI-модели. Понравилось выступление основателя Harvey (AI-компании для юристов) и нарратив из Moneyball, который он продвигал:
«Если у нас получится с такой командой и таким бюджетом создать что-то не хуже, чем у крупных лабораторий вроде Open AI и Anthropic, мы изменим игру».
Еще недавно эта мысль не звучала вообще, или, по крайней мере, не так ярко. А теперь мы слышим ее на мероприятии top-tier фонда, и, кажется, дальше она только будет набирать силу.
Фаундер также рассказал, как решили проблему конфиденциальных данных и почему он верит, что любой стартап сегодня может конкурировать с крупнейшими AI-лабораториями – без миллиардного бюджета. Мы с командой перевели видео и собрали в статью, читайте ниже.
Подход Harvey к собственному AI
Компании, которые строят application layer (создают продукты поверх фундаментальных моделей), изначально находятся в неравных условиях с ведущими AI-лабораториями. У OpenAI, Anthropic, Google DeepMind очевидно больше денег, исследователей, вычислительных мощностей и данных.
Поэтому альтернативное название подхода Harvey звучит так: «Как построить AI-лабораторию с ограниченным бюджетом».
Неравные условия не означают, что application layer стартапы не могут создавать собственные модели в своей профильной области. Для этого не нужно самостоятельно строить полноценную AI-лабораторию и всю инфраструктуру для обучения и запуска моделей: можно использовать готовые модели, инструменты и исследовательские команды, которые уже появились на рынке.
Именно так собственный отдел построили Harvey, AI-платформа для юристов. Когда компания появилась четыре года назад, большей части современной инфраструктуры для обучения и запуска моделей еще не существовало. Создавать ее самостоятельно было слишком дорого и долго, поэтому команда сосредоточилась на развитии продукта и go-to-market (стратегии вывода продукта на рынок и привлечения клиентов).
Сегодня появились сильные open-source модели, инструменты для постобучения и готовая инфраструктура. В Harvey считают, что благодаря этой экосистеме application layer стартапы могут конкурировать с ведущими AI-лабораториями и создавать модели frontier-уровня.
Подход Harvey состоит из трех этапов:
-
Создать бенчмарки для оценки моделей и собрать данные для обучения.
-
Использовать эти данные для постобучения модели.
-
Подключить модель к продукту через внешнего инфраструктурного провайдера.
Первый шаг: создать бенчмарк
Бенчмарк – это набор заданий с понятными критериями оценки. Модель выполняет эти задания, а команда проверяет качество ответов. Так можно сравнить разные модели и понять, улучшился ли результат после постобучения.
Первым бенчмарком Harvey стал Legal Agent Bench. В него вошли задачи юристов из крупных фирм. Например, подготовка документов для создания фонда и поиск судебных решений.
Затем Harvey создала датасет для работы с договорами. В нем есть контракты, правки и примеры переговоров. На этих данных AI-агенты учатся проверять условия и предлагать изменения.
Третий датасет имитирует проверку компании перед покупкой. Он включает тысячи договоров, отчетов и других документов общим объемом до 80 млн токенов. Модель должна изучить их, найти риски и заметить несоответствия.
Но у Harvey была серьезная проблема: компания не могла использовать данные клиентов для обучения моделей, поскольку юридические документы содержат конфиденциальную информацию и защищены адвокатской тайной.
Как обучать модели без доступа к данным клиентов
Во многих отраслях данные клиентов нельзя использовать для обучения моделей из-за требований конфиденциальности, это проблема не только для юридической ниши.
В случае Harvey, в открытом доступе можно найти итоговый договор о покупке компании, но документы, которые юристы анализировали при подготовке сделки, их переписка и ход переговоров остаются конфиденциальными. Поэтому модель увидит только готовый результат, но не данные и процесс, которые к нему привели.
Создать такие данные вручную практически невозможно, потому что нельзя попросить юристов придумать полный комплект документов для вымышленной сделки: он может включать до десяти тысяч связанных между собой договоров.
Решение нашлось следующее: в Harvey сгенерировали документы для вымышленных юридических сделок. Они похожи на настоящие, но не содержат данных клиентов, поэтому их можно использовать для обучения моделей.
Сначала юристы Harvey задают, какие ошибки должна найти модель. Например, противоречия между договорами или недостающий документ. Затем AI создает полный набор документов для вымышленной сделки, в который заранее заложены именно эти ошибки.
Затем документы дорабатывают, чтобы они были похожи на материалы реальной сделки. Юристы закладывают в них логику проверки: что искать и каким должен быть результат. Модель изучает документы и готовит отчет о рисках. Команда точно знает, какие ошибки были добавлены, поэтому может проверить ответ модели.
Так Harvey решила проблему курицы и яйца: юридические фирмы не давали доступ к своим данным без доказательств эффективности модели, но доказать ее без этих данных было невозможно. Теперь Harvey может сначала показать результат на документах для вымышленных сделок.
Чем сложнее датасет, тем дороже проверка
Когда датасет готов, его нужно превратить в среду для обучения с подкреплением. В случае Harvey, ответы модели проверяют более тысячи автоматических тестов, часть из которых использует другие LLM в роли оценщика.
Чем больше датасет и количество обучающих прогонов, тем дороже обходится такая проверка. Например, оценка 3 200 прогонов с помощью Opus стоила бы около $18 000, с GPT-5.5 около $11 000, а с Sonnet около $7 400. Поэтому Harvey искали способы снизить стоимость оценки. Использование DeepSeek позволило сократить стоимость до $305, а при проверке сразу нескольких ответов одним запросом – до $18.
Зачем Harvey публикует датасеты в открытом доступе
Еще одним важным решением Harvey стала публикация части датасетов и бенчмарков в открытом доступе. Сначала этот шаг казался спорным, поскольку разработками компании могли воспользоваться другие команды.
Но без массового тестирования сложно понять, насколько качественно собран датасет. Открытая публикация позволила исследователям находить ошибки и предлагать улучшения, а ведущим AI-лабораториям использовать бенчмарки Harvey для оценки новых моделей. В результате Legal Agent Bench стал отраслевым стандартом для сравнения моделей на юридических задачах.
Почему сейчас выгодно постобучать модели
Еще недавно постобучение open-source моделей быстро теряло смысл: выходила новая базовая модель и превосходила результат нескольких месяцев работы. Теперь ситуация изменилась, открытые LLM стали достаточно сильными. Их можно дополнительно обучить под конкретную задачу и довести до уровня лучших закрытых LLM.
Например, Harvey дообучила GLM 5.1, языковую модель с открытыми весами, и ее результат в юридических задачах вырос с 85,3% до 91,3%.
Чтобы не строить всю исследовательскую инфраструктуру самостоятельно, Harvey работает с неолабами. Это небольшие специализированные AI-лаборатории, которые помогают компаниям дообучать и запускать модели.
Каждая лаборатория отвечает за отдельное направление: Fireworks помогает выбирать оптимальную модель для каждого запроса и обучать юридические модели, Trajectory занимается постобучением и непрерывным обучением, Applied Compute дообучила GLM 5.1 для юридических задач. Baseten работает над обработкой очень длинного контекста, а Engram над корпоративным поиском и памятью моделей.
Harvey работает сразу с несколькими неолабами, потому что у каждой своя специализация и подход к исследованиям. Так компания может одновременно запускать больше экспериментов и быстрее накапливать собственную экспертизу.
При этом Harvey не собирается открывать все данные, потому что главная ценность заключается в том, чтобы настраивать AI-систему под данные и задачи каждой юридической фирмы. Искусственно созданные датасеты Harvey может публиковать открыто. А данные клиентов и модели, настроенные под их задачи, остаются закрытыми.
Цель Harvey – создать собственную модель для юридических задач. Ее обучают на синтетических данных вместе с внешними AI-лабораториями. Она будет не заменять закрытые LLM, а работать вместе с ними и брать на себя задачи, с которыми справляется лучше.
Как подготовиться к постобучению
Application layer стартапы до сих пор часто представляют как чат-продукты, которые обращаются к одной модели через API. На практике Harvey работает в 60 странах, развивает несколько продуктов, а ее клиенты предпочитают разные LLM.
Даже работа с закрытыми моделями требует сложной инфраструктуры. Harvey использует несколько моделей от разных разработчиков и должна учитывать их доступность в каждой стране. Если один провайдер недоступен, система переключает запрос на другого, чтобы продукт продолжал работать без сбоев и соблюдал SLA (гарантированный уровень доступности сервиса). Добавление open-source и собственных моделей делает эту систему еще сложнее.
Поэтому еще до постобучения нужно создать систему для оценки и запуска новых моделей.
Перед выводом новой модели в продакшен Harvey проверяет ее на нескольких уровнях:
-
проверяет модель на юридических бенчмарках, включая свои,
-
сравнивает ответы разных моделей с помощью слепого тестирования экспертами,
-
проверяет модель на ключевых сценариях использования продукта,
-
проводит отдельную ручную проверку продукта,
-
учитывает стоимость, задержку и доступность в нужных регионах.
Хороший результат на юридическом бенчмарке еще не гарантирует, что модель будет хорошо работать в конкретной функции продукта.
После запуска Harvey проводит A/B-тесты и отслеживает, как юристы используют новую модель, насколько стабильно она работает и сколько токенов расходует. Еще один важный источник информации Гейб в шутку называет «письмами от недовольных клиентов». Они помогают найти проблемы, которые не показали тесты.
Harvey проверяет все модели одинаково: и закрытые, и open-source, и дообученные внутри компании.
Такая система помогает понять, на каком этапе возникла проблема. Если модель не проходит бенчмарк, ее не запускают в продукте. Если она показывает хороший результат в тестах, но плохо работает в реальных сценариях, значит, бенчмарк не учел часть пользовательских задач или модель слишком под него подстроилась.
В результате возникает непрерывный цикл: модель запускают в продукте, собирают обратную связь, на ее основе улучшают обучающую среду и снова постобучают модель. С каждой итерацией она лучше справляется с задачами пользователей.
По мнению Гейба, со временем каждой компании придется выстроить собственную систему работы с AI: создавать данные, постобучать модели, запускать их в продукте и улучшать на основе обратной связи. Раньше такую инфраструктуру могли позволить себе только ведущие AI-лаборатории, но благодаря open-source моделям, неолабам и готовым инструментам она стала доступна стартапам.
Многие по-прежнему не верят, что такие компании смогут конкурировать с ведущими лабораториями. Но Гейб сравнивает Harvey с героями фильма «Человек, который изменил все»:
«Если мы победим с таким бюджетом и такой командой, мы изменим игру».
По его мнению, сегодня такая возможность есть не только у Harvey, но и у любых других стартапов, которые создают продукты на базе LLM. То есть почти у всех современных AI-стартапов.
Спасибо, что дочитали до конца!
Автор: exitsexist
