Как сократить затраты на системы ИИ: новый метод исследователей Zoom Communications

Команда исследователей из Zoom Communications ^[1] разработала революционную технологию, которая может значительно сократить затраты и вычислительные ресурсы, необходимые для систем ИИ при решении сложных задач, потенциально изменив подход предприятий к масштабному внедрению ИИ.

Метод, названный цепочкой черновиков ^[2] (CoD), позволяет LLM решать задачи с минимальным количеством слов — используя всего 7,6% текста, необходимого для современных методов, при этом сохраняя или даже повышая точность. Результаты были опубликованы в статье на прошлой неделе в исследовательском репозитории arXiv.

«Сокращая количество слов и сосредотачиваясь на важных идеях, CoD по точности соответствует или превосходит CoT (цепочку рассуждений), при этом используя всего 7,6% токенов, что значительно снижает затраты и время выполнения различных задач по логическому мышлению», — пишут авторы во главе с Силей Сюй, исследователем из Zoom.

CoD черпает вдохновение в том, как люди решают сложные задачи. Вместо того чтобы проговаривать каждую деталь при решении математической задачи или логической головоломки, люди обычно записывают только основную информацию в сокращённом виде.

«При решении сложных задач, будь то математические задачи, написание эссе или программирование, мы часто записываем только важную информацию, которая помогает нам продвигаться вперёд, — объясняют исследователи. — Имитируя такое поведение ^[3], LLM могут сосредоточиться на поиске решений без лишних рассуждений».

Команда протестировала свой подход на многочисленных контрольных заданиях, включая арифметические вычисления (GSM8k ^[4]), рассуждения на основе здравого смысла (понимание дат и спортивных событий) и символические вычисления (задачи с подбрасыванием монетки).

В одном показательном примере, когда Claude 3.5 Sonnet ^[5] обрабатывал вопросы, связанные со спортом, подход CoD сократил среднее количество символов с 189,4 до 14,3 (на 92,4%) и одновременно повысил точность с 93,2% до 97,3%.

«Для предприятия, обрабатывающего 1 миллион логических запросов в месяц, CoD может сократить расходы с 3800 долларов (CoT) до 760 долларов, сэкономив более 3000 долларов в месяц», — пишет исследователь ИИ Аджит Валлат Прабхакар ^[6] в анализе статьи.

Исследование проводится в критический момент для внедрения ИИ на предприятиях. По мере того как компании всё больше интегрируют сложные системы ИИ в свою деятельность, затраты на вычисления и время отклика становятся серьёзными препятствиями для повсеместного внедрения.

Современные передовые методы логического вывода, такие как (CoT ^[7]), представленные в 2022 году, значительно улучшили способность ИИ решать сложные задачи, разбивая их на последовательные этапы. Но этот подход приводит к длинным объяснениям, которые требуют значительных вычислительных ресурсов и увеличивают время отклика.

«Многословность запросов CoT приводит к значительным вычислительным нагрузкам, увеличению задержки и росту операционных расходов», — пишет Прабхакар.

Что делает CoD особенно привлекательным ^[8] для предприятий, так это простота внедрения. В отличие от многих достижений в области ИИ, которые требуют дорогостоящего переобучения моделей или изменений в архитектуре, CoD можно сразу внедрить с помощью существующих моделей, внеся простые изменения.

«Организации, уже использующие CoT, могут перейти на CoD с помощью простой модификации запроса», — объясняет Прабхакар.

Этот метод может оказаться особенно полезным для приложений, чувствительных к задержкам, таких как служба поддержки клиентов в режиме реального времени, мобильный искусственный интеллект ^[9], образовательные инструменты и финансовые сервисы, где даже небольшие задержки могут существенно повлиять на качество обслуживания пользователей.

Однако отраслевые эксперты предполагают, что последствия выходят за рамки экономии средств. Сделав продвинутые алгоритмы ИИ более доступными и недорогими, CoD может демократизировать доступ к сложным возможностям ИИ для небольших организаций и сред с ограниченными ресурсами.

По мере развития систем искусственного интеллекта такие методы, как CoD, всё больше внимания ^[10] уделяют эффективности наряду с базовыми возможностями. Для предприятий, работающих в быстро меняющейся среде искусственного интеллекта, такая оптимизация может оказаться столь же ценной, как и усовершенствование самих базовых моделей.

«По мере развития моделей ИИ оптимизация эффективности мышления ^[11] будет иметь такое же важное значение, как и улучшение их базовых возможностей», — заключил Прабхакар.

Исследовательский код и данные были сделаны общедоступными ^[12] на GitHub, что позволяет организациям внедрять и тестировать этот подход в своих собственных системах ИИ.

Источник ^[13]