Стартап Thinking Machines Lab, основанный известными исследователями из OpenAI, представил свой первый продукт — инструмент Tinker, который автоматизирует создание пользовательских передовых моделей искусственного интеллекта.
«Мы уверены, что Tinker поможет исследователям и разработчикам экспериментировать с моделями и сделает передовые возможности гораздо более доступными для всех», — заявила соучредитель и генеральный директор Thinking Machines Мира Мурати.
Крупные компании и академические лаборатории уже занимаются тонкой настройкой моделей ИИ с открытым исходным кодом для создания вариантов, оптимизированных для конкретных задач. Обычно эта работа включает в себя приобретение кластеров графических процессоров и управление ими, а также использование различных программных инструментов для обеспечения стабильности и эффективности крупномасштабных обучающих запусков. Tinker обещает позволить большему числу компаний, исследователей и даже любителей тонко настраивать свои собственные модели ИИ, автоматизируя большую часть этой работы.
По сути, команда делает ставку на то, что помощь людям в тонкой настройке передовых моделей станет следующим большим шагом в развитии ИИ. По словам бета-тестеров, Tinker мощнее и удобнее в использовании по сравнению с аналогичными инструментами на рынке. Мурати говорит, что Thinking Machines Lab надеется развеять мифы о работе, связанной с настройкой самых мощных в мире моделей ИИ. «Мы делаем то, что в противном случае было бы передовой возможностью, доступной для всех, и это полностью меняет правила игры», — отмечает она.
«Есть много секретной магии, но мы даем людям полный контроль над циклом обучения. Мы абстрагируемся от деталей распределённого обучения, но по-прежнему предоставляем людям полный контроль над данными и алгоритмами», — пояснил ветеран OpenAI Джон Шульман.
Tinker позволяет тонко настраивать ряд больших и малых моделей с открытыми весами, включая такие модели, такие как Qwen-235B-A22B.
Разработчики задействовали LoRA, чтобы использовать один и тот же пул вычислительных ресурсов для нескольких запусков обучения, снижая затраты.
API Tinker предоставляет низкоуровневые примитивы, такие как forward_backward и sample, которые можно использовать для выражения наиболее распространённых методов постобучения. Кроме того, доступна библиотека с открытым исходным кодом Tinker Cookbook с современными реализациями методов постобучения, работающих поверх API Tinker.
Команда из Принстона уже обучила через инструмент модель, которая доказывает математические теоремы, а исследователи Стэнфорда доработала модель для решения задач по химии.
Tinker пока находится в стадии закрытого бета-тестирования, которая ориентирована на исследователей и разработчиков. Изначально доступ к инструменту будет бесплатным, но в ближайшие недели разработчики объявят тарифы.
Мурати провела 6,5 лет в OpenAI, где она работала над разработкой ChatGPT и другими исследовательскими инициативами в области ИИ. Специалист была ненадолго назначена временным генеральным директором в ноябре 2023 года после того, как совет директоров OpenAI внезапно уволил Сэма Альтмана. После восстановления Альтмана на посту гендиректора Мурати возобновила свою работу в качестве технического директора. В сентябре 2024 года она покинула OpenAI, а в феврале решила основать стартап в области ИИ, целью которого станет создание более доступных и адаптируемых интеллектуальных систем. Мурати считает, что создание индивидуального ИИ для конкретных бизнес-задач более ценно, чем гонка за сверхразумным ИИ.
Автор: maybe_elf
