Компания Runway представила первую общую мировую модель наряду с масштабными обновлениями Gen-4.5
Компания Runway модернизировала модель Gen-4.5 и представила GWM-1, первую в своем роде универсальную мировую модель.
В недавно представленной версии Gen-4.5 [1] теперь есть встроенные функции генерации и редактирования звука, а также многокадровый монтаж, позволяющий пользователям вносить изменения в одну сцену, которые затем распространяются на всё видео.
Новый GWM-1 создает внутреннее представление окружающей среды для моделирования будущих событий в реальном времени. Построенный на архитектуре Gen-4.5, он генерирует видео покадрово, обеспечивая при этом интерактивное управление посредством таких входных данных, как движения камеры, команды робота или звук.
Модель мира поставляется в трех различных версиях: GWM Worlds для создания исследуемых локаций, GWM Avatars для генерации говорящих персонажей с реалистичной мимикой и синхронизацией губ, и GWM Robotics для создания синтетических обучающих данных для роботов. Компания Runway планирует в конечном итоге объединить эти возможности в единую унифицированную модель.
Лаборатории искусственного интеллекта соревнуются в создании моделей
Компания Runway – не единственная, кто стремится внедрить эту технологию. Рынок становится все более конкурентным.
Другие лаборатории, включая Google DeepMind [2] и новый стартап исследователя ИИ Яна Лекуна [3] , также разрабатывают модели окружающего мира. В отрасли эти системы рассматриваются как критически важный шаг вперед по сравнению с традиционными языковыми моделями, которым до сих пор не хватает фундаментального понимания физического мира [4] . Генеральный директор Google DeepMind Демис Хассабис подтвердил [5] , что создание этих моделей является центральным элементом стратегии компании по достижению общего искусственного интеллекта [6] (AGI).
В гонке также участвует World Labs, стартап, основанный Фэй-Фэй Ли, который привлек 230 миллионов долларов для разработки «больших моделей мира» (LWM) с пространственным интеллектом [7] . Компания недавно представила «Marble», [8] прототип, способный создавать устойчивые 3D-среды на основе мультимодальных запросов. Мюнхенский стартап Spaitial разрабатывает пространственные базовые модели, [9] предназначенные для генерации и интерпретации 3D-миров с согласованной физической динамикой.
Конкуренция продолжает расти. Стартапы Etched и Decart недавно представили проект «Oasis» [10] – систему, которая генерирует играбельные 3D-миры в стиле Minecraft в реальном времени со скоростью 20 кадров в секунду. Хотя она позволяет осуществлять базовые взаимодействия, такие как прыжки и подбор предметов, она по-прежнему сталкивается с проблемами стабильности – игроки иногда оказываются в разных локациях, просто повернувшись.
В августе китайский технологический гигант Tencent выпустил Hunyuan World Model 1.0 [11] – модель генеративного искусственного интеллекта с открытым исходным кодом, которая создает трехмерные виртуальные сцены на основе текстовых или графических подсказок.
Делегируйте часть рутинных задач вместе с BotHub! [12] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [13] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник [14]
Автор: MrRjxrby
Источник [15]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/23134
URLs in this post:
[1] недавно представленной версии Gen-4.5: https://the-decoder.com/runways-gen-4-5-edges-past-google-and-openai-in-text-to-video-benchmark/
[2] включая Google DeepMind: https://the-decoder.com/google-deepminds-genie-3-generates-interactive-3d-worlds-that-stay-consistent-for-multiple-minutes/
[3] новый стартап исследователя ИИ Яна Лекуна: https://the-decoder.com/lecun-calls-silicon-valley-hypnotized-by-genai-and-pivots-to-non-generative-world-models/
[4] которым до сих пор не хватает фундаментального понимания физического мира: https://the-decoder.com/richard-sutton-says-the-ai-industry-has-lost-its-way-by-ignoring-core-principles-of-intelligence/
[5] DeepMind Демис Хассабис подтвердил: https://the-decoder.com/google-deepmind-ceo-demis-hassabi-says-world-models-are-making-progress-toward-agi/
[6] интеллекта: http://www.braintools.ru/article/7605
[7] «больших моделей мира» (LWM) с пространственным интеллектом: https://the-decoder.com/startup-founded-by-godmother-of-ai-aims-to-give-machines-true-3d-understanding-of-the-world/
[8] недавно представила «Marble»,: https://the-decoder.com/the-scientist-who-taught-ai-to-see-now-wants-it-to-understand-space/
[9] пространственные базовые модели,: https://the-decoder.com/spaitial-pushes-generative-ai-to-understand-and-create-3d-structures-with-real-physical-properties/
[10] проект «Oasis»: https://the-decoder.com/ai-generated-game-oasis-now-turns-images-into-playable-3d-worlds/
[11] Tencent выпустил Hunyuan World Model 1.0: https://the-decoder.com/tencent-releases-hunyuan-world-model-1-0-lite-for-faster-resource-efficient-3d-scene-generation/
[12] BotHub!: https://bothub.chat/?utm_source=contentmarketing&utm_medium=habr&utm_campaign=news&utm_content=RUNWAY_COMPANY_INTRODUCED_THE_FIRST_GLOBAL_COMMON_MODEL_ALONG_WITH_LARGE_SCALE_GEN_4.5_UPDATES
[13] По ссылке: https://bothub.chat/?invitedBy=m_aGCkuyTgqllHCK0dUc7
[14] Источник: https://the-decoder.com/runway-unveils-first-general-world-model-alongside-major-gen-4-5-upgrades/
[15] Источник: https://habr.com/ru/companies/bothub/news/976318/?utm_source=habrahabr&utm_medium=rss&utm_campaign=976318
Нажмите здесь для печати.