Это девятая статья цикла «Наш ответ Гогену», с предыдущей можно ознакомиться здесь.
Рубеж 20 и 21 веков ознаменовался ожиданием наступления так называемой проблемы 2000 года, которая активно раскручивалась журналистами. Суть ее заключалась в том, что в некоторых ранних компьютерах и программах для них год в дате с целью экономии памяти хранился в виде двузначного числа, так что, даты после 31.12.1999 могли вычисляться неправильно. Это потенциально могло приводить к сбоям программного обеспечения, или даже техническим авариям на промышленных объектах. Более того, так как некоторые программы (например, планирования) оперировали с датами в будущем времени, проблема могла проявиться еще за несколько лет до «часа Ч».
По оценкам некоторых экономистов на решение описанной проблемы (тестирование компьютерных систем на устойчивость при работе с датами за пределами 20 века, переписывание соответствующих фрагментов кода в случае необходимости) во всем мире было в итоге потрачено около 300 млрд. долларов, причем, насколько было реально необходимо выделять на это столь солидную, особенно, по тем временам, сумму, единого мнения у специалистов до сих пор нет. Одни из них считают, что благодаря гигантскому объему проделанной работы удалось избежать катастрофических сценариев, другие – что большая часть выделенных средств была просто формально «освоена» бюджетами компаний IT сектора благодаря доверчивости их запуганных инвесторов. Но, как бы там не было на самом деле, ничего катастрофического в первые дни наступившего 2000 года действительно не случилось, хотя несколько мелких конфузов все же произошло. Например, во французском Нанте на табло одной из школ появилось приветствие к ученикам с отображением текущей даты, отсылающей к 1900 году.
Одним из символов нового века, в котором в полной мере раскрылся потенциал интернет технологий, стал ныне для одних харизматичный, в для других скандальный предприниматель в области хайтека Илон Маск. Бросив в 1995 году учебу в Стэнфорде ради карьеры в IT, он вместе с родным братом Кимбалом организовал свой первый стартап Zip2, который на волне бума дот‑комов быстро нашел инвесторов и был в итоге продан в 1999 году компании Compaq. Илон в итоге получил за принадлежащую ему долю акций свою первую более менее крупную сумму — 22 миллиона баксов. В том же году он основал другую компанию — X.com, которая вскоре объединилась с разработчиком сервиса для персональных денежных переводов фирмой Confinity. Объединенная компания, переименованная в PayPal, в октябре 2002 года была куплена eBay, а Илон получил за свою долю еще 180 млн долларов.
Теперь, имея на руках некоторый стартовый капитал, и, главное, бэкграунд руководителя, способного быстро поднимать стартапы, он, наконец, смог приступить к началу работы над исполнением своей главной детской мечты — работе над проектом, позволившим бы в будущем создать ракету нового типа, способную сделать реальностью полеты людей на Марс, а в перспективе, и создание на нем колонии. Но начинать космическую эпопею имело смысл с чего‑то более простого, и, в то же время, достаточно прибыльного, что бы иметь возможность достаточно долгосрочного финансирования упомянутого проекта, требовавшего весьма долгосрочных инвестиций, обкатывая одновременно необходимые новые технологии. Такой бизнес идеей стала разработка экономичных ракеты‑носителей, позволявших бы существенно удешевить запуски спутников на низкие орбиты, что, в свою очередь, облегчало их выгодное коммерческое использование.
Маск вложил в созданный им в 2002 году стартап SpaceX, который должен был заняться реализацией его космических планов, около половины всех денег, полученных им от своих предыдущих бизнес‑проектов. Его амбициозный план на первом этапе состоял в уменьшении стоимости пусков ни много, ни мало, в 10 раз! Разработанная новой компанией ракета‑носитель Falcon 1 была готова к марту 2006 года. Несмотря на то, что первая попытка запуска закончилась неудачей, НАСА в итоге согласилась выделить из своего бюджета дополнительно около 400 млн. долларов для продолжения разработки дешевых ракета‑носителей и нового космического корабля Dragon.
Вторая и третья попытки запуска Falcon 1 тоже окончились неудачно, проект уже был на грани закрытия, когда в сентябре 2008 года у компании получилось, наконец, осуществить первый успешный вывод полезной нагрузки в ближний космос. В 2010 году на смену Falcon 1 пришла более мощная ракета Falcon 9, позволившая доставлять на околоземную орбиту гораздо более тяжелые грузы, чем ее предшественница. Существенное удешевление пусков, в том числе, за счет возможности многократного использования первой ступени, помогло компании SpacaX начать в 2019 году развертывание глобальной группировки спутников связи StarLink, позволяющей обеспечивать пользователям сравнительно дешевый доступ к высокоскоростному широкополосному спутниковому интернету практически из любой точки земного шара.
Но и этого мятежному Маску, который твердо верил, что в 21 веке наиболее перспективными для бизнеса будут инновационные технологии, было мало, и он еще в 2003 году вложился так же в коммерциализацию электрического спортивного автомобиля tZero, разработанного компанией «AC Propulsion». Это соответствовало другой его юношеской бизнес идее — начав внедрение электрокаров с премиального сегмента рынка, постепенно, за счет снижения цен, сделать их широко доступными и для покупателей, принадлежащих к среднему классу. Он наделся, что это, в частности, приведет к ощутимому снижению в мире потребления одного из основных не возобновляемых энергетических ресурсов — нефти.
Новую компанию назвали Tesla Inc. в честь знаменитого американского изобретателя сербского происхождения Николо Теслы. Она одну за другой вывела на рынок сразу несколько моделей электрокаров — Roadster, Model S, Model X, Tesla Model Y, Model 3, и ряд других. Тем не менее, выйти на устойчивую прибыльность корпорации Tesla удалось лишь в 2020 году, причем, в настоящее время она испытывает сильное ценовое давление за счет появления на рынке более дешевых моделей электрокаров, в частности, из Китая.
Если условным человеком-символом первой четверти 21 века можно считать Илона Маска, то основным трендом этого периода времени можно считать переход к энергосберегающим технологиям, в том числе, за счет «поумнения» техники. Быстрое развитие высоких технологий в разных областях экономики привело к тому, что принято называть четвертой промышленной революцией. Электронные блоки управления стали встраиваться практически во все более‑менее сложное оборудование от автомобилей до электроплит и стиральных машин. Кроме того, основной документооборот предприятий быстро перешел в электронную форму, большинство библиотек с бумажными книгами оказалось на грани закрытия, электромеханические и аналоговые проигрывающие устройства аудио и видео быстро вымывались из ассортимента магазинов и торговых площадок.
Особенно бурно развивались области, связанные с ИИ. Так, американская компания Boston Dynamics уже в 2003 году представила первый прототип своего робота-собаки BigDog, разработанный по заказу Пентагона за счет финансирования со стороны уже упоминавшейся в предыдущей статье организации DARPA. Предполагалось, что она будет оказывать помощь солдатам в переносе тяжелых грузов, а они сами при этом смогут идти налегке, экономя силы.
В 2004 году в США было организовано первое соревнование беспилотных автомобилей DARPA Grand Challenge. Первый приз должна была получить команда, автомобиль которой первым доберется до финиша установленной организаторами дистанции длиной в 230 километров. И хотя даже самая продвинутая машина в итоге смогла самостоятельно преодолеть лишь путь длиной около 12 км, начало было положено. Уже через три года на аналогичных соревнованиях до финиша дистанции длиной 96 км. доехало сразу шесть автомобилей, лучший из которых потратил на это около четырех часов.
Сейчас данный результат совсем не впечатляет, но пару десятков лет назад это считалось действительно выдающимся достижением. Думаю, излишне напоминать, что в настоящее время роботакси Waymo, Tesla, WeRide и ряда других компаний стали уже достаточно привычными на улицах некоторых американских и китайских городов.
Ближе к концу первой четверти текущего века начало так же бурно развиваться направление универсальных роботов, особенно, андроидов. Идея, стоящая за этим развитием, по сути, достаточно проста — если сделать бота максимально приближенным к строению человеческого тела, он, по крайней мере, в теории, сможет выполнять любую физическую работу, которая пока возложена на человека, ибо вся инфраструктура как на большинстве современных предприятий, так и в условиях домашнего быта, заточена именно на ее использование людьми.
Но история дерзких попыток соорудить нечто, похожее на человека, то есть, в каком‑то смысле, повторить библейский сюжет, поставив себя на место Бога, уходит корнями, как минимум, в эпоху средневековья. Первые механические устройства, имитирующие внешний вид человека и способные имитировать некоторые его движения или элементы его деятельности создавались на основе идеи появившихся в то время часовых механизмов. Например, в 1495 году талантливый почти во всем, за что брался, Леонардо да Винчи, показал свое новое изобретение — фигуру закованного в латы рыцаря, которая после заводки соответствующего механизма могла, следуя заданной программе, двигаться и даже садиться. Это, по‑видимому, был первый в мире самостоятельно движущийся механизм, сделанный в виде подобия человека.
Ближе к концу 18 века потомственный часовщик Пьер Жаке‑Дро представил три свои так называемые автоматона, то есть, человеческие фигуры, способные выполнять определенные механические действия — исполнять музыкальные произведения, рисовать простые рисунки и писать тексты от руки. Особенно продвинутым был манекен мальчика‑писаря, так как написанный им текст длиной в 40 символов, включая пробелы, можно было задавать (по сути, программировать) произвольно. Для сравнения, например, манекен «девушка‑музыкант» мог исполнять лишь пять заранее предусмотренных мелодий. Подробнее про упомянутые автоматоны можно почитать в одной из статей на Хабре.
Что касается достаточно антропоморфных роботов в полном смысле этого слова, то, как это обычно и бывает, четкую границу провести невозможно, но многие авторы указывают на детище японского профессора Като Итиро WABOT-1, которое можно рассматривать как нулевое приближение к указанной цели. На разработку данного устройства, законченного к 1973 году, у профессора ушло пять лет. Бот мог очень неспешно передвигаться на двух ногах, переносить небольшие предметы с места на место, обладал примитивным зрением, позволявшим ему обходить препятствия, и, кроме того, мог так поддерживать незамысловатые диалоги на японском.
Можно отметить, что Япония вообще была лидером по разработке как промышленных, так и антропоморфных роботов практически вплоть до конца первой декады 21 века. Некоторые авторы считают, что этому дополнительно способствовало распространение в Японии буддизма, так как данная религия предполагает возможность существование души даже у объектов неживой материи, что во многом решало определенные проблемы нравственно-психологического характера, которые могли возникнуть при попытке создать некое подобие человека, например, у ученых, исповедующих христианство.
Как бы там ни было, но в 80-е годы прошлого века к разработке своих собственных андроидов приступили сразу две мощные японские корпорации — Hitachi и Honda. Улучшение в этой области следующие несколько десятилетий шло довольно медленно, и какое‑то время даже казалось, что направление зашло в тупик и дальше экспериментальных образцов дело еще долго так и не дойдет. Например, Хонда начиная с 1986 года обновляла топовую модель своих андроидов, в среднем, раз в два‑три года, но даже и в 2014 году их последняя на тот момент времени разработка — робот Asimo, названный в честь известного американского писателя‑фантаста, автора знаменитых «трех законов робототехники» Айзека Азимова, все еще обладал достаточно ограниченными возможностями.
В частности, он мог осторожно подниматься и опускаться по ступенькам лестницы, передвигаться по ровной поверхности со скоростью до 7 км/ч, понимать некоторые простые жесты и общаться с пользователями на английском, японском или китайском языке, узнавать в лицо до десяти человек и так далее. При этом, при попытке его использования для доставки даже совсем легких предметов массой порядка 1 кг скорость сабжа сразу уменьшалась до совсем черепашьих 1.6 км/ч. Понятно, что при себестоимости его производства, измеряемой суммой, приближающейся к миллиону долларов, большого количества покупателей на него не находилось. Всего было выпушено лишь немногими более сотни экземпляров, использовавшихся, главным образом, на презентациях. В 2018 году Хонда официально объявила, что прекращает соответствующее направление разработки.
Судя по всему, одним из стимулов для подобного решения были достижения конкурентов, в частности, уже упомянутой выше американской компании Boston Dynamics, которая, потренировавшись на роботах‑собаках, с самого начала разрабатываемых для реальных приложений (этакий продвинутый механический мул), к тому времени уже показала и своего первого андроида Atlas, способного бегать, прыгать и даже делать сальто. На его фоне Asimo выглядел просто тихоходным старичком с замедленной реакцией.
Буквально всего лишь лет пять назад настоящий бум проектирования и производства андроидных роботов начался в Китае. Этому, по‑видимому, поспособствовало сразу несколько факторов — резкое удешевление аппаратного обеспечения для нейросетей и улучшение качества работы их самих (головокружительный успех технологий глубокого обучения продемонстрировал, что они имеют большой потенциал не только в области языковых моделей), общий достаточно высокий технологический уровень, достигнутый к тому времени в китайской промышленности, необходимость оперативного решения проблемы быстрого старения населения.
На сегодняшний день по соотношению качества и цены китайские изделия в этой области находятся среди лидеров мирового рынка. Например, корпорация Unitree Robotics выпускает целую линейку всевозможных андроидов, некоторые из которых стоят дешевле даже самых бюджетных авто. Другой пример — компания UBTech универсальные антропоморфные роботы которой серии Walker могут работать автономно практически 24/7, так как способны самостоятельно менять свою разрядившуюся батарею, ставя ее на зарядку, а себе взамен устанавливая уже заряженную.
Впрочем, и американцы не собираются сдавать данный рынок без боя — уже упомянутая выше компания Boston Dinamics, недавно, кстати, купленная южнокорейским автомобильным концерном Hyundai Motor, представила последнюю модель своего робота Atlas. Он предназначен, в основном, для работы на фабриках и сборочных цехах, может быть быстро адаптирован к новым задачам, и обладает изрядной физической силой (способен оперировать объектами весом до 30 кг.). При его обучении активно использовался симулятор различных физических сред, что позволило существенно ускорить и удешевить данный процесс.
Другая американская компания Figure AI, активно сотрудничающая с Open AI с целью более гибкой адаптации своих роботов для функционирования в условиях реального физического мира, уже тестирует свои модели в различных производственных задачах. Например, недавно несколько ее андроидов Figure 03 отработали на сортировке посылок 200 часов подряд, доказав жизнеспособность их подхода в приближенных к реальным условиях (на видео ниже репортаж в прямом эфире велся более трех часов, так что смотреть его до конца не обязательно, если что )).
Не сдается без боя и неугомонный Илон Маск, продолжающий совершенствовать своего Оптимуса с целью довести данного бота до того состояния, при котором его можно будет запускать в серию. По его планам, этот андроид через несколько лет должен стать основным массовым продуктом компании Tesla в сегменте изделий стоимостью в несколько десятков тысяч долларов, заменив, таким образом, электрокар Tesla, который в последние годы испытывает все более сильное давление со стороны конкурентов.
Одним из самых символических событий обсуждаемого периода стала победа программы AlphaGo, созданной компанией DeepMind, в матче из пяти партий над считавшимся в то время одним из лучших в мире профессиональных игроков в го Ли Седолем. После того, как стало ясно, что даже профессиональные шахматисты уже не могут играть на равных с компьютерами, некоторые исследователи стали рассматривать именно го как пример игры, в которой интуиция, свойственная человеку, еще достаточно долго будет позволять ему брать верх над любой программой. В го дерево перебора вариантов растет по мере увеличения его глубины гораздо быстрее, чем в шахматах, и по этой причине гандикап компьютера в скорости расчетов имеет меньшее значение, а оценка позиции, соответственно, гораздо большее.
Тем не менее, обучившись на множестве партий, сыгранных сильными игроками, AlphaGo, по видимому, смог самостоятельно нащупать те признаки, которые интуитивно используют при оценке позиции белковые игроки. В результате, в состоявшемся в 2016 году матче Ли Седоль потерпел разгромное поражение со счетом 1:4. При этом, наиболее известным стал 37-й ход AlpaGo во второй партии, который стал совершенно неожиданным для всех экспертов и полностью перевернул ситуацию на доске.
Но компания DeepMind и не думала останавливаться. Обычно класс способного игрока быстро растет именно тогда, когда он играет с более сильными соперниками. Но все партии лучших игроков к тому времени уже были использованы при обучении. Выход был найден в том, что бы заставить программу играть саму с собой. Новая версия, которую назвали AlphaGo Zero, непрерывно играя сама с собой уже через три дня (само)обучилась настолько, что превысила уровень игры версии, победившей год назад Ли Седоля.
Но и этого разработчикам DeepMind показалось мало. В конце 2017 года они выпустили программу AlphaZero, способную после самообучения играть, и, по утверждениям компании, побеждать, лучшие на тот период времени соответствующие специализированные программы сразу в трех играх – го, шахматах и сёги. В 2019 году вышла программа MuZero которая кроме игр, перечисленных выше, могла играть так же в 57 аркад, выпущенных в свое время компанией Atari.
В том же 2019 году компания релизнула программу AlphaStar, предназначенную для соревнования с людьми в популярной стратегической видеоигре, происходящей в масштабе реального времени StarCraft II. AlphaStar смогла достигнуть в этой игре, проходящей по категории киберспорта, уровня грандмастера, что означает, что она по рейтингу входит в состав примерно топ 0,2% из числа активных игроков. В то же время, некоторые специалисты считают, что условия были не совсем равными, в частности, люди физически не могут реагировать на изменение ситуации на игровом поле с такой же скоростью реакции, что и аппаратно-программный комплекс.
В последние годы DeepMind сконцентрировалась на проекте AlphaFold цель которого – предсказание структуры протеинов по их аминокислотной последовательности. Последняя на сегодняшний день версия программы AlphaFold, выпущенная в 2024 году, уже способна предсказывать структуру не только отдельных белков, но и целых протеиновых комплексов вместе с взаимодействующими с ними ДНК, РНК, коферментами, включая металлы, и даже посттрансляционными модификациями отдельных аминокислот. В 2024 году главные руководители разработки AlphaFold Демис Хассабис и Джон Джампер были удостоены Нобелевской премии по химии.
Наконец, самым отличительным признаком недавно закончившейся первой четверти 21 века можно считать появление давно ожидаемых моделей ИИ по своим умственным способностям, хотя и с известными оговорками, приближающихся, а в некоторых областях и превосходящих среднестатистического человека. Это стало возможным благодаря новой архитектуре нейросетей — трансформерам. Появление данной архитектуры принято отсчитывать от выхода знаменитой статьи 2017 когда с названием «Внимание, это все, что вам нужно», написанной группой сотрудников корпорации Гугл.
Новая технология была основана на идеях, в чем‑то схожих с рекуррентными сетями, но обладала при этом рядом преимуществ, одним из которых была возможность эффективного распараллеливания вычислений. Как и рекуррентные сети, трансформеры принимают на вход последовательность объектов, коими в больших языковых моделях выступают символы текста, сразу же трансформирующиеся в объекты более высокого уровня — токены. Но в отличии от алгоритмов, использующихся в рекуррентных сетях, процесс вычислений для полной последовательности объектов на входе осуществляется в трансформерах не последовательно — слева направо, а одновременно для всей последовательности от начала и до конца. Это возможно благодаря механизму внимания, обеспечивающему учет связи между наиболее важными токенами даже если они расположены в последовательности достаточно далеко друг от друга. При этом, благодаря распараллеливанию вычислений на большом количестве GPU скорость обработки возрастает на порядки. Подробнее про архитектуру трансформеров можно почитать в соответсвующей статье на Хабре.
Сама идея механизма внимания основана на том, что входная последовательность рассматривается одновременно с нескольких альтернативных «точек зрения» (в оригинальной статье они называются «головами»), каждая из которых обращает внимание на свои специфические признаки и кластеры, что позволяет в итоге сгенерировать сбалансированный и более объективный ответ. Исходно предполагалось, что данный метод будет применяться, в основном, для таких задач, как улучшения качества машинного перевода с одного языка на другой, и анализа текстов, но в итоге он, во многом, неожиданно для самих разработчиков, оказался эффективным и в других областях, в частности, в построении больших языковых моделей для продвинутых чатботов.
Для этого оказалось достаточно добавить в модель генерацию следующего токена, осуществляемую в результате стохастического выбора на основе вычисленной моделью соответствующей функции распределения и вновь подать полученную (увеличенную на один токен) последовательность на вход модели. При желании этот процесс можно итерационно повторять многократно генерируя, тем самым, новую информацию от лица собеседника.
Одним из основных преимуществ нового метода оказалась возможность использования при обучении огромных объемов текстовой информации, которые к тому времени уже были введены в сеть как физическими лицами, так и организациями. Достаточно быстро выяснилось, что при увеличении объема обучающей выборки и количества параметров, которыми оперирует модель (эти параметры условно соответствуют межнейронным связям коры головного мозга) диалоги с моделью становятся все более осмысленными и в определенной степени похожими на диалоги с живыми людьми, как бы бросая вызов пресловутому тесту Тьюринга.
Вначале прогресс моделей был незаметен широкой публике и обсуждался, в основном, на специализированных форумах. Наибольшего успеха при этом достиг стартап OpenAI со своей линейкой моделей GPT (это аббревиатура от полного названия данного семейства нейросетей — «Generative Pre‑trained Transformer»). Начав в июне 2018 года с выпуска модели GPT-1, имевшей 118 миллионов параметров, компания начала в бешенном темпе клепать все более продвинутые версии. Всего через пол года, в феврале 2019, была выпущена GPT-2 обученная на примерно на порядок большем объеме данных по сравнению с первой версией и использовавшая для генерации ответов уже полтора миллиарда параметров.
В мае 2020 года состоялся релиз следующей версии с названием GPT-3. Количество параметров выросло до 175 миллиардов (итого, рост этого показателя на три (!) порядка менее, чем за два года). Пожалуй, эта была первая модель, о которой в специализированных группах айтишников заговорили как о реальном феномене. Она действительно была собеседником, с которым можно было реально поговорить почти на любые темы от науки и искусства до здоровья и проблем в личной жизни. Продвижению модели среди IT специалистов активно способствовало так же то, что уже в июне 2020 года OpenAI открыла для взаимодействия с этой LLM бесплатный доступ через API. Всего за несколько месяцев компания получила несколько десятков тысяч запросов на подключение к нему.
Тем не менее, широкая общественность узнала о новой прикольной фиче лишь с выходом в 2022 году доработанной версии движка — GPT 3.5, которая вскоре и легла в основу ставшего доступным всем желающим чат‑бота ChatGPT. То, что произошло дальше, можно смело назвать взрывом. Всего через два месяца после его релиза число активных пользователей достигло 100 млн. человек, через два года — 300 млн., а в настоящее время, то есть, примерно через три года и девять месяцев, оно уже составляет около миллиарда. IT индустрия, да, по-видимому, и любая другая индустрия за всю историю человечества еще не видела таких бешенных темпов.
Естественно, что феноменальный успех GPT не мог не вызвать ответа его конкурентов. Уже в конце 2023 года Google выкатил Gemini, а Маск в лице своего SpaceX AI – Grok. Еще быстрее отреагировал Anthropic, который основала в 2021 году группа ушедших ранее из Open AI ведущих исследователей. Релиз стартовой модели этой компании с названием Claude состоялся уже в марте 2023 года.
Ответ Китая тоже не заставил себя долго ждать – первая версия модели DeepSeek от компании с одноименным названием вышла ближе к концу 2023 года. При этом, не имея, в отличии от американских компаний, возможности доступа к самым передовым аппаратным ресурсам, китайские разработчики за счет оптимизации своей модели смогли, тем не менее, существенно приблизиться к их результатам. Кроме того, у DeepSeek пока нет платных версий, а цена доступа к модели через API выгодно отличается от прайс листа их американских конкурентов сравнимого уровня, что для многих пользователей тоже является существенным аргументом при выборе для профессионального использования именно голубого кита.
Важным свойством, по которому различаются модели, является, в том числе, открытость их весов. Например, у упомянутой выше DeepSeek, в отличии от практически всех американских топ-моделей, веса параметров являются открытыми и их может скачать любой желающий. Другой пример компании, выпускающей модели с открытыми весами – французская Mistral AI. Она больше ориентирована на разработку не универсальных, а специализированных моделей, заточенных под конкретные задачи такие, как, например, распознавание речи в реальном масштабе времени. Некоторые модели, выпускаемые Mistral, специально сделаны такими компактными, так, что они могут быть запущены даже локально на мобильном телефоне.
Наконец, еще одним направлением развития ИИ буквально в последние пару лет стало дообучение уже выпущенных моделей под конкретные задачи (файнтюнинг) и создание агентов, использующих одну или несколько LLM для выполнения вместо пользователя определенных действий, таких как, например, покупка билетов на самолет, бронирование столика в ресторане, заказ доставки необходимых продуктов и т.д.
Итак, мы пробежались галопом от первых живых клеток до наших дней. В последней части я попытаюсь предположить, что нас ждет в ближайшие годы.
Автор: Combinator_30
