Что такое гиперскейлер и в чем его неотъемлемая связь с облачными вычислениями?
На связи Павел Бузин, эксперт по ИИ, машинному обучению и точным наукам, и мой коллега Олег Аладышев, эксперт по суперкомпьютерам. И сегодня мы попробуем ответить на этот вопрос, а также рассказать, как развитие технологий позволило AWS, Google Cloud, MS Azure и российским Yandex Cloud и Cloud.ru стать крупнейшими облачными провайдерами.
Что такое гиперскейлер
Понятие услуги hyperscale computing и провайдера этих услуг, гиперскейлера, не устоялось в русскоязычной терминологии. В англоязычной же литературе понятие hyperscale трактуется так:
cпособность вычислительной архитектуры масштабировать предоставление вычислительного ресурса по требованию из облака. При этом есть и количественные требования, в том числе по числу серверов.
Облачные вычисления могут восприниматься как принципиально новая парадигма построения ИТ-инфраструктуры. Но это не так. Они являются результатом естественного развития телекоммуникаций и технологий виртуализации. Отсчет эры глобальных сетей и интернета ведут с появления ARPANET в 1969 году.
Гораздо менее известна история появления и развития технологии виртуализации, которая началась в 1967 году с появлением гипервизора IBM CP-40. Позже появились инструменты управления виртуальной инфраструктурой, такие как OpenStack, а затем — Kubernetes для оркестрации контейнеров.
Не забудем и про модель предоставления услуг self-service, которая позволила пользователям самостоятельно создавать задачи и управлять вычислительными ресурсами. Массовыми и популярными облачные вычисления сделали коммерческие провайдеры, и первым настоящим гиперскейлером стал Amazon Web Services, предложивший в 2019 году услуги суперкомпьютера Amazon EC2 Instance Cluster us-east-1a.
ВЦ и НИИ: как выглядели большие вычисления раньше
Идея использования разделяемых вычислительных ресурсов возникла почти одновременно с появлением компьютеров. Уже тогда существовали вычислительные центры с одним большим дорогим компьютером — фактически единым вычислителем, к которому обращались разные коллективы.
Пользователи приносили задачи, а центр выполнял расчеты по заказу. При этом роли были четко разделены: математики, физики или экономисты формулировали задачи, а программисты переводили алгоритмы в машинный код и подготавливали перфокарты.
Вычисления выполнялись последовательно, пакетами — без интерактивности, в режиме батч-обработки.
Первая мини-революция произошла в 1957–1960 годах. В это время появились языки программирования высокого уровня: Fortran (1957 год, фокус на инженерные и научные вычисления), Algol (1958 год) и COBOL (1960 год, финансовые вычисления). В результате у тех, кто непосредственно решал математические задачи, появились универсальные инструменты программирования, а также возможность работы непосредственно с компьютером.
В 1964 году IBM создает свое знаменитое семейство средств вычислительной техники IBM System/360. Помимо самих вычислителей, в них были системы хранения, ввода-вывода, коммуникационные подсистемы, терминальный доступ и другие новейшие технологии того времени.
Вторая важнейшая мини-революция произошла с появлением операционной системы UNIX в 1969 году. Создатели UNIX из самой известной научной лаборатории Bell Labs открыли эру многопроцессорных, многозадачных, многопользовательских компьютеров.
Малоизвестный факт, но в 1964 году был создан первый провайдер, который реализовал концепцию cloud-computing — Tymnet. Компания предоставляла широкому кругу пользователей доступ к вычислительным мощностям и ПО. Удаленный доступ к ресурсам работал через dial-up и уже впоследствии — по протоколу x.25.
Ресурсы предоставляли по модели time-sharing. Tymnet успешно развивался до более чем 100 точек присутствия во многих странах. В дальнейшем после ряда слияний и поглощений компания стала частью инфраструктуры глобальных провайдеров: сначала British Telecom, а дальше — MCI WorldCom и Verizon.
В СССР производство вычислительной техники развивалось в русле общемировой эволюции. Были свои большие компьютеры-мейнфреймы, в том числе самые известные БЭСМ-6, которых было выпущено несколько сотен штук.
Появление ЕС ЭВМ, совместимых с IBM System/360, положило начало массовому использованию вычислительных центров в различных научных учреждениях и ведомственных структурах. Часто такие вычислительные центры получали относительную самостоятельность и выделялись в отдельные структуры.
Вы наверняка слышали про ВЦ АН СССР на улице Вавилова, ГВЦ Госплана, ГВЦ МПС и другие. Многие из них предоставляли услуги вычислений подведомственным структурам.
Если отбросить романтику и мемы про советскую науку, вычислительные центры были очень практичной конструкцией. Собранная в одном месте дорогая и дефицитная вычислительная мощность позволяла решать большие и сложные задачи фундаментальной и прикладной науки и промышленности.
Вокруг нее строилась целая культура коллективного использования ресурса: очереди, регламенты, форматы заданий. Для исследователя это означало простую вещь: ему не нужно было владеть всей инфраструктурой лично — нужно было уметь получить к ней доступ и правильно поставить задачу машине.
По этой логике вычислительный центр был самым настоящим сервисом. Он обслуживал конкретных потребителей: научные коллективы, лаборатории, студентов. Все задачи запускались в пакетном режиме, написание и отладку программ вели буквально на бумаге. Кардинально ситуация изменилась дважды.
Первый раз — когда из-за появления персональных ЭВМ процесс разработки и отладки программ перенесли на персоналки.
И второй — когда появление контейнеризации унифицировало процесс запуска и выполнения задач пользователей.
Как мы вошли в эпоху облаков
Дальше историю обычно пересказывают коротко. Сначала появившиеся персональные компьютеры победили числом большие машины. В 1990-х появился и взрывным образом развился Web, поддержанный массовым доступом в интернет. А в последние пару десятилетий облака вернули нас к централизованной ИТ-инфраструктуре. На практике все было сложнее.
Чтобы дать наш взгляд на эту эволюцию, мы подготовили небольшую схему развития: от мейнфреймов развитие вычислительной техники пошло сразу в нескольких направлениях — мини-компьютеры, рабочие станции, персональные компьютеры, кластеры, виртуализация, публичное облако. И особо выделили отдельную HPC-ветку, которая стала и остается до сих пор основным направлением, так как закрывает задачи космоса, фундаментальной науки, предсказания погоды и т. д.
Разберем их по отдельности.
Одним из первых и ключевых направлений стали HPC (high-performance computing) — высокопроизводительные вычисления. В их основе лежал рост вычислительной мощности и развитие алгоритмов параллельной обработки. Большие компьютеры и суперкомпьютеры строятся как кластеры из большого числа однотипных серверов, так как для распараллеленных задач нужна однородная вычислительная среда. Ярким этапом этого направления стало активное появление суперкомпьютеров с GPU для обучения моделей искусственного интеллекта.
Параллельно развивалась и противоположная по духу тенденция — миниатюризация. Она привела к появлению и массовому распространению персональной техники — от настольных компьютеров и ноутбуков до планшетов, смартфонов и разнообразных устройств интернета вещей.
Отдельной веткой внутри этого направления стали рабочие станции — мощные персональные системы для профессиональных задач. Широкую известность они получили, в частности, благодаря использованию компьютеров Silicon Graphics при создании фильма «Титаник» в 1997 году. Другим заметным игроком была компания Sun Microsystems, впоследствии вошедшая в состав Oracle.
С развитием архитектур произошел и частичный возврат вычислений ближе к центру — в виде клиент-серверных моделей, где значительная часть обработки снова сосредоточилась на серверной стороне.
На этой базе выросло направление high-load — проектирование и эксплуатация систем, которые могут обслуживать огромное количество пользователей с минимальными задержками. У таких систем несколько особенностей: высокая доступность, асинхронная обработка запросов и гибкая масштабируемость под нагрузкой.
Дальнейший импульс дала эволюция виртуализации и технологий хранения данных, что и привело нас к появлению облачных сервисов. Почтовые системы, онлайн-кинотеатры, фотохранилища и множество других сервисов стали доступны как услуги, предоставляемые через интернет, — то, что сейчас кажется базой в ежедневной жизни: как рабочей, так и личной.
Все это было бы невозможно без стремительного развития телекоммуникаций. Высокоскоростной интернет и повсеместный мобильный доступ стали фундаментом, на котором держится вся современная цифровая среда.
Помимо этих крупных направлений, есть и множество специализированных областей: игровая индустрия, системы управления технологическими процессами, частные сети, системы доставки контента, майнинг и другие. Каждая из них по-своему влияет на общую картину развития технологий.
Если мы дополним облака высокопроизводительными компьютерами, то получим гиперскейлера как модель провайдера услуг. Так центры коллективного доступа к вычислительным ресурсам плавно трансформировались в новые подразделения: операторов связи и облачных провайдеров.
И в основе экономики всех этих бизнес-моделей лежит идея совместного использования вычислительных ресурсов.
Вернемся к вопросу, поставленному в заголовке статьи: что же общего между ВЦ в НИИ и гиперскейлером?
Отвечаем: однородная вычислительная среда, концентрация ресурса в одном месте, быстрые сети и максимум производительности на конкретной задаче, предоставление ресурса большому числу пользователей.
Поэтому классические суперкомпьютерные центры долго выглядели как отдельный мир, хотя использовали многие из тех же базовых компонентов: серверы, сети, хранилища, планировщики, сервисы доступа.
Внимательный читатель обязательно должен вспомнить и про grid-компьютинг. Те же большие задачи, те же требования к вычислительной мощности. Нюанс в том, что часть задач (гидрогазодинамика, предсказания погоды, моделирование транспортных потоков или машинного обучения) не только хорошо распараллеливаются, но и требуют синхронизации очень большого числа параметров и обмена данными после каждого цикла вычислений.
Grid-системы, как правило, не могут обмениваться большими объемами данных в силу архитектуры и географического распределения. Резюмируем это так: параллельные вычисления на суперкомпьютерах нужны для широких задач, выполняемых за короткое время, а grid-системы — для большого числа узких, самостоятельных задач, выполняемых непрерывно и долго.
Сегодня сильные стороны бизнес-модели гиперскейлера особенно заметно проявляются в задачах ИИ. Обучение большой модели — типичный HPC-сценарий: одна задача требует очень большого количества связанных ресурсов, высокой скорости обмена и длительного, непрерывного расчета. Но для пользователя процесс обучения выглядит как облачная услуга: запросил кластер, поднял среду, дообучил модель, сохранил результаты, масштабировался или остановил процесс. Внутри — суперкомпьютерная логика, снаружи — облачный опыт потребления.
Суперкомпьютерные центры довели до предела совершенства идею вычислений для одной большой задачи. Облака собрали под одним зонтиком сервисную упаковку, экономику и массовую доступность. А современная инфраструктура все чаще соединяет все три слоя в одной системе.
Что дальше: перспективы и облако «для всех»
У эволюции есть не только прошлое, но и будущее. И тут видны несколько важных тенденций.
Частные и гибридные облака
Первая тенденция — движение от больших публичных платформ к частным и гибридным моделям. Организации хотят получить удобство облака, но при этом сохранить контроль над данными, архитектурой, безопасностью и тем, где именно выполняется критичная нагрузка.
Сервисы так же важны, как и вычисления
Вторая тенденция касается не мощности как таковой, а упаковки под разные задачи. Исторически вычислительный центр давал доступ к машине. Современная облачная платформа дает не только процессорное время или GPU, но и весь окружающий слой: сети, хранилища, базы данных, автоматизацию, шаблоны развертывания, интерфейсы, безопасность, мониторинг и инструменты для прикладных команд.
На этом слое собираются разные режимы вычислений: тяжелые и долгие задачи (обучение больших моделей, научные расчеты), потоки быстрых запросов в большом объеме (поиск, инференс, прогноз погоды), транзакционные операции (банковские платежи) и задачи вроде резервного копирования.
Для каждого режима платформа подбирает свои схемы управления ресурсами, очередями и отказоустойчивостью. Именно такой сервисный слой делает инфраструктуру массовой и пригодной не только для инженеров ВЦ, но и для бизнеса, исследователей и продуктовых команд. Ценность централизованного ресурса все меньше связана просто с наличием железа и все больше — со способностью собрать вокруг него удобный, устойчивый и понятный сервис под нужные классы нагрузок.
Персональные облака
А вот тут выскажемся осторожно.
Потенциал у технологий гораздо больше, но потребителям банально не хватает фантазии и времени, чтобы придумывать новые классы задач. В результате обычно все ограничено хранилищами, почтой, видеонаблюдением и обучением. Как и в случае с ранними вычислительными центрами, проблема тут не только в доступности железа, но и в сложности автоматизации процесса — в необходимости связать вместе вычисления, данные, безопасность и понятный пользовательский сценарий.
Хотя сама идея именно персональных облаков для нас не выглядит фантастикой. Скорее это следующий уровень технологии, до которого рынок еще не дорос.
Автор: pbuzin
