- BrainTools - https://www.braintools.ru -

Google расширила восьмое поколение своих ИИ-ускорителей двумя новыми системами — TPU 8tx и TPU 8i Max. Первая предназначена [1] прежде всего для работы с конфиденциальными данными, а вторая — для моделей и ИИ-агентов, которым приходится обрабатывать очень большие объемы контекста.
TPU 8tx построена на том же чипе, что и TPU 8t, однако конфигурацию системы заметно изменили. Google использовала серверные процессоры AMD EPYCTM пятого поколения и добавила аппаратную защиту данных во время вычислений. Обычно информация шифруется при хранении и передаче, но для обработки её приходится расшифровывать в оперативной памяти [2]. TPU 8tx позволяет сохранить изоляцию чувствительных данных и весов модели даже во время работы.
Google рассчитывает использовать такие системы в компаниях и государственных организациях, которым приходится запускать собственные модели на закрытых данных. На одном и том же оборудовании можно выполнять обычные запросы, дообучать модели на внутренних данных, заниматься дистилляцией и обучением [3] агентов с подкреплением [4].
В TPU 8tx также используется скоростная сеть Boardfly, ранее разработанная для TPU 8i. По данным Google, задержка при работе с несколькими ускорителями может быть до двух раз ниже, чем у TPU 8t, при этом дополнительная защита практически не влияет на производительность.
TPU 8i Max решает другую проблему — нехватку памяти и ее пропускной способности при работе с огромным контекстом. Google разместила в одном корпусе сразу два чипа TPU 8i. В результате система получила вдвое больше вычислительных ресурсов, SRAM и пропускной способности HBM по сравнению с обычной TPU 8i.
Такая конфигурация рассчитана, например, на ИИ-агентов, которые одновременно разбирают большие программные проекты, длинные документы или часы видео. Два чипа занимают то же место в серверной стойке, которое раньше отводилось одной системе, поэтому плотность вычислений тоже увеличилась.
Теперь восьмое поколение TPU включает сразу четыре варианта. TPU 8t предназначена для обучения крупных моделей, TPU 8i — для быстрого инференса, TPU 8tx — для работы с конфиденциальными данными, а TPU 8i Max — для задач с особенно большим контекстом.

ИИ‑роутер — доступ к 400+ моделям из одной панели
Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.
Автор: AngryPinkRabbit
Источник [6]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38616
URLs in this post:
[1] предназначена: https://cloud.google.com/blog/topics/ai-infrastructure/tpu-8tx-and-tpu-8i-max
[2] памяти: http://www.braintools.ru/article/4140
[3] обучением: http://www.braintools.ru/article/5125
[4] подкреплением: http://www.braintools.ru/article/5528
[5] Запустить ИИ‑роутер →: https://promo.selectel.ru/ai-router/?utm_source=habr.com&utm_medium=referral&utm_campaign=airouter_news_googletpu_161126_banner_ord
[6] Источник: https://habr.com/ru/companies/selectel/articles/1108192/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108192
Нажмите здесь для печати.