высоконагруженные системы. - страница 3

Бэкап, из которого ни разу не восстанавливались — это не бэкап

Привет, Хабр! У резервного копирования есть свойство, которое отличает его от почти всего остального в инфраструктуре. Проверить, работает ли оно, можно ровно одним способом — восстановиться. Всё остальное проверяет что‑то другое.Ситуация тем неприятнее, что узнаёте вы об этом в единственный день, когда копия понадобилась. Поэтому в статье рассмотрим пять мест, где схема резервного копирования разваливается. Ноль в конце формулыНачну с главного, потому что остальные пять — его частные случаи.Правило 3-2-1 знают все:

продолжить чтение

Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же

Я прогнал топ выдачи Google по «llm vram calculator» — от самого навороченного до однокнопочных. Все ошибаются в одном и том же: ни один не моделирует, что движок резервирует почти всю память под пул заранее, а не раздаёт её под KV по мере запросов. Ответ «сколько запросов влезет» из-за этого всегда мимо.Наивное большинство спотыкается ещё и о геометрию KV: на DeepSeek-V2-Lite обычная формула завышает память почти на порядок (в 7–11 раз). Разбираю обе ловушки и сверяю числа с живым vLLM.Ошибка №1: движок забирает память заранееПишете две строки:from vllm import LLM llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")

продолжить чтение

753B на одной видеокарте: разбор FreeToken

Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке

продолжить чтение

Как мы проверяем до 1 000 cайтов в час: рассказываем про ЮScan — сервис оценки рисков в сегменте e-commerce

1000 сайтов в час вместо нескольких часов на каждый — так работает ЮScan, сервис автоматизированного аудита от ЮMoney. Его основная задача — помочь банкам и платёжным организациям не допустить подключения сайтов, которые маскируют запрещённую или рискованную деятельность под легальный бизнес. Сервис автоматически проверяет ресурс и выявляет подобные случаи ещё до начала сотрудничества.С 2020 года через ЮScan проверено более 550 тысяч заявок. За это время ЮKassa не получила штрафов за обслуживание запрещённых видов деятельности.Кому это нужно?

продолжить чтение

Не подавать холодным! Прогрев JVM перед запуском трафика

Всем привет! Меня зовут Александр, я бэкенд-инженер в Банки.ру.

продолжить чтение

AI‑мониторинг и управление PostgreSQL — представлена Платформа Tantor 7

Впервые среди российских решений для мониторинга и управления Postgres‑совместимыми СУБД в Платформе Tantor представлен AI‑мониторинг

продолжить чтение

Будет ли self-hosted LLM производительнее, чем модель во внешнем контуре: сравниваем GLM, Claude и GPT

Меня зовут Влад, я фуллстек-разработчик в Selectel

продолжить чтение

Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)

продолжить чтение

Один ход агента — 120 000 токенов. Разбираемся, куда они уходят и как мы это починили

Мы делаем Uma Computer

продолжить чтение

Как видеть полный контекст по клиенту и строить графы связей — расскажем на вебинаре

6 августа, в четверг, на вебинаре расскажем, как в бизнес‑процессах учитывать все, что компания знает о клиенте.Бизнес уже научился собирать основные данные о клиенте в золотой записи (Golden Record). Но такой набор сведений отвечает прежде всего на вопрос, кто перед нами. Для устойчивых отношений с клиентом полезно знать, что происходит вокруг него: с кем он связан, как взаимодействует с компанией и ее продуктами, как реагирует на коммуникации.Клиент + контекстНа вебинаре обсудим: как собрать в одном профиле данные, события и связи между людьми и компаниями;

продолжить чтение

123456...10...12