llm.
Внутри vLLM: Анатомия системы инференса LLM с высокой пропускной способностью
Привет! Этот пост — перевод очень хардовой статьи про внутренности vLLM и того, как устроен инференс LLM. Переводить было сложно из-за англицизмов и отсутствия устоявшегося перевода многих терминов, но это слишком классная статья, и она обязана быть на русском языке! А дальше — слово автору:От paged attention, непрерывного батчинга, кэширования префиксов , specdec и т.д. — до мульти-GPU и мультинодового динамического сервинга LLM под нагрузкой.
Встречайте OpenTSLM: семейство моделей языка временных рядов (TSLM), для анализа медицинских временных рядов
Значительное событие готово трансформировать ИИ в здравоохранении. Исследователи из Stanford University, совместно с ETH Zurich и технологическими лидерами, включая Google Research и Amazon, представили OpenTSLM — новое семейство моделей языка временных рядов (Time-Series Language Models, TSLMs). Это прорыв, который решает ключевую проблему существующих LLM (large language models) — способность интерпретировать и рассуждать о сложных, непрерывных медицинских временных рядах, таких как ЭКГ, ЭЭГ и потоки данных носимых датчиков, где даже передовые модели вроде GPT‑4o сталкивались с трудностями. Критическая слепая зона: ограничения LLM в анализе временных рядов
Разработка MCP-сервера на примере CRUD операций
Model Context Protocol (MCP) — это открытый протокол, разработанный компанией Anthropic. Он призван унифицировать способ взаимодействия между LLM и сторонними сервисами, инструментами и источниками данных.До появления MCP каждому разработчику приходилось пилить свой велосипед для каждого сервиса. При этом один API требовал одного формата, другой — совершенно другого. А в случае изменений сервиса приходилось менять и клиентскую сторону. В общем проблем было много. MCP же оставил большинство этих проблем позади.В данной статье на примере простых CRUD-операций разберем, что такое MCP-сервер, как его создать и как подружить с LLM.
Навыки (Skills) для Claude: почему папка с Markdown-файлами может оказаться важнее кастомных GPT
Сегодня утром Anthropic представили Claude Skills — новый подход к расширению возможностей своих моделей. Идея настолько проста, что гениальна, и, возможно, это куда более значимый шаг, чем нашумевшие в свое время кастомные GPT.Из анонса Anthropic:Claude теперь может использовать Навыки (Skills) для улучшения выполнения конкретных задач. Навыки — это, по сути, папки с инструкциями, скриптами и ресурсами, которые Claude может подключать по мере необходимости.
