ml.
Линейка HighFreq или как выжать из облака максимум для инференса, ML и других высоких нагрузок
«Больше» — не всегда значит «лучше». К пользовательским приложениям в облаках
Масштабирование LLM: от одного чипа до ЦОДа. Глава 1. Теоретические основы
ПредисловиеНедавно прочитал цикл статей о масштабировании LLM от Jax, в котором очень подробно и во всех нюансах разжеван процесс тренировки и инференса LLM на разных масштабах. Мне он показался очень полезным, поэтому я решил подготовить цикл статей на русском, являющихся не столько переводом, сколько научно-популярным пересказом того, что там написано, поскольку оригинальный текст рассчитан в основном на специалистов, и неспециалисту многие моменты в нем могут показаться сложными и не очевидными. Также планирую добавить информацию из других источников, например
Омни‑модели, синтетика и LLM‑агенты: встречаемся на Saturday ML Party в Петербурге
Saturday ML Party — это наш формат встреч, где мы обсуждаем с сообществом тренды индустрии, новые подходы и реальные вызовы в неформальной обстановке.
Как Red Teaming и человеческий креатив позволяют оценить риски внедрения LLM в бизнес-процессы
В кибербезопасности существует подход под названием Red Teaming — когда одна команда имитирует атакующего, а другая защищает систему. С появлением больших языковых моделей тот же принцип стал применяться к ИИ. Только теперь атакуют не серверы и базы данных, а сами LLM-агенты — системы, которые умеют рассуждать, выполнять команды и взаимодействовать с внешними инструментами. Red Team здесь ищет способы выявить уязвимости и подсветить риски модели, а Blue Team — защитить её. Именно на стыке этих подходов возникла новая область — Red Teaming LLM-агентов, где тестирование превращается в исследование границ самого искусственного интеллекта.
Современные LLM – это больше, чем просто предсказание слов
«Эта модель лучше шутит, а та лучше пишет код» — отличный критерий выбора, если вы просто переписываетесь с чатиком. Но как только LLM оказывается внутри продукта, нас перестаёт интересовать юмор и начинает волновать архитектура: encoder–decoder против decoder‑only, мультимодальные энкодеры, test‑time reasoning, скрытые цепочки рассуждений. В этом посте попробуем перестать выбирать между логотипами и посмотреть на языковые модели как на инженерные конструкции с понятными trade‑off’ами.В первоначальной архитектуре трансформера кодировщик (encoder) и декодировщик
Проклятие легких побед: как вайбкодинг убивает волю к решению проблем
«Вайбкодинг» ‑ это просто ролевая игра для парней, которые хотят чувствовать себя хакерами, не делая сложной работы, или это мощный инструмент, меняющий процессы даже ML-инженера? Я думал, что это просто игрушка, пока не попробовал.Привет, меня зовут Марк, я ML-инженер уже более 4-х лет и за несколько дней я навайбкодил приложение не зная ни языка ни технологий. А еще я навайбкодил кучу техдолга и получил неочевидные трансформации личности.
Разворачиваем приватную LLM в кластере Kubernetes в прямом эфире
Приглашаем на бесплатный вебинар
Разработчику удалось запустить обучения нейросетей на NPU от Apple, который доступен только для инференса
Разработчик Манжит Сингх (Manjeet Singh) опубликовал на GitHub проект ANE Training — это способ запускать обучение нейросетей на NPU от Apple. Официально компания позволяет использовать NPU в своих устройствах только для запуска моделей.
