Калькулятор с двумя кнопками: как одна функция заменяет синус, корень и π
Автор оригинала: Manon BischoffНа современных калькуляторах полно кнопок: синус, квадратный корень, число π, возведение в степень. Но, оказывается, хватило бы двух.Лицевая панель калькулятораФото: Coyau / Wikimedia Commons / CC BY-SA 3.0
В языковую модель подсадили «мысль», и иногда она это замечала: что показал год проверок
Автор оригинала: Ben BrubakerИсследователи внедряют «мысли» прямо в большие языковые модели, чтобы выяснить, способен ли ИИ к интроспекции и в какой мере.Интроспекция языковых моделейИллюстрация: Kristina Armitage / Quanta Magazine
Самообучение одноклеточных и коллективный интеллект
Казалось бы, обучение — это процесс, непосредственно связанный с нервной деятельностью. Неслучайно вычислительная единица в составе перцептрона и самообучающихся сетей названа именно «нейроном». Двухчастную работу «Нейронные сети для начинающих» о том, в каких отношениях искусственные нейроны напоминают естественные, написал на Хабре в 2016 и 2017 годах уважаемый @Arnis71
Что за новая профессия такая — ИИ-репетитор?
ИИ-репетитор обучает очень занятого бизнесмена, как использовать ИИНедавно на почве создания ИИ-копий личности («
Можно ли прочитать мысли нейросети
Вы когда-нибудь задумывались, что происходит внутри нейросети, пока она пишет ответ? Языковые модели всегда, по вашему первому запросу, выдают красивые и логичные ответы, будто они действительно понимают, о чём говорят. Но за этим красивым ответом скрывается всего лишь удачная последовательность чисел, которая угадывает следующее слово, а не осмысливает его.
Нейросеть по рецепту: вычисляем веса вместо хранения матриц
Хочу рассказать об интересном подходе к построению ML-моделей. Как известно, практически любая нейросеть - это, грубо говоря, некая архитектура + некий набор весов. Веса здесь, опять же если говорить грубо, циферки в матрице. Очень много циферок в очень большой матрице. Обычно соблюдается правило, что чем сложнее и “умнее” модель, тем больший размер имеют ее “матрицы с циферками”. Особенно в этом плане выделяются LLM: у Kimi-K3, например, 2,8 триллиона параметров. Обычно, чтобы использовать модель, нужноа) иметь ее веса на диске, откуда их будешь грузить
Как свет научился управлять нейронами: путь оптогенетики к Нобелевской премии
В начале октября прошла очередная волна присуждения нобелевских премий. В категории медицины и физиологии наградили достижения в оптогенетике.
Усредняющие сети: как ускорить 8-битные сети почти без потери точности
Чтобы распознать документ на смартфоне, мало хорошо обучить нейросеть читать текст. Нужно ещё добиться, чтобы она делала это быстро на процессоре самого устройства. При разработке Smart Document Engine, системы распознавания и анализа документов, мы решаем именно такие задачи: обработка должна выполняться локально, а вычислительные ресурсы ограничены. Поэтому для нас поиск более экономных способов вычисления нейронных сетей — вполне практическая задача.
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
