llm. - страница 406

llm.

Карта рынка российского GenAI и сопутствующих продуктов

Мы представляем карту российских компаний, которые занимаются созданием решений на основе генеративного ИИ, а также сопутствующих инструментов. Полная версия карты доступна по ссылке.На карту попали решения из следующих сфер:Разработка больших языковых моделей (LLM)

продолжить чтение

Как небольшой набор данных и управление вычислениями могут улучшить работу языковых моделей

Новый подход показывает, что тщательно подобранные обучающие данные и гибкое управление вычислениями во время тестирования могут помочь AI-моделям более эффективно решать сложные задачи, требующие логического мышления.

продолжить чтение

ИИ простыми словами, часть 1. Архитектура Mixture of Experts (MoE)

Когда я пишу новости про ИИ, то часто сталкиваюсь с проблемой: они пестрят техническими терминами, которые не всегда понятны даже людям использующим ИИ регулярно. SFT, MoE, RL/RLHF/DPO, миллионы их.Я захотел описать самые популярные термины простым русским языком, чтобы каждый, даже нетехнический человек, мог разобраться в самой главной технологии современности. Чтобы, когда я пишу на Хабр или куда-то ещё, для сложных терминов я сразу мог бы дать ссылку на понятное и простое объяснение.

продолжить чтение

LLM Llama 3 — небольшое погружение в детали

Привет Хабр! В этой статье я попробую немного разобрать код LLM Llama 3. Полностью проанализировать каждую строку кода не получится, но самые важные и базовые концепции мы все-таки разберем насколько это возможно.Падаем в кроличью норуИзучать мы будем класс Llama (файл generation.py) и его метод text_completion

продолжить чтение

Машинный перевод

Автор статьи: Сергей Артамонов - DS Wildberries, Research Engineer Skoltech, аспирант мехмата МГУ, преподаватель Школы Высшей Математики

продолжить чтение

Оценка систем больших языковых моделей (LLM): метрики, проблемы и лучшие практики

Фото Яни Каасинен на Unsplash.

продолжить чтение

Anthropic представила новый метод защиты больших языковых моделей от взломов

Спустя два года после появления ChatGPT на рынке появилось множество больших языковых моделей (LLM), и почти все они по-прежнему уязвимы для взлома — специальных запросов и других обходных путей, которые заставляют их генерировать вредоносный контент.

продолжить чтение

DeepSeek-R1 для чайников

В последние месяцы всё чаще слышим про «reasoning-модели», способные не просто продолжать текст, а действительно шаг за шагом решать сложнейшие задачи цепочкой рассуждений (chain-of-thought). Впервые такой подход эффектно показали в OpenAI o1, но, к сожалению, подробности там остаются секретными. Недавно же команда DeepSeek наделала шуму с открытыми вариантами R1 и R1-Zero, созданными поверх их собственной большой MoE-модели DeepSeek-V3. В этом посте я не стану углубляться в вопрос «чья модель лучше — o1 или R1». Зато разберу, какие главные технические детали

продолжить чтение

Все встревожены взлетом DeepSeek — кроме Nvidia, которая этому способствовала

Акции Nvidia просели в цене, а регуляторы ограничивают её продажи чипов, но американский гигант ИИ смотрит в будущее и ведёт долгую игру в Китае.Дисклеймер: это вольный перевод лонгрида

продолжить чтение

Поднимаем DeepSeek llm локально

Все уже слышали про новую модель DeepSeek r1, которая обогнала по бенчмаркам openai. Компания DeepSeek выложила веса и дистилляты в открытый доступ, поэтому мы можем их запустить.В статье поднимем дистилляты модели r1 используя llama.cpp - потребуются лишь базовые умения работы с bash, docker и python. Самостоятельный запуск проще простого.Что имеем?Основная модель, о которой говорят, DeepSeek r1 - 671b Mixture of Experts (37B активаций на forward). Целиком пытаться инференсить такую модель очень затратно.Если очень хочется r1, но не полную - есть квантизации от unsloth.

продолжить чтение