llm.
LLM Llama 3 — небольшое погружение в детали
Привет Хабр! В этой статье я попробую немного разобрать код LLM Llama 3. Полностью проанализировать каждую строку кода не получится, но самые важные и базовые концепции мы все-таки разберем насколько это возможно.Падаем в кроличью норуИзучать мы будем класс Llama (файл generation.py) и его метод text_completion
Машинный перевод
Автор статьи: Сергей Артамонов - DS Wildberries, Research Engineer Skoltech, аспирант мехмата МГУ, преподаватель Школы Высшей Математики
Оценка систем больших языковых моделей (LLM): метрики, проблемы и лучшие практики
Фото Яни Каасинен на Unsplash.
Anthropic представила новый метод защиты больших языковых моделей от взломов
Спустя два года после появления ChatGPT на рынке появилось множество больших языковых моделей (LLM), и почти все они по-прежнему уязвимы для взлома — специальных запросов и других обходных путей, которые заставляют их генерировать вредоносный контент.
DeepSeek-R1 для чайников
В последние месяцы всё чаще слышим про «reasoning-модели», способные не просто продолжать текст, а действительно шаг за шагом решать сложнейшие задачи цепочкой рассуждений (chain-of-thought). Впервые такой подход эффектно показали в OpenAI o1, но, к сожалению, подробности там остаются секретными. Недавно же команда DeepSeek наделала шуму с открытыми вариантами R1 и R1-Zero, созданными поверх их собственной большой MoE-модели DeepSeek-V3. В этом посте я не стану углубляться в вопрос «чья модель лучше — o1 или R1». Зато разберу, какие главные технические детали
Все встревожены взлетом DeepSeek — кроме Nvidia, которая этому способствовала
Акции Nvidia просели в цене, а регуляторы ограничивают её продажи чипов, но американский гигант ИИ смотрит в будущее и ведёт долгую игру в Китае.Дисклеймер: это вольный перевод лонгрида
Поднимаем DeepSeek llm локально
Все уже слышали про новую модель DeepSeek r1, которая обогнала по бенчмаркам openai. Компания DeepSeek выложила веса и дистилляты в открытый доступ, поэтому мы можем их запустить.В статье поднимем дистилляты модели r1 используя llama.cpp - потребуются лишь базовые умения работы с bash, docker и python. Самостоятельный запуск проще простого.Что имеем?Основная модель, о которой говорят, DeepSeek r1 - 671b Mixture of Experts (37B активаций на forward). Целиком пытаться инференсить такую модель очень затратно.Если очень хочется r1, но не полную - есть квантизации от unsloth.
Сопоставление номенклатур товаров ресторанов и поставщиков с помощью LLM — Case Study для ресторанного холдинга
Привет, Habr! На связи Александр Сулейкин. к. т. н. и СЕО ИТ-компании “ДЮК Технологии”. Совместно с нашим экспертом по LLM-решениям Романом Бабенко подготовили новую статью по теме применения LLM для задачи сопоставления номенклатур товаров и поставщиков - типовой задачи, с которой часто сталкиваются менеджеры по закупкам. Статья подготовлена на базе реального Use Case пилотного внедрения в крупном ресторанном холдинге.
DeepSeek перестал загружать pdf и картинки
Да, я понимаю, что за эту неделю новости про DeepSeek всем уже надоели. Но для меня за последние 1,5 месяца эта платформа стала мощным рабочим инструментом (и вовсе не в генерации дурацких статей, а в извлечении информации из плохо отсканированных документов!) Итак...Одной из роскошных возможностей DeepSeek была возможность сфотографировать несколько листов нужной тебе книги в специальном приложении для смартфона, сохранить их в pdf и попросить DeepSeek вытащить нужную тебе информацию (он распознавал, OCR-ил текст!).То же самое с плохо отсканированным форматом djvu (предварительно сконвертированным в pdf).
Применение технологии RAG при построении интегрированных систем для цифровых продуктов: детальный разбор
В 2024 году популярными словами и постоянной темой для обсуждения в IT были большие языковые модели (LLM), обработка естественного языка (NLP), искусственный интеллект и создание ценностей. Однако вкатиться в эту экосистему без подготовки может быть довольно сложно. Давайте начнём с того, что рассмотрим понятие генерации с дополненной выборкой (Retrieval Augmented Generation, RAG), чтобы лучше понять эту технологию и возможность её использования в наших цифровых продуктах.
