Локальная LLM: гадкий утенок в мире прекрасных лебедей
Сравнительный анализ локальных и облачных LLMВсем привет! Я — Иван, инженер по разработке AI-систем CodeInside. Мы разрабатываем и внедряем кастомные AI-решения — от интеллектуальных поисковых систем на основе RAG до специализированных AI-агентов и ассистентов для автоматизации процессов в бизнесе и промышленности.
В Германии попросили Apple и Google удалить DeepSeek из магазинов приложений
Немецкие власти объявили китайский чат-бот DeepSeek угрожающим безопасности, а местный регулятор требует удалить его из App Store и Google Play.
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
ВведениеПосле сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта
Зачем?У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.Где?
Рейтинг 6 нейросетей для сокращения текста, ч. 2: кто король краткости?
Тонны текста и в финале — чувство, что застряли в бесконечном произведении? Нейросети уже здесь, чтобы вытянуть вас из хаоса. Во второй части обзора — больше инструментов и тестов. Я рассмотрел
Как обучить русскоязычную модель рассуждений — LRM?
Ранее на моем YouTube-канале уже были видео о моделях рассуждений — OpenAI o1/o3, DeepSeek R1. Эти модели обучены с помощью стратегии reinforcement learning находить решения для задач, требующих логических рассуждений. Способность строить цепочки рассуждений, ведущих к решению поставленной задачи, открывают возможность применения таких моделей в математике, программировании и других подобных направлениях.
