Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Сравнил предсказания калькулятора с реальными запусками llama.cpp на RTX 4060 Ti, 3090 и Apple M2 Pro. Спойлер: где-то точно, где-то мимо на 30%Когда я начал ковыряться с локальными LLM полгода назад, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит «Llama 3.1 8B». Что это значит для моей видеокарты с 16 GB VRAM? А если я хочу 32k контекст? А с квантованием Q4_K_M? Цифры в README часто не учитывают KV cache, который при больших контекстах ест VRAM сильнее, чем сама модель.Несколько недель назад мне попался простой open-source калькулятор — whatmodelscanirun.ru (русскоязычный форк оригинального проекта
ArXiv на год заблокирует исследователей за публикацию статей с участием ИИ
Платформа с препринтами научных работ ArXiv заявляет, что будет блокировать авторов на один год, если они представят статьи, содержащие сгенерированный ИИ контент, такой как вымышленные цитаты, текстовые филлеры или метакомментарии.
Учёные начинают возвращать клетки человека в «молодое» состояние
По словам одного из ведущих учёных, начать можно с восстановления зрения, а затем перейти к внутренним органам. Даже мозг может от этого выиграть.В голливудском блокбастере «Загадочная история Бенджамина Баттона», действие которого происходит в Америке XX века, мы видим, как Бенджамин Баттон появляется на свет с телом 80-летнего мужчины, но затем молодеет. Символизм здесь очевиден: пережив радости молодости, он всё равно возвращается в младенчество — это тонкий намёк на тщетность попыток бросить вызов природе.
Безопасное внедрение ИИ в корпорации: 3 архитектурных подхода и опыт Alpina Digital
88% компаний используют ИИ, но только 1% достиг зрелости. Главный барьер — не технология, а безопасность данных. Что мы делали два года и почему пришли к гибридной архитектуре.Жемал Хамидун, Head of AI Alpina Digital, CPO AlpinaGPT, автор тг-канала «Готовим ИИшницу».
Ловушка экспертности: почему мозг деградирует именно тогда, когда вы наконец всего достигли
Дэвид Иглмен — нейробиолог, автор книги «Мозг. Ваша личная история», которая издана на русском, однажды устроил соревнование с десятилетним мальчиком Остином Набером — чемпионом мира по капстекингу среди детей (соревнование, кто быстрее соберёт и разберёт пирамидки из специальных пластиковых стаканчиков). Остин управился за пять секунд. Иглмен — за сорок три.
Harness вокруг LLM: что я понял за год ежедневной работы
Год в Claude Code, несколько релизов моделей, десятки экспериментов с командой в Kaiten. Всё это время я ждал, что главным рычагом качества будет очередной релиз модели. Оказалось, ровно наоборот: смена модели даёт заметный, но ограниченный прирост, а каждый новый слой обвязки вокруг неё — кратный.Англоязычные инженеры называют эту обвязку harness
Как запихнуть килограмм LLM в телеграм-бота и не сойти с ума
Введение. Role-Play LLM ботВсе началось как шутка. Я сидел с друзьями и подумал: а вот было бы прикольно внедрить разные модели нейросетей в один чат и заставить их думать, что они реальные люди и работают в корпорации.Весь смысл был в том, чтобы это были действительно разные модели и пользователь мог просто между ними переключаться по запросу. Для начала мне нужно было найти зоопарк апи ключей с бесплатными лимитами. Я прошерстил весь интернет и в итоге нашел относительно нормальные варианты: Groq для LLama, Google AI Studio для Gemma и Gemini.
AI API ключ для нейросетей: единый доступ к ИИ-моделям через один интерфейс
AI API ключ для нейросетей: единый доступ к ИИ-моделям через один интерфейс
Возвращение блудного программиста (ч. 4)
Эта часть про то, как я пилю бэкенд, учусь на этом и получаю эмоциональные качели.СодержаниеМини флэшбэкAI в делеПознаниеОбучение боемЧто я понялВыводы
