Машинное обучение. - страница 65

Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же

Я прогнал топ выдачи Google по «llm vram calculator» — от самого навороченного до однокнопочных. Все ошибаются в одном и том же: ни один не моделирует, что движок резервирует почти всю память под пул заранее, а не раздаёт её под KV по мере запросов. Ответ «сколько запросов влезет» из-за этого всегда мимо.Наивное большинство спотыкается ещё и о геометрию KV: на DeepSeek-V2-Lite обычная формула завышает память почти на порядок (в 7–11 раз). Разбираю обе ловушки и сверяю числа с живым vLLM.Ошибка №1: движок забирает память заранееПишете две строки:from vllm import LLM llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")

продолжить чтение

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов.Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:инструкциях по возврату средствсписке сотрудниковсообщениях электронной почтыДля правильного ответа (

продолжить чтение

Архитектура современных ИИ-агентов: собираем прототип за один вечер

За последние полгода вышли сотни материалов об ИИ-агентах. Особенно много говорят про OpenClaw и Hermes. Я изучил, пожалуй, добрую половину из них, протестировал сам и хочу поделиться выводами.

продолжить чтение

Мы добавили LLM в поиск, но не стали заменять им Elasticsearch. Почему?

продолжить чтение

Глава Microsoft Office отреагировал на негатив в отношении «ИИ‑слопа»

Исполнительный вице‑президент Microsoft Райан Рослански, курирующий направления Office и LinkedIn, опубликовал пост, в котором невольно выставил себя и свою компанию в глупом свете. Судя по всему, компания, наводнившая интернет низкопробным ИИ‑контентом, наконец начала осознавать, насколько на самом деле примитивны эти технологии. 

продолжить чтение

Qwen и Grok отгадывают советские загадки на внимательность

Для сравнения были выбраны 2 советских загадки, которые активно гуляют по интернету (автором материалы взяты отсюда). У кого лучше с логикой и внимательностью? Чья архитектура позволит увидеть больше?Для разогрева поставим простую задачу поиска предметов (см. картинку ниже, взято отсюда). ИИ предстояло найти 10 объектов с первой картинки и найти их на второй.

продолжить чтение

Как аналитик перестал быть «мартышкой при ИИ» и доверил десктоп агенту OpenCode

Введение: Почему я решил «сидеть на попе ровно» и что из этого вышло Зачем аналитику и архитектору AI-агент, а не просто чат в браузере  

продолжить чтение

Прогноз: благодаря ИИ формальная верификация станет мейнстримом

Сейчас много говорят о том, как ИИ повлияет на разработку ПО, но есть такой ракурс, под которым проблему почти не рассматривают. Думаю, ИИ превратит в программно-инженерный мейнстрим формальную верификацию, которая десятилетиями развивалась где-то на периферии. Уже довольно давно существуют языки программирования для программирования на основе доказательств, а также упрощающие такие доказательства — например, Rocq, Isabelle, Lean, F* и Agda

продолжить чтение

Интервью с Вячеславом Васильевым: о генеративном интеллекте, написании статей и будущем ИИ

продолжить чтение

Что такое n8n и как с ним работать

Как использовать ИИ в бизнесе?Представьте гипотетический запрос клиента: «Где мой заказ и когда он будет доставлен?». Чтобы ответить на него, одной ИИ-модели мало. Сначала нужно найти клиента в базе, получить информацию о заказе, при необходимости обратиться к другому сервису, и только затем сгенерировать и отправить ответ. Приходится задействовать множество систем, которые как-то должны работать в унисон, и всей системе желательно быть гибкой и легко масштабируемой. Обычный чат-бот тут не справится. Дело для серьезного дяди n8n.

продолжить чтение