llm. - страница 86

llm.

Энтузиаст опубликовал android‑клавиатуру, которая предупреждает, за какую фразу можно получить срок

Пользователь GitHub под ником MShverdiakov опубликовал open‑source проект под названием «Соучастник». Он представляет собой android‑клавиатуру, которая с помощью локальной языковой модели анализирует набираемый текст и сообщает о возможном соответствии отдельных формулировок статьям российского законодательства.Проект опубликован на GitHub под лицензией GPL-3.0. На момент публикации репозиторий набрал около 500 звёзд и 19 форков.

продолжить чтение

Красная королева в Core War: как LLM сражался с 317 человеческими воинами

Игрушка для программистов, Core War, была придумана в 1984 году. Известная песочница собирает желающих "побороться" кодами до сих пор. Она может быть полезна как инженерам (кибербезопасность и борьба с хакерами), так и биологам (эволюционные процессы) и экономистам (развитие рынка в условиях конкуренции). С появлением LLM игра получила новое развитие. Исследователи из Sakana AI и MIT предложили обновленную стратегию, основанную на эволюционных процессах и противоборствующей динамике. Идея Core War

продолжить чтение

98,4% точности и 1 млрд ₽ эффекта: как мы нашли аналоги в каталоге СИБУР

Мы пришли на хакатон с 12 гипотезами. Одна из них — поиск аналогов материалов — превратилась в систему с точностью 98,4% и экономическим эффектом больше миллиарда рублей. Рассказываем, как это было на самом деле — с ошибками, командировками на завод и задвижкой за 1 рубль.

продолжить чтение

Как запустить Qwen3.8-Flash-Next 125B на 6 ГБ VRAM

Qwen3.8-Flash-Next - открытая 125B-модель на архитектуре, которая станет основой Qwen4. По опубликованным Qwen результатам она конкурирует с закрытыми frontier-моделями в задачах программирования, работы с агентами и computer use.Мы запустили полный checkpoint Qwen/Qwen3.8-Flash-Next на одной RTX 4090. Пиковое потребление VRAM составило 5,95 ГБ, без 4-битной квантизации и дистилляции. Использовался полный checkpoint в bf16, который генерировал обычные токены.По сравнению с Opus 4.6 Max, согласно собственным данным Qwen:

продолжить чтение

Как мы обучаем обычных сотрудников использовать ИИ (и зачем)

Примерно полтора года назад мы в компании начали проводить еженедельные воркшопы по ИИ. Или, как мы сами их называем, ИИ‑кружки. Сначала для разработчиков, а позже — для «чайников» не‑разработчиков тоже. Как, зачем, и к чему это в итоге привело — в статье.

продолжить чтение

Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же

Я прогнал топ выдачи Google по «llm vram calculator» — от самого навороченного до однокнопочных. Все ошибаются в одном и том же: ни один не моделирует, что движок резервирует почти всю память под пул заранее, а не раздаёт её под KV по мере запросов. Ответ «сколько запросов влезет» из-за этого всегда мимо.Наивное большинство спотыкается ещё и о геометрию KV: на DeepSeek-V2-Lite обычная формула завышает память почти на порядок (в 7–11 раз). Разбираю обе ловушки и сверяю числа с живым vLLM.Ошибка №1: движок забирает память заранееПишете две строки:from vllm import LLM llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")

продолжить чтение

Как мы превратили правила команды разработки в инструкции для LLM-агента

Привет, Хабр! На связи команда разработки Just AI. Сегодня расскажем, как мы автоматизировали часть задач в процессах разработки с помощью LLM-агента. Не генерацию функций и не написание кода по промпту — с этим кодинг-ассистенты уже неплохо справляются. Нас интересовало другое: что происходит с задачей до и после того, как разработчик закончил писать код. 

продолжить чтение

Как с помощью graph RAG добиться многоходовых рассуждений от LLM с 2B весов

Пару недель назад YouTube подкинул мне пятиминутный ролик с небольшого канала, где автор демонстрирует преимущества RAG на графах над обычным RAG поверх корпуса текстов.Пример довольно простой. LLM должна ответить на вопрос: “Кто должен подписать возврат клиенту на 800 фунтов в марте?”. Ответ, естественно, содержится в предоставленных текстах, но для того, чтобы его добыть, нужно уметь в multi-hop reasoning, т.к. необходимая информация лежит в 3х разных местах:инструкциях по возврату средствсписке сотрудниковсообщениях электронной почтыДля правильного ответа (

продолжить чтение

Архитектура современных ИИ-агентов: собираем прототип за один вечер

За последние полгода вышли сотни материалов об ИИ-агентах. Особенно много говорят про OpenClaw и Hermes. Я изучил, пожалуй, добрую половину из них, протестировал сам и хочу поделиться выводами.

продолжить чтение

Мы добавили LLM в поиск, но не стали заменять им Elasticsearch. Почему?

продолжить чтение