Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
RAG по 11 000 файлов: почему семантический поиск не находит по артикулу
Привет! Меня зовут Дмитрий, я работаю в компании Cortex IT и автоматизирую бизнес-процессы наших клиентов. Среди прочего мы строим RAG-ассистентов по внутренней документации.На одном из проектов было много нестандартной технической документации на оборудование, и с настройками по умолчанию поиск отдавал не те чанки. Пришлось разбираться, почему так происходит.
Использование нейронок и ботов в мошеннических схемах. Как я ломала бота-мошенника в дейтинг приложении
Мошеннические схемы становятся все более и более изощренными, а с использованием ботов и нейронок они приобретают массовость, увеличивают конверсию. Я подозреваю, что наибольший экономический эффект и выгоду от внедрения ИИ имеют именно мошеннические организации. Подозреваю, но не могу доказать.В этой статье поговорим о мошеннических схемах с использованием ботов и нейронных сетей на сайтах знакомств. В такие схемы могут попасть как мужчины, так и женщины. Для эксперимента на сайте знакомств я создала анкету с максимально обеспеченным и привлекательным профилем.
Рейтинг нейросетей для видео: сравнил 12 моделей на одном промпте (октябрь 2026)
Двенадцать нейросетей для видео прогнали на одном промпте: 8 секунд, 720p, по одному прогону (одной генерации) на модель. Первым по сумме баллов вышел Luma Ray 3.14: 9,1 из 10, две минуты, 5 токенов, дешевле всех в списке. Лучшую картинку показала Seedance 2.5, и она же самая дорогая: 138,7 токена, в 27 раз дороже лидера.
BIS Summit 2026: как это было
Привет, Хабр! 29 сентября в Москве прошла 19-я ежегодная ИБ-конференция BIS Summit 2026. Организатором выступила Ассоциация по защите деловой информации (BISA) при поддержке ГК InfoWatch.Раз в год в рамках BIS Summit мы собираем большие открытые дискуссии: на одной площадке вопросы, связанные с ИБ (а в этом году и с ИИ), обсуждают представители крупных компаний и предприятий, министерств и регуляторов, а также независимые эксперты.Главная тема этого года — «Искусственный интеллект: где граница между прогрессом и угрозой»
Автоматизировать процессы, составлять ТЗ с ИИ и управлять требованиями — дайджест для аналитиков
Привет, Хабр. В этом мини-дайджесте собрали бесплатные вебинары октября для системных и бизнес-аналитиков. В подборке — работа с требованиями, проектирование систем и интеграций, оптимизация бизнес-процессов, управление стейкхолдерами и применение искусственного интеллекта в аналитике.Занятия проводят преподаватели Otus — практикующие специалисты, которые разбирают реальные рабочие задачи и делятся опытом. Это возможность обсудить подходы с экспертами, познакомиться с новыми инструментами и оценить формат обучения.Сбор требований, постановка задач и проектирование систем14 октября, 20:00.
Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
Привет, Хабр! Меня зовут Антон Алексеев, я MLOps-инженер в Авито. В конце июля мы с коллегами съездили в Иокогаму на KubeCon + CloudNativeCon Japan 2026. Ко второму дню я заметил, что слайды выступающих повторяются: спектр изоляции тенантов, квоты, bin packing, «GPU дорогие — давайте делить». Мы решаем в Авито ту же задачу, поэтому я разберу шесть докладов про GPU и LLM-инференс и расскажу, что из этого мы уже пробовали или собираемся попробовать. А в конце будет немного про саму Японию.СодержаниеИнференс обогнал обучение
Аналитик и ИИ: три инструмента, которые превращают хаос в требования
Мы работаем на крупном проекте, где присутствует десятки интеграций, сотни бизнес-сценариев, документация в Confluence, а теперь ещё и описания бизнес-сценариев с помощью ИИ прямо в репозиториях. Это здорово выручает для погружения в проект, но всё равно не покрывает всю картину при работе над конкретной доработкой. Поэтому в команде аналитиков мы начали заводить собственных ИИ-агентов: собираем в папку нужные репозитории из Git, БФТ от заказчика, заметки со встреч, и вместе с агентом проектируем и анализируем.
Что внутри мини-ПК Ninkear L20? Разборка и тест компактного компьютера на базе Core Ultra 5 226V
Модель Ninkear L20 интересна своей "начинкой: Core Ultra 5 226V с отдельным NPU для задач искусственного интеллекта и с графикой Intel Arc 130V (видеопамять до 8 ГБ для запуска простых LLM), а также с двумя слотами М.2 для установки SSD. Есть поддержка Wi-Fi 7, трёх 4K-мониторов, а суммарная вычислительная мощность для ИИ-приложений на уровне 97 TOPS. На базе такого мини-ПК можно создать домашний или офисный медиацентр с ИИ-помощником и функциями NAS.
Как мы сделали простой офлайн‑разметчик для YOLO и COCO с семантической и panoptic‑сегментацией
Окно для разметки изображенийВ настоящий момент я работаю над проектом по детекции дефектов дорожно‑транспортной инфраструктуры. Находимся на самом начальном этапе, подбираем модели для детекции.
