искусственный интеллект. - страница 235

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток-сек на двух RTX 3090

Плотная 27B-модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по 24 ГБ и 936 ГБ/с каждая не должны выдавать столько, сколько выдаёт одна. Значит, где-то узкое горлышко, и надо разобраться, что и где подкрутить. Оказалось, что горлышек несколько, и все они снимаются флагами запуска: те же веса — 75 токенов в секунду. Ниже каждый флаг описан одинаково: зачем, что писать, что даёт, где ломается. В конце — готовый docker run.Стенд: 2× RTX 3090 (24 ГБ, PCIe 4.0 x16, без NVLink), Threadripper 3960X, 121 ГБ RAM, Ubuntu 26.04, драйвер 595.71.05. llama.cpp — образ ghcr.io/ggml-org/llama.cpp:full-cuda

продолжить чтение

LLM уверенно врёт про ваш микроконтроллер

Embedded-development (или разработка встраиваемых систем) - это такая сфера, где паяльник и IDE находятся ближе всего. Естественно, туда пришёл ИИ: попросишь модель написать прошивку - выдаёт аккуратный код. Компилируется с первого раза, заливается без ошибок. Но внезапно, экран показывает цветной шум.

продолжить чтение

Откуда взялся ИИ и причем тут слово перцептрон

продолжить чтение

В IT‑сфере появился термин «мясной прокси»: так называют тех, кто бездумно копирует ответы ИИ

продолжить чтение

Слепой поиск новых частиц (и не только частиц), часть 2: фармацевтический домен и что в нём нашлось

продолжить чтение

Yet Another English — и да, ещё один сайт по изучению английского, ну че поделать?

Ну как вы поняли, сервис я так и назвала, чтоб сразу закрыть основное возражение. Ахахах. Да знаю, что их тысячи. Всё равно сделала объясню почему.У меня слабый английский, примерно B1 (но для менеджерки продукта требуется обычно по‑больше левел ю ноу). Я смотрю YouTube на англ, чтобы его подятнуть и постоянно натыкаюсь на незнакомые слова. В табличку выписывать, в анки загружать — мне было лень. Хотелось так: кинула ссылку на видео — слова моего уровня сами вытащились из субтитров и встали в очередь на повторение.

продолжить чтение

От Copilot до AI-завода: где ИИ уже окупается и что собирать разработчику?

продолжить чтение

Мнение: развитие ИИ повысит спрос как минимум на три группы специалистов

Развитие ИИ приведёт к росту спроса как минимум на три категории специалистов, считает президент венчурной компании TDK Ventures Николас Соваж. Речь идёт о продакт‑менеджерах, инженерах и учёных, а также консультантах. Своим мнением он поделился с Business Insider.

продолжить чтение

Как AI-компании подкупают чиновников и зачем им это нужно?

Привет, Хабр! Никогда такого не было и вот опять – выяснилось, что крупные американские компании тратят какие-то невероятные суммы на лоббирование своих интересов в правительстве США. Только теперь это не табачные гиганты, а монстры AI-индустрии, все в духе времени. Зачем они это делают и чего хотят добиться? Ответы – в тексте ниже.Сколько они платят?Перейдем к главному – к деньгам. Итак, компания OpenAI за первую половину 2026 года потратила на лоббирование $2,22 млн, а Аnthropic обогатила законотворцев из Вашингтона $3,53 млн, это аж на 200% больше, чем в первой половине прошлого года.

продолжить чтение

Как технический эксперт COMETAL за два месяца передал нейросетям 20% своей работы

продолжить чтение