3. Bonsai-27B на рекурсивном форке llama.cpp: полный запуск и реальный бенчмарк на RTX 3050
Всем привет! Это третья часть про мой форк llama.cpp. В прошлых статьях я показывал, как работает рекуррентность и какие цифры она даёт на обычных моделях. Сегодня — особенное железо: Bonsai-27B, гибридная модель на линейной архитектуре Delta-Net. Расскажу, как её запустить на слабой видеокарте, и главное — покажу реальный замеренный бенчмарк D=0 против D=12 на сложной задаче, которую базовая модель не смогла решить вообще.Все цифры ниже получены на моём железе вживую. Никакой магии и отрисованных «в пользу» диаграмм.0. Что такое Bonsai-27B и почему он особенный
ИИ-агенты в трейдинге: от рекомендаций к автономному управлению. Разбор тренда, рисков и архитектурных решений
Представьте, что вы сообщаете ИИ-агенту, на какой риск готовы пойти, какие у вас цели по накоплениям на пенсию и когда ваши дети поступят в колледж, а затем позволяете ему управлять вашим инвестиционным портфелем и спокойно спите по ночам.Эта концепция агентской торговли, при которой искусственный интеллект не просто рекомендует инвестиции, но и сам их совершает, постепенно становится реальностью. Брокерские компании, стартапы и даже частные инвесторы создают ИИ-агентов, которые помогают управлять портфелями и автоматизируют инвестиционные задачи, которые раньше выполняли люди.
Как мы создали ИИ-систему для производства графита (и зачем она там нужна)
Рассказываем, как ИИ-система на производстве графита сократила простои на 80% и что из этого опыта применимо на любом заводе.
2. Рекурсивный движок llama.cpp на RTX 3050: тесты Qwen 32B и 7B Coder — прирост качества х3 и аппетиты по памяти
Всем привет! Это вторая часть статьи про форк llama.cpp. В ней я покажу реальные цифры и посмотрим, насколько лучше модель решает сложные задачи по сравнению с обычным движком, а также насколько вырастет потребление VRAM и загруженность видеокарты. Обозначения: D=0 — llama.cpp без патча, D=12 — улучшенный форк.ЖелезоВсе модели запускались на RTX 3050 6 ГБ, поэтому результаты на других видеокартах могут отличаться. Все модели запускались в формате Q4.
Звезда в машинном тумане: как ИИ стал оружием, целью и чужим голосом в браузере
AI-ассистенты уже давно стали рабочим инструментом: они помогают писать код, анализировать документы, отвечать на письма, запрашивать данные из других систем. Но вместе с удобством приходят и дополнительные риски, каждая новая функция становится еще одной мишенью.Привет Хабр! В этой статье я, Юрий Туманов, AppSec-инженер в блоке ИБ «Ростелекома», вместе с коллегами по отрасли — Игорем Коркиным из Positive Technologies и Оксаной Докучаевой из ФМБА России — расскажу вам о том, как ИИ меняет правила игры в кибербезопасности: и для атакующих, и для защитников.Скрытый текст⚠ Дисклеймер.
Селлер платил ЗП отделу из 5 человек и уволил. Нейросеть справляется с этим за 10 долларов
Статья написана на основе интервью с Евгением Беловым, основателем агентства автоматизации NODECS.Я не программист и не инженер. Я предприниматель, который собирает нейросетевые автоматизации для бизнеса. За полтора года такой работы я заменил нейросетью несколько отделов: где-то из семи человек оставался один, где-то двое.В интернетах все чаще слышу мнение, что «ИИ скоро заменит всех», но я убедился, что это не так. С рутиной нейросеть и правда справляется блестяще, а на чём-то очень простом и человеческом ломается.
5 ошибок менеджера, внедряющего ИИ
Опустим мечты учёных и фантастов 1950-ых годов о создании кибернетического сверхмозга и перейдём к практике: начиная с 1960-ых, ключевым направлением применения Искусственного Интеллекта стала автоматизация процессов управления и принятия решений. Грубо говоря, программисты думали как заменить менеджеров. В итоге получилось наоборот: менеджеры думают как заменить программистов.
