llm. - страница 27

llm.

QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

На прошлой неделе NVIDIA выложила отчёт про QAD и я его проигнорировал. Потому что каждый месяц кто-то "решает квантизацию" и каждый раз на практике всё не так радужно.Но потом коллега скинул табличку с AIME и я залип.Контекст такой. У нас на проде крутится модель на FP8, всё более-менее ок, но менеджмент хочет запихнуть 49B модель туда, где сейчас живёт 20B. Потому что "ну там же Blackwell, там же FP4, давайте". Я месяц назад попробовал наивно квантизовать в 4 бита — модель начала нести пургу на математике. Не сильно, но заметно. Закрыл тему, сказал что FP4 не готов.И тут этот отчёт.Что вообще происходит

продолжить чтение

AI-темплейты для Obsidian Templater для развития знаний

Продолжаем исследовать возможности технологии LLM для повышения эффективности работы человека-пользователя и работы человека-программиста, для открытия новых способов взаимодействия с информацией и, как эксистенциальная цель (сверх-цель), для открытия новой супер-информации и продвижения человечества на шаг вперед по лестнице прогресса...

продолжить чтение

Феномен творчества. Искусственный интеллект и человек. Противостояние или аугментация?

На написание этой статьи меня побудили сразу несколько факторов. Это книга Рика Рубина «Творческий Акт как способ существования». И свежая новость: «искусственный интеллект преодолел новый рубеж, показав лучшие результаты в креативности, чем среднестатистический человек». Поэтому, в материале речь пойдет о природе креативности, и о том, чем же на самом деле оказались нейросети!

продолжить чтение

Большой бенчмарк: ROCm vs Vulkan в LM Studio 0.4 и добавление параллельных запросов

Вступление

продолжить чтение

Куда и почему уходят бабки на нейросети

Малоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У нейросетей по-настоящему многоразовых задач не существует. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.

продолжить чтение

Охота на ошибки в компиляторах: новый подход с использованием искусственного интеллекта

Автор: Денис АветисянИсследователи разработали систему, способную находить более сотни ошибок в компиляторах всего за 72 часа, используя возможности больших языковых моделей.Представлен FeatureFuzz - фреймворк для фаззинга компиляторов, использующий LLM для генерации разнообразных тестовых случаев и улучшения покрытия кода.

продолжить чтение

Как работает Codex: статья OpenAI

Привет, Хабр! Меня зовут Юра Петров, я руководитель отдела разработки компании Friflex и автор канала «Мобильный разработчик»

продолжить чтение

Курс Natural Language Processing & LLMs — новый сезон

Всем привет! 10 февраля мы в очередной раз запускаем бесплатный онлайн-курс по обработке естественного языка (Natural Language Processing). Если кто-то не знал или забыл, это проект Open Data Science и компании MWS AI в партнерстве с ИТМО, МФТИ и ВШЭ, мы его проводим уже 10 сезонов. 

продолжить чтение

Полгода без ручного кода: как я стал AI-диспетчером и научился большему, чем за предыдущие два года

Полгода назад я перестал писать код руками. Не потому что разлюбил программирование — наоборот, за это время я узнал больше новых паттернов, подходов и решений, чем за предыдущие два года активной разработки. Просто теперь я занимаюсь другим: планирую, верифицирую, мержу и проверяю результат. Я стал AI-диспетчером.Кто яИнди-хакер, фулстек-генералист. 8+ лет в IT, работал в Amazon, Сбере, стартапах от полутора до двадцати человек. Провёл менторство для 50+ человек. Начинал с фронтенда, дошёл до того, что берусь за веб, десктоп, мобилки, расширения и вообще любые неизведанные тропы.

продолжить чтение

Связка: MS Dynamics AX (Axapta, D365FO) – Woyax (ИИ-агенты, маркетплейсы) – Мессенджеры – боты (Telegram, MS Teams, MAX)

Не удалось сдержать желание сделать и продемонстрировать связку MS Dynamics AX (Axapta, D365FO) – Woyax (ИИ-агенты, маркетплейсы) – Мессенджеры / боты (Telegram, MS Teams, MAX), поэтому сначала сразу коротенькое видео (7 минут) с демонстрацией сценариев, а далее полученная в процессе информация и выводы:Связка выполнена на базе n8n. Для Telegram и MS Teams в n8n есть большой набор встроенных узлов (Nodes): действий (Actions: 24 для Telegram и 16 для MS Teams) и триггеров (Triggers: 9 для Telegram и 5 для MS Teams).Для MAX необходимо дополнительно установить Community Node: n8n-nodes-max.

продолжить чтение

Rambler's Top100