Fine-tuning Qwen-8B под проприетарный синтаксис (CADINP) на одной RTX 3090: опыт инженера-конструктора
Проблема: Галлюцинации в инженерных расчетахЯ занимаюсь расчетами строительных конструкций в комплексе SOFiSTiK. Основной инструмент взаимодействия с ним — внутренний язык CADINP. Это мощный, но старый процедурный язык с жестким синтаксисом: строгая последовательность модулей (AQUA -> SOFIMSHC -> ASE), специфичные команды фиксации узлов и неявные зависимости.SOTA-модели (ChatGPT-4o, Claude 3.5 Sonnet) справляются с CADINP посредственно. Основные проблемы при генерации кода general-purpose моделями:Синтаксический шум: Выдумывание несуществующих аргументов функций.Потеря контекста:
Apple выбирает Gemini для новой Siri, xAI поднимает $20 млрд, AI добирался до медкарт: главное новости AI с начала года
OpenAI запустила ChatGPT Здоровье: отдельный раздел с подключением к медицинским картам и health-приложениям, 230 млн человек еженедельно спрашивают ChatGPT о здоровье — waitlist открыт.Anthropic запустила Cowork: агентный режим Claude с доступом к локальным файлам — сортировка, редактирование, создание документов с очередью задач, пока только Claude Max на macOS.Google представила Personal Intelligence: Gemini подключается к Gmail, Photos и YouTube для персонализированных ответов — бета в США для AI Pro и AI Ultra.Apple переходит на Gemini:
Голоса в голове делают ответы ИИ лучше — исследование Google
Исследователи из Google и Чикагского университета выяснили
Конец эры «одноядерного» разума: Почему будущее ИИ — это гонка архитектур, а не параметров
От автора
ClickHouse приобрела разработчика ИИ-решений Langfuse
Американский стартап с российскими корнями ClickHouse приобрёл разработчика ИИ-решений Langfuse, чтобы создать лучшую версию платформы для LLM-инженерии.
«Галлюцинации LLM — это не баг»: профессор математики объясняет, почему ИИ не перестанет врать
Владимир Крылов, профессор математики, научный консультант Artezio и один из самых глубоких русскоязычных экспертов по применению ИИ в разработке, дал интервью по итогам года. Мы поговорили о том, почему reasoning-модели галлюцинируют вдвое чаще обычных (и это математически неизбежно), почему OpenAI объявил «код красный» и отстаёт от Google, и правда ли, что программисты, умеющие писать код только руками, скоро вымрут как вид. Спойлер: Паваротти не умел читать ноты, и это кое-что говорит о будущем vibe-coding.Владимир Крылов регулярно проводит лекции о практическом применении LLM в разработке на канале Ai4dev
Анатомия трансформеров: почему обычный Self-Attention больше не используют
Как работают языковые модели? Думаю, это один из самых актуальных вопросов в последние годы. Я регулярно задаюсь этим вопросом и постоянно читаю материалы по работе трансформеров. Из всего, что я узнал, самый сложный, по моему мнению, механизм в работе LLM - внимание (attention)ВведениеПривет, Хабр! В этой статье я постараюсь рассказать, как механизм внимания помогает языковым моделям обрабатывать тысячи слов контекста и почему с этим не справлялись в свое время обычные RNN. В конце статьи я расскажу про проблемы классического attention и современные адаптации.
Пишем статью на Хабр, используя ИИ: бросаем вызов детекторам искусственного интеллекта
Давайте будем честными: огромное количество авторов статей на уважаемом всеми нами Хабре прибегает к помощи нейросетей. Кто-то структурирует свои хаотичные заметки в нечто осмысленное (так делаю я, например). Кто-то проверяет грамматику и стиль, или просит ИИ набросать черновик статьи, а затем перерабатывает всё вручную.
