Генерируем SQL–запросы на локальных моделях
Привет, Хабр! На связи Фёдор Пахуров и Настя Изюмова. Мы команда внутренних инициативных сервисов ecom.tech. Занимаемся разработкой продуктов для внутренних нужд компании, экспериментируем с внутренними AI-продуктами для сотрудников: от забавных и полезных ботов до автоматизации повседневных задач. Сегодня мы расскажем, как помогли разгрузить аналитиков от их типовых задач с помощью искусственного интеллекта – внутри реальные кейсы, гайды и пошаговые инструкции на примере ecom.tech. Поехали!
Как я пытался сжимать смыслы вместо байтов
Два часа ночи. Я пытаюсь впихнуть документацию проекта в контекст Claude. 847 страниц. Где-то 1.2 миллиона токенов. Контекстное окно — 200 тысяч.Делаю то, что делают все: режу, суммаризирую, выбрасываю «неважное». Каждый раз теряю что-то критичное. Это уже третий час, кофе кончился, и в голову приходит идея, которая кажется гениальной.Спойлер: она такой не была.
QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать
На прошлой неделе NVIDIA выложила отчёт про QAD и я его проигнорировал. Потому что каждый месяц кто-то "решает квантизацию" и каждый раз на практике всё не так радужно.Но потом коллега скинул табличку с AIME и я залип.Контекст такой. У нас на проде крутится модель на FP8, всё более-менее ок, но менеджмент хочет запихнуть 49B модель туда, где сейчас живёт 20B. Потому что "ну там же Blackwell, там же FP4, давайте". Я месяц назад попробовал наивно квантизовать в 4 бита — модель начала нести пургу на математике. Не сильно, но заметно. Закрыл тему, сказал что FP4 не готов.И тут этот отчёт.Что вообще происходит
Курс Natural Language Processing & LLMs — новый сезон
Всем привет! 10 февраля мы в очередной раз запускаем бесплатный онлайн-курс по обработке естественного языка (Natural Language Processing). Если кто-то не знал или забыл, это проект Open Data Science и компании MWS AI в партнерстве с ИТМО, МФТИ и ВШЭ, мы его проводим уже 10 сезонов.
Как я сделал свой АИС-Налог и для чего он нужен
ПредисловиеЭта статья — описывает мой проект, по созданию универсальной системы для бизнеса «АIS NP», которая решает проблемы сопровождения налоговых проверок для специалистов этой сферы (руководители, бухгалтеры, юристы и налоговые консультанты)
Как мы делали ИИ-репетитора для ЕГЭ по математике
Пост-мортем студенческого стартапа.Глава первая. Собственное разочарованиеЗима 2023-го. В это время и я, и мой будущий кофаундер Артур учились в 11-м классе, усердно готовясь к финальным экзаменам. Подготовка большую часть времени состояла из отчаянных ночных посиделок, во время которых слезившиеся от яркости монитора глаза уже пятый раз подряд усердно перечитывали:«В правильной четырехугольной пирамиде через точку A параллельно BD проведена плоскость α, а через точки В и D параллельная ей плоскость β так, что сечения пирамиды этими плоскостями имеют равные площади»,
Нейросети не смогут в AGI
Современный AI не может накапливать интеллект со временем — каждый навык приобретается ценой забывания других. Это архитектурный тупик, а не вопрос масштаба.Количество параметров нейросетей уходит в бесконечность. Чипы дорожают. Масштабирование продолжается. Илон Маск обещает рождение AGI к концу этого года. И единственный лимит, который он видит, это количество доступной энергии и сами чипы.Но что вкратце делает трансформер-сеть?
