llm.
Машинка квазителепатии
У каждого из нас есть свое воображаемое кладбище. Это кладбище, на котором похоронены скоропостижно скончавшиеся идеи. Едва начав писать свои первые тексты (и вволю начитавшись фантастики), лет так в восемь, я мечтал о девайсе, который помогал бы мне ловить идеи за хвост и сажать на привязь сразу же, как они появляются, в любой обстановке. Грандиозные мысли имели обыкновение являться в мой мозг в самых неподходящих ситуациях и улетучиваться, как только я дорывался до карандаша. Если все-таки удавалось что-то зафиксировать, то расшифровать эти таинственные письмена позже было сложновато.
Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2
Всем привет! В первой части мы разобрали теорию
Большим GPU не нужны большие PC
Raspberry Pi eGPU vs PC GPUС тех пор, как я научил графические карты AMD, Intel и Nvidia работать с Raspberry Pi, меня мучил вопрос:
Как я пытался создать «конструктор налоговых проверок» для повышения эффективности работы ФНС
Для начала - немного контекста. Я не программист и не разработчик. Последние 12 лет я проработал в Федеральной налоговой службе. Начинал с низов, занимался выездными и камеральными проверками (проводил лично и курировал). Два месяца назад я уволился, завел свой телеграм-канал и теперь работаю в налоговом консалтинге.Эта статья - история о том, как я попытался решить огромную проблему государственной системы с помощью домашнего ноутбука и нейросетей. О том, как я переоценил свои силы, недооценил масштаб задачи, но все-таки попробовал создать инструмент, который мог бы изменить работу инспектора.
Скрытые сигналы: как модели учатся тому, чего нет в данных
Изображение: Scientific American
AI-безопасность: зачем нужен слой на C рядом с Python-детекторами
AI Security Gold RushСейчас каждый делает решения для безопасности AI.Последний год я анализировал разные решения и вот к какому выводу я пришёл:Они все поразительно похожи:Написаны на PythonML-классификаторы для детекцииREST API обёртка50-200мс задержкаДесятки зависимостейОблачный деплойИ вот неудобная правда:Они сами становятся векторами атак.Ирония Python-решений для безопасностиКогда ваш слой безопасности:Имеет 50+ зависимостей (каждая — потенциальная CVE)Добавляет 50-200мс к каждому запросу (приглашение для DDoS)
Нейро сети для самых маленьких. Часть нулевая. Обзорная
Каждый раз, когда вы говорите нейросети «Спасибо», вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд.Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC.В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений.
Почему галлюцинации ломают каждую LLM — и что с этим делать
ИИ повсюду. Но никто не знает, будет ли он работать завтра так же, как сегодня.ИИ захватил мир. Но есть проблема
Почему внедрение LLM в АИС «Налог-3» неизбежно — и что это изменит в налоговом контроле
После моей статьи про АИС «Налог-3» (как одну из самых мощных государственных IT-систем России) в комментариях больше всего спорили не про масштабы данных и вопроса, «видит ли ФНС всё». Основной скепсис вызвал мой тезис о необходимости внедрения больших языковых моделей (LLM) в работу налоговых органов. Основной аргумент в противовес моей позиции звучал так: «Зачем там нужен Искусственный Интеллект? Всё формализовано, достаточно жестких алгоритмов и грамотных шаблонов. Экспертная система справится сама, не надо усложнять».
