llm.
Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2
Всем привет! В первой части мы разобрали теорию
Большим GPU не нужны большие PC
Raspberry Pi eGPU vs PC GPUС тех пор, как я научил графические карты AMD, Intel и Nvidia работать с Raspberry Pi, меня мучил вопрос:
Как я пытался создать «конструктор налоговых проверок» для повышения эффективности работы ФНС
Для начала - немного контекста. Я не программист и не разработчик. Последние 12 лет я проработал в Федеральной налоговой службе. Начинал с низов, занимался выездными и камеральными проверками (проводил лично и курировал). Два месяца назад я уволился, завел свой телеграм-канал и теперь работаю в налоговом консалтинге.Эта статья - история о том, как я попытался решить огромную проблему государственной системы с помощью домашнего ноутбука и нейросетей. О том, как я переоценил свои силы, недооценил масштаб задачи, но все-таки попробовал создать инструмент, который мог бы изменить работу инспектора.
Скрытые сигналы: как модели учатся тому, чего нет в данных
Изображение: Scientific American
AI-безопасность: зачем нужен слой на C рядом с Python-детекторами
AI Security Gold RushСейчас каждый делает решения для безопасности AI.Последний год я анализировал разные решения и вот к какому выводу я пришёл:Они все поразительно похожи:Написаны на PythonML-классификаторы для детекцииREST API обёртка50-200мс задержкаДесятки зависимостейОблачный деплойИ вот неудобная правда:Они сами становятся векторами атак.Ирония Python-решений для безопасностиКогда ваш слой безопасности:Имеет 50+ зависимостей (каждая — потенциальная CVE)Добавляет 50-200мс к каждому запросу (приглашение для DDoS)
Нейро сети для самых маленьких. Часть нулевая. Обзорная
Каждый раз, когда вы говорите нейросети «Спасибо», вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд.Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC.В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений.
Почему галлюцинации ломают каждую LLM — и что с этим делать
ИИ повсюду. Но никто не знает, будет ли он работать завтра так же, как сегодня.ИИ захватил мир. Но есть проблема
Почему внедрение LLM в АИС «Налог-3» неизбежно — и что это изменит в налоговом контроле
После моей статьи про АИС «Налог-3» (как одну из самых мощных государственных IT-систем России) в комментариях больше всего спорили не про масштабы данных и вопроса, «видит ли ФНС всё». Основной скепсис вызвал мой тезис о необходимости внедрения больших языковых моделей (LLM) в работу налоговых органов. Основной аргумент в противовес моей позиции звучал так: «Зачем там нужен Искусственный Интеллект? Всё формализовано, достаточно жестких алгоритмов и грамотных шаблонов. Экспертная система справится сама, не надо усложнять».
Ollama Tutorial: How to Run Local AI Models with Ollama
Ollama has become the standard for running Large Language Models (LLMs) locally. In this tutorial, I want to show you the most important things you should know about Ollama.Watch on YouTube: Ollama Full TutorialWhat is Ollama?Ollama is an open-source platform for running and managing large-language-model (LLM) packages entirely on your local machine. It bundles model weights, configuration, and data into a single Modelfile package. Ollama offers a command-line interface (CLI), a REST API, and a Python/JavaScript SDK, allowing users to download models, run them offline, and even call user-defined functions. Running models locally gives users privacy, removes network latency, and keeps data on the user’s device.Install OllamaVisit the official website to download Ollama
