llm. - страница 273

llm.

AI-безопасность: зачем нужен слой на C рядом с Python-детекторами

AI Security Gold RushСейчас каждый делает решения для безопасности AI.Последний год я анализировал разные решения и вот к какому выводу я пришёл:Они все поразительно похожи:Написаны на PythonML-классификаторы для детекцииREST API обёртка50-200мс задержкаДесятки зависимостейОблачный деплойИ вот неудобная правда:Они сами становятся векторами атак.Ирония Python-решений для безопасностиКогда ваш слой безопасности:Имеет 50+ зависимостей (каждая — потенциальная CVE)Добавляет 50-200мс к каждому запросу (приглашение для DDoS)

продолжить чтение

Нейро сети для самых маленьких. Часть нулевая. Обзорная

Каждый раз, когда вы говорите нейросети «Спасибо», вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд.Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC.В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений.

продолжить чтение

Почему галлюцинации ломают каждую LLM — и что с этим делать

ИИ повсюду. Но никто не знает, будет ли он работать завтра так же, как сегодня.ИИ захватил мир. Но есть проблема

продолжить чтение

Почему внедрение LLM в АИС «Налог-3» неизбежно — и что это изменит в налоговом контроле

После моей статьи про АИС «Налог-3» (как одну из самых мощных государственных IT-систем России) в комментариях больше всего спорили не про масштабы данных и вопроса, «видит ли ФНС всё». Основной скепсис вызвал мой тезис о необходимости внедрения больших языковых моделей (LLM) в работу налоговых органов. Основной аргумент в противовес моей позиции звучал так: «Зачем там нужен Искусственный Интеллект? Всё формализовано, достаточно жестких алгоритмов и грамотных шаблонов. Экспертная система справится сама, не надо усложнять».

продолжить чтение

Ollama Tutorial: How to Run Local AI Models with Ollama

Ollama has become the standard for running Large Language Models (LLMs) locally. In this tutorial, I want to show you the most important things you should know about Ollama.Watch on YouTube: Ollama Full TutorialWhat is Ollama?Ollama is an open-source platform for running and managing large-language-model (LLM) packages entirely on your local machine. It bundles model weights, configuration, and data into a single Modelfile package. Ollama offers a command-line interface (CLI), a REST API, and a Python/JavaScript SDK, allowing users to download models, run them offline, and even call user-defined functions. Running models locally gives users privacy, removes network latency, and keeps data on the user’s device.Install OllamaVisit the official website to download Ollama 

продолжить чтение

Установка и настройка llama.cpp с ROCm на Ubuntu 24.04 для AMD Radeon RX 7600 XT

Однажды захотел я установить Ubuntu 24.04 для локального запуска LLM-моделей. Поскольку моя система полностью на базе AMD (процессор Ryzen 7600 и видеокарта Radeon RX 9060 XT), логичным выбором стал стек ROCmОднако быстрого и понятного руководства «от и до» для свежего Ubuntu 24.04 я не нашёл — даже нейросети давали устаревшие или фрагментированные советы.В этой статье я подробно разберу весь путь: от установки драйверов ROCm до получения первого ответа от модели через Python-скрипт. Надеюсь, этот гайд сэкономит время тем, кто столкнётся с аналогичной задачей.1. Установка системы и драйверов ROCm

продолжить чтение

Итоги LLM в 2025 году: прогресс, проблемы и прогнозы

Один из лучших обозревателей в мире LLM выпустил масштабный разбор всего самого важного, что случилось с языковыми моделями в 2025 году. Я перевел, чтобы как можно больше людей прочитало этот фундаментальный труд. Дальше — слово автору.На исходе 2025 года предлагаю оглянуться на ключевые достижения в области больших языковых моделей (LLM) и проанализировать оставшиеся ограничения и нерешенные проблемы, а также высказать несколько соображений о дальнейшем развитии событий.

продолжить чтение

АИС «Налог-3»: почему это одна из самых мощных государственных IT-систем России

ПредисловиеЗа последнее десятилетие Федеральная налоговая служба (ФНС) совершила фундаментальный переход от традиционной модели администрирования к подходу, основанному на анализе больших баз данных.Если вы соприкасались с налоговой системой - проходили проверки, бывали на комиссиях в инспекциях, общались с налоговыми органами, то вы слышали про АИС «Налог-3», одну из самых масштабных государственных IT-платформ в России.

продолжить чтение

Новое исследование: LLM используются для обучения и оценки автономных агентов

Новые результаты

продолжить чтение

Локальный Tool Calling или «У нас есть BFCL-V4 дома»

В своей прошлой статье я рассказывал о компактной модели, которая по бенчмаркам смогла превзойти модели в 10 раз больше ее самой. О том, что это стало возможным благодаря особому подходу к обучения самой модели и что такую модель вполне реально запустить у себя локально.Однако, когда дело касается локального запуска, думаю, далеко немногие из нас запускают модели в BF16 через vLLM на Nvidia H100. А значит, все эти красивые результаты по бенчмаркам на практике, вероятнее всего, очень далеки от того, что мы получим на практике.И я решил это проверить.

продолжить чтение