llm. - страница 240

llm.

LLM Inside: выжимаем максимум из Decoder Attention на GPU

продолжить чтение

Почему мы ненавидим, но так любим нейросети

Да, я перегнул с заголовком. Не все мы, слава богу, вайбкодеры/вайбкопирайтеры и не все безума от нейронок. Но потерпите минуту.ДисклеймерЭта статья существует в двух экземплярах и будет опубликована на Хабре.Одна написана полностью под ключ Claude 4.6 — с минимальными правками (может получиться даже без них) и одним максимально подробным промптом. Основой для промпта послужит моя заметка:Идея для статьи на хабре — исследовать тему почему нас раздражает текст сгенерированный нейросетями в блогах/статусах/рекламных текстах/статьях и высказаться на этот счет.

продолжить чтение

Как уместить опыт в одностраничный PDF

И такое бываетЧто-то пошло не так

продолжить чтение

Эволюция Telegram-бота на локальной LLM от болтуна до мини-игр, генерации фото, возможности выбора модели

Хочу поделиться историей создания Telegram-бота, работающего полностью на локальной ИИ. В качестве языковой основы используется Ollama, а для генерации изображений — AUTOMATIC1111. Весь код написан на Python с библиотекой python-telegram-bot. Почему выбрал именно Ollama? Потому что она бесплатна, есть множество открытых моделей и её очень просто развернуть в своем проекте. Если брать облачные решения от других компаний, например ChatGPT, то тут можно уперется в то, что за них нужно платить. Модели я подбирал под свой компик: 5070 и 32 гб оперативы. Сервера своего нету, поэтому бот работает только когда я дома.

продолжить чтение

Как Red Teaming и человеческий креатив позволяют оценить риски внедрения LLM в бизнес-процессы

В кибербезопасности существует подход под названием Red Teaming — когда одна команда имитирует атакующего, а другая защищает систему. С появлением больших языковых моделей тот же принцип стал применяться к ИИ. Только теперь атакуют не серверы и базы данных, а сами LLM-агенты — системы, которые умеют рассуждать, выполнять команды и взаимодействовать с внешними инструментами. Red Team здесь ищет способы выявить уязвимости и подсветить риски модели, а Blue Team — защитить её. Именно на стыке этих подходов возникла новая область — Red Teaming LLM-агентов, где тестирование превращается в исследование границ самого искусственного интеллекта.

продолжить чтение

Что делать, когда AI-агент «упал»: архитектура отказоустойчивости

Понедельник, 9 утра. Начало рабочей недели.API OpenAI лёг. Или лимиты закончились. Или интернет в офисе пропал.Что делает AI-агент? Ничего. А процесс, который он обслуживал, встаёт. Заявки копятся, договоры не согласовываются, клиенты ждут.И хуже всего — люди не знают, что агент не работает. Думают, что всё идёт по плану.Реальные сценарии сбоевЗа год работы с AI-агентами в проде я собрал коллекцию того, что ломается.Сбои провайдера LLM. OpenAI: 2-3 крупных сбоя в год плюс периодические замедления. Anthropic: реже, но бывает. GigaChat: стабильнее, но тоже не без проблем.Сетевые проблемы.

продолжить чтение

Артефактно-ориентированная разработка с AI-ассистентами: методология синхронизации контекста

ВведениеС появлением больших языковых моделей (LLM) парадигма разработки программного обеспечения претерпевает фундаментальные изменения. Однако в ходе практической работы я столкнулся с системным ограничением: существующие платформы AI-ассистентов накладывают жесткие лимиты на объем передаваемого контекста.Для проекта средней сложности (30–50 файлов, 10–50K строк кода) передача полного контекста за одну сессию часто невозможна без специальных методов компрессии. Ниже я представляю методологию, которую разработал для решения этой проблемы.🎯 Личный контекст: зачем мне это понадобилось

продолжить чтение

Современные LLM – это больше, чем просто предсказание слов

«Эта модель лучше шутит, а та лучше пишет код» — отличный критерий выбора, если вы просто переписываетесь с чатиком. Но как только LLM оказывается внутри продукта, нас перестаёт интересовать юмор и начинает волновать архитектура: encoder–decoder против decoder‑only, мультимодальные энкодеры, test‑time reasoning, скрытые цепочки рассуждений. В этом посте попробуем перестать выбирать между логотипами и посмотреть на языковые модели как на инженерные конструкции с понятными trade‑off’ами.В первоначальной архитектуре трансформера кодировщик (encoder) и декодировщик

продолжить чтение

L в аббревиатуре LLM означает «ложь»

Если верить хайпу, та отрасль разработки ПО, к которой мы привыкли, уже мертва. Однако странно, что, несмотря на годы работы с ИИ-инструментарием, результаты выглядят, ощущаются и работают примерно так же, как и в начале: невзрачно.

продолжить чтение

Кто виноват, если AI-агент ошибся: распределение ответственности

Агент согласовал договор. В договоре была ошибка в реквизитах. Компания перевела деньги не туда.Кто виноват?Разработчик? Сотрудник, который запустил процесс? Руководитель, утвердивший внедрение?Это не философский вопрос. Это юридический и организационный. И если на него нет ответа до запуска — первый же инцидент парализует всю систему.Почему это важноВ прошлой статье я показал, что инструкция для LLM-агента — это 10-15 страниц вместо полстраницы для человека. Но даже идеально описанный процесс не гарантирует отсутствие ошибок.AI-агенты ошибаются. Это факт.

продолжить чтение