llm. - страница 34

llm.

Сколько примеров нужно, чтобы проверить безопасность AI-приложения

С этим вопросом мы столкнулись при улучшении нашего продукта для red-teaming. Вы реализовали приложение, меры безопасности для него, и проверили, что все работает. Если приложение выдержало все попытки обойти защиту, хочется считать проверку успешной. Но, возможно, их было недостаточно, чтобы обнаружить нарушения. В статье описываем решение, которое помогает различать «нарушений не нашли» от «у нас данных недостаточно».

продолжить чтение

Depth Spectrum: Tool Operation <-> Whitebox Engineering

Привет, <username>!Начинаю цикл статей про инженерную культуру. Сегодня хотелось бы разобрать концепцию спектра - глубины инженерного понимания и исследования технологий.На одном полюсе - Tool Operation, на другом - Whitebox Engineering. Это не булевый флаг, хороший/плохой подход, а качественная шкала, в итоге помогающая найти грамотные решения и избежать множества проблем.

продолжить чтение

Чат на сайте не должен врать: почему наш ассистент иногда честно отвечает «точного ответа нет»

Представьте: посетитель интернет-магазина спрашивает в чате, сколько дней на возврат. Бот бодро отвечает: «30 дней, без вопросов». На сайте при этом написано 14. Через три недели покупатель приходит с товаром и скриншотом переписки. Спорить с ним бесполезно: «ваш же консультант сказал».

продолжить чтение

Как мы научили ИИ‑агента не выдумывать цифры в отчётах

Это статья о том как мы делали модуль автономного выполнения целей в корпоративном ИИ‑ассистенте KW-7 AI. Цель вместо вопросаОбычно в чате человек задаёт вопрос и получает ответ. В KW-7 AI есть режим целей в котором пользователь ставит задачу крупнее: «Подготовь обзор рынка электромобилей в России: продажи по годам, доля рынка, основные марки, прогноз». Система сама составляет план, ищет в интернете, читает страницы, считает, строит графики и сохраняет отчёт. От пятнадцати минут до часа работы без участия человека.

продолжить чтение

Is LLM Interpretability Proven?

A recently published research essay claims that the difficulty of neural network interpretability has been overstated. In his essay on goodfire.com, Nick Cammarata argues that neuron polysemanticity is caused not by superposition but by ordinary, mostly fixable issues — and that most neurons, even in massive models, perform a single, understandable job. The author himself calls the text a working hypothesis: the technical paper with a full description of the experiments has not been released yet. However, as usual, a bold headline and strong claims have sparked numerous retellings in which the hypothesis has turned into established fact.Below is a quick look at this hypothesis.Spot-checking Cammarata’s claimsSummarizing the essay is probably unnecessary. It is written clearly and persuasively, so it is easy to follow the arguments and the preliminary description of the experiments on your own.

продолжить чтение

Jev: зачем нужна модель для решений и как её использовать

В чат приходит сообщение: «Подскажите, как подключить уведомления только для новых заказов?» Приложению нужно определить его тип: вопрос, реклама или другое. Дальнейшее действие зависит от выбранной категории.Jev от TypeSafe AI

продолжить чтение

5 задач, которые я больше не хочу делать руками после знакомства с AI-агентами

Начну с вывода: если одну и ту же скучную операцию я делаю руками второй раз, где-то в мире грустит один AI-агент. А если третий — вероятно, уже и Python-скрипт.Я довольно долго воспринимал AI в основном как ещё один интерфейс к языковой модели: задать вопрос, получить ответ, попросить что-то переписать, объяснить код или помочь с формулой. А потом начал пользоваться AI-агентами и довольно быстро понял, что разница между ними и обычным чатом куда менее магическая, чем иногда кажется.

продолжить чтение

Код-ревью в эпоху ИИ: как агенты меняют проверку кода

Изменения в процессе ревью я остро ощущаю на себе прямо сейчас. Самих PR-ов стало больше и они стали гораздо длиннее, потому что LLM позволяет сразу писать кучу тестов, обновлять документацию и делать ещё много вспомогательной работы. Это накладывает свой отпечаток на мою работу: приходится ревьюить гораздо больше кода и качество этого процесса постепенно снижается с усталостью. Каждый последующий аппрув я ставлю с меньшей уверенностью.

продолжить чтение

NVIDIA CMP 50HX: Еще не все потеряно…

ПредысторияЕсть домашний сервер обычной “подстольной” конфигурации. Proxmox с несколькими виртуалками. В какой-то момент прикупил на аукционе NVIDIA CMP 50HX за копейки, ради поиграться с простенькими модельками. Модели запускаю через llama.cpp, дополнительно использую Whisper для распознавания речи. Быстро смирился со скоростью работы и жил с этим всем спокойно несколько месяцев, пока не наткнулся на статью NVIDIA CMP – микроскопы для забивания гвоздей? Копаем глубже….Очень рекомендую прочесть статью

продолжить чтение

10 API-роутеров с долгосрочным бесплатным или сверхдешёвым доступом к Claude, GPT, DeepSeek, GLM и другим моделям

Чтобы получить доступ к современным языковым моделям по API, необязательно обращаться напрямую к крупным поставщикам таких услуг. Сторонние роутеры тоже предлагают бесплатные модели, ежедневные квоты и стартовые бонусы. Для повседневных задач такие варианты иногда оказываются выгоднее прямого подключения.Я собрал 10 таких сервисов и посмотрел, что они дают после регистрации: какие модели доступны бесплатно или почти бесплатно, какие действуют ограничения и можно ли использовать эти модели и предоставленные квоты через API для выполнения нужных задач.

продолжить чтение