Тестирование LLM-приложений с DeepEval
Всем привет! Меня зовут Максим. Я NLP‑инженер в red_mad_robot и автор Telegram‑канала Максим Максимов // IT, AI. В этой статье я расскажу о том, как тестировать приложения с использованием Large Language Model (LLM), на примере инструмента DeepEval. Тестирование приложений, в которых используются LLM, отличается от тестирования других приложений. В частности, можно выделить 2 основные проблемы: Недетерминированность. В связи со своей спецификой LLM могут давать разные ответы на одни и те же запросы, что создаёт сложности во время тестирования;Работа с естественным языком.
Claude Code изнутри: как устроены AI-агенты для разработки
Команда AI for Devs подготовила перевод статьи о том, как на самом деле устроены AI-агенты для программирования. Автор шаг за шагом показывает, что за Claude Code не стоит магия: это последовательный агентный цикл, инструменты, контроль разрешений и работа с контекстом.Что делает Claude Code мощным, на удивление просто: это цикл, который позволяет ИИ читать файлы, запускать команды и итеративно работать, пока задача не будет выполнена.Сложность начинается там, где нужно разрулить пограничные случаи, сделать хороший UX и встроиться в реальные процессы разработки.
Сотрудники крупных ИИ-компаний запустили проект Poison Fountain, чтобы навредить обучению нейросетей
Если некоторые радикальные критики ИИ предлагают взрывать дата‑центры
Функция потерь: как алгоритм понимает, что он ошибся
Доброго времени суток, «Хабр»!Представьте, что вы играете в дартс. Сначала ваши дротики разлетаются по всей мишени, но с каждой попыткой вы постепенно приближаетесь к заветному центру. Человек интуитивно понимает, что нужно скорректировать бросок: сильнее, выше, левее или правее. Примерно так же работает и алгоритм машинного обучения. Только вместо интуиции там есть функция потерь.Сегодня поговорим об этой функции, попробуем в ней разобраться и понять, как же алгоритм понимает, что он ошибся. Принимайте стратегически удобное положение, ну а я приступаю к своему повествованию.
Экономисты OpenAI уволились, потому что компания отказывается публиковать правду об ИИ и рабочих местах
Что происходит, когда ваши собственные исследователи называют вас пропагандистским рупором, почему CEO Anthropic признаёт, что 50% рабочих мест могут исчезнуть, и данные, которые OpenAI отчаянно хочет похоронить.Фото:
Machine Unlearning. Часть 1: Почему моделям нужно уметь забывать
Большие языковые модели (LLM) сегодня умеют невероятно много — от генерации текста до сложного анализа данных. Но что происходит, если часть информации, на которой они обучались, нужно удалить? Просто убрать лишние данные и переобучить модель может быть слишком накладно и дорого.Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft. В этой статье я расскажу о достаточно новом направлении машинного разучивания (Machine Unlearning), которое позволяет моделям "забывать" ненужные знания без полного их переобучения.
