Как тестировать AI-приложения — LLM метрики
Меня зовут Лилия Урмазова, более 20 лет назад я начала работать классическим QA-инженером.А последние пару лет специализируюсь на тестировании AI-приложений. В настоящее время — Senior Staff AI-QA Engineer/ML Evaluation Engineer в крупной международной IT-компании.Для тех тестировщиков, кто хочет как минимум быть “в курсе” тестирования AI, я с коллегами подготовила небольшой бесплатный практический курс.Хорошая новостьКое-что из того, что касается тестирования AI-приложений, можно мерить классическими, легко рассчитываемыми метриками.
Может ли ИИ заменить QA?
Уже несколько лет подряд у всех на слуху ИИ и тезисы о том, что он заменит человечество, а если и не заменит, то ускорит до немыслимых высот. Сегодня я хотела бы подискутировать на эту тему в области обеспечения качества, хотя рискую, кажется, оказаться в ряду динозавров.Всем привет, меня зовут Настя, я QA Lead, преподаватель курса «JavaScript QA Engineer»
15 промптов ChatGPT для QA
СодержаниеЗачем QA-инженеру промпты? Блок 1. Анализ требований Промпт #1: GAP-анализ требований Промпт #2: Матрица тест-покрытия Блок 2. Тест-дизайн Промпт #3: Boundary Value Analysis + бизнес-логика Промпт #4: State Transition Testing Блок 3. Работа с багами Промпт #5: Root Cause Analysis (5 Why's) Промпт #6: Баг-репорт по стандарту IEEE 829 Блок 4. Тестовые данные Промпт #7: Генерация реалистичных тестовых данных
Беда «войти в айти» или курсы тестировщика отзывы: Наконец, QA-курсы закрываются
Хорошая новость: рекламы “тестирование - это легкий вход в айти” от крупных онлайн-платформ больше нет, экономика вместе с IT-наймом упали и курсы по тестированию начали закрываться.Плохая новость: первыми закрываются курсы с уровнем трудоустройств студентов 50%. А не те, после которых офферы в IT получают 5%. Значит, инфоцыган пропорционально становится только больше.Последний уезжающий — выключи светШироко известный в узких кругах Артем Русов больше не набирает учебные группы по тестированию. Не менее известный Леша Маршал
Основатель Neocities потратил недели на общение с техподдержкой Microsoft после блокировки своих сайтов
Основатель Neocities Кайл Дрейк провёл несколько недель в цепочке автоматизированной поддержки Microsoft после того, как обнаружил, что поисковик Bing незаметно заблокировал все 1,5 миллиона веб-сайтов, размещённых на его платформе.
Самописные уведомления от Claude Code в Telegram
ПроблематикаПока работал над флоу в статье, заметил, что некоторое количество просадок в производительности при работе с агентом вне режима авто-пилота возникает из-за тихих ожиданий. Например, ты не смотришь в IDE, читаешь что-то, а Claude Code сидит тебя ждет. Особенно это надоедает, когда агенту нужно какое-то разрешение.Я люблю и практикую ChatOps. Поэтому решение пришло само: пусть агент мне пишет в телеге, когда я ему нужен. ИсследованиеСначала думал сунуть curl с коллбэком API телеги в CLAUDE.md, но:Не секьюрно
От монолога к диалогу: как «Три амиго» научили нас сверять карты перед стартом
Привет, Хабр! Я являюсь тестировщиком компании TravelLine. Мы разрабатываем единую систему для гостиничного предприятия, которая помогает отелям, санаториям и другим средствам размещения автоматизировать свои бизнес-процессы. В этой краткой статье (я бы назвал её отзывом на инструмент) я не буду рассказывать о концепции встреч в формате “3 Амиго”, хочу лишь поделиться личным опытом внедрения таких сессий в процесс разработки требований в одной из своих команд.
Экипировка Бонда: полезные инструменты DevTools
Привет, Хабр! С вами Карлен, Lead Fullstack разработчик в ITFB Group.
Почему я выбрал Suno AI для создания мемного альбома «Вася Тестировщик»?
Сразу вкратце отвечу на заголовок: выбрал Suno, поскольку ему уступают Tad, Yolly и Udio.Ещё сразу предупрежу, что для доступа к некоторым материалам статьи, вложенным из сторонних источников, может пригодится включенный VPN.В этой статье поделюсь опытом сравнения разных ИИ-генераторов, а также интересными находками про них, которые открыл в процессе написания альбома с помощью ИИ. Подспудно упомяну как можно больше интересных с моей точки зрения технических подробностей о процессе создания песен с искусственным интеллектом (ИИ). Примеры песен будут не только из моего альбома.
Amazon вернула к жизни сайт Alexa.com
Amazon вернула сайт Alexa.com в новом дизайне на выставке CES 2026, сделав его ещё одним домом для Alexa+. ИИ-помощника представили в феврале 2025 года и позже интегрировали с Amazon Music.
