Нефункциональное тестирование AI-приложений — бесплатный курс от Mentorpiece
Если в случае классических приложений нефункциональное тестирование часто переносят в разряд “было бы неплохо” и оставляют на потом, то при тестировании AI-приложений так уже не получится.Например, тестирование стоимости (Costs testing). Возьмем наш реальный кейс:Для выбора основной AI-модели в приложении было проведено тестирование точности (Accuracy) и стоимости популярной AI-модели А и менее известной AI-модели Б.В результате получены интересные результаты:Модель А дает на 63% ошибок больше, чем модель Б.
Как тестировать AI-приложения — LLM метрики
Меня зовут Лилия Урмазова, более 20 лет назад я начала работать классическим QA-инженером.А последние пару лет специализируюсь на тестировании AI-приложений. В настоящее время — Senior Staff AI-QA Engineer/ML Evaluation Engineer в крупной международной IT-компании.Для тех тестировщиков, кто хочет как минимум быть “в курсе” тестирования AI, я с коллегами подготовила небольшой бесплатный практический курс.Хорошая новостьКое-что из того, что касается тестирования AI-приложений, можно мерить классическими, легко рассчитываемыми метриками.
Как тестировать AI-приложения — бесплатный курс для QA-инженеров
Привет!Меня зовут Лилия Урмазова, я работаю QA-инженером уже 25 лет. Если ты в IT давно и поработал на самых разных ролях в самых разных проектах, исчезает ощущение новизны. И когда все-таки появляется что-то принципиально новое, возникает непреодолимое желание в него погрузиться. Последние пару лет я специализировалась на тестировании в зарубежных AI-стартапах.А сейчас прокачиваю экспертизу как AI-QA инженер на AI-проекте в известной международной IT-компании.
Шесть уровней AI-квалификации тестировщика
Последнее время почти любой мой диалог с русскоязычными и англоязычными инженерами по тестированию выглядит так:— Вижу у вас в профиле тестирование AI-приложений. — Я: Да.— Имеется в виду использование AI-тулов для тестирования?— Я: Нет, это разные вещи.Сейчас в разработке буквально каждый квартал происходят какие-то изменения, связанные с AI. Поэтому сложно отличить хайп от того, что компании уже фактически используют в проде. Мне удалось поучаствовать в тестировании AI-приложений на нескольких международных проектах и понять, что действительно уже обрело жизнь.
Как мы в Mentorpiece тестируем… стоимость AI-приложений
Третья статья цикла про работу AI-QA-инженера (но написана без использования AI)В предыдущих статьях:Как тестировать AI-приложения:
Как тестировать AI-приложения — Практический опыт Mentorpiece
Первая статья цикла про работу AI-QA-инженера (но написана без использования AI)Когда работаешь в IT уже почти 25 лет, то все обещаемые революционные изменения первое время воспринимаешь со значительным скепсисом. "Все - в мобайл, остальное умрёт" или "все - в крипту, в этом будущее" обычно заканчивается тем, что появляется очередное ответвление внутри IT, а старые направления никуда не деваются.
