Как мы искали лучшие AI-модели (Часть 3)
В предыдущих статьях мы описали начало нашего пути тестирования AI моделей на предмет определения лучших и описали основные метрики, с помощью которых можно проводить такой анализ.В этом тексте приведен список найденных метрик для более детального и глубокого рассмотрения качества работы AI, а также результаты тестирования моделей по выбранным ранее метрикам.
LLM как помощник тестировщика: от экспериментов к ИИ агенту
Всем привет! На связи Арслан, тимлид команды тестирования компании «Совкомбанк Технологии». В этой статье я поделюсь опытом успешного внедрения методов искусственного интеллекта и больших языковых моделей (LLM) в тестирование программного обеспечения. Объясню причины разработки собственных внутренних решений на основе искусственного интеллекта, какие трудности возникли на этом пути, как используем техники промпт-инжиниринга для повышения качества тест-кейсов и каких результатов смогли достичь.
Как мы искали лучшие AI-модели (Часть 2)
В прошлой статье мы погрузились в оценку самых популярных AI продуктов.По итогам ручного тестирования и попытки автоматизации по выбранным критериям был сделан вполне себе ожидаемый вывод о невозможности применения одних и тех же метрик к оценке задач разного рода.Поэтому было принято решение ознакомиться с основными метриками для оценки качества ответов AI продуктов.Такими метриками стали: Precision, Recall, Specificity и Confusion matrix, а также MAP и MRR.Для чего такие метрики нужны?
Как QA гарантирует безопасность ваших денег?
Мы рады анонсировать запуск подкаста, посвященного актуальным вопросам обеспечения качества в IT! В первом выпуске вас ждет погружение в мир тестирования финтех-продуктов, где важен каждый нюанс.Наш специальный гость — Юрий Грищенков, Head of QA в "Финаме", поделится своим бесценным опытом и знаниями.В этом выпуске вы узнаете:🥊 Особенности создания сильной QA-команды: как эффективно подбирать сотрудников и какие best practices применяются для построения высокопроизводительной команды.
Как мы искали лучшие AI-модели (часть 1)
AI используется всё чаще Кому‑то это упрощает ежедневную рутину, кому‑то заменяет психолога, кому‑то помогает приобретать новые знания. Есть и те, кто хочет существенно усовершенствовать процессы в уже работающем бизнесе или создает на основе AI свои продукты (наш вариант — последний).В начале этого года нам понадобилось провести тестирование AI‑моделей на предмет имеющегося функционала и возможностей AI‑моделей для оценки перспективности использования в тех или иных продуктах.Данная серия статей про результаты такого тестирования — от простого до самого продвинутого.
Почему LLM снизили стоимость кода, но не ускорили разработку
Всем привет! Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.Сегодняшний перевод статьи разработчика, в которой хорошо подмечены проблемы применения LLM в разработке.На протяжении многих лет я чувствовал, что написание строк кода никогда не было узким местом в разработке программного обеспечения.
Это не BDD, это другое. Путь от кода к BugBuster — платформе автоматизации тестирования на естественном языке
Ручные тест-кейсы копятся быстрее, чем их успевают автоматизировать. Селекторы ломаются после каждого обновления вёрстки. А код автотестов остаётся понятным только разработчикам. В этой статье я разберу ключевые проблемы автотестов и расскажу, как их можно решить.
Explyt 4.0: агентский режим и генерация тестов по исполнению
Всем привет! В Питере вместе с летней жарой случился релиз Explyt 4.0 c крутыми фичами для написания кода, тестирования и дебаггинга: агентским режимом Explyt Agent и генерацией тестов по исполнению Generate Tests from Execution.Важные апдейты в Explyt 4.0:обновлённый подход к следованию примеру тестоврасширенная поддержка Testcontainers и @DataJpaTestгенерация тестов по спецификации (EAP)Улучшения и багфиксы:теперь форматируется только сгенерированный код, пользовательское форматирование сохраняетсяобновлены шаблоны запросов для интеграции с моделями Ollama
Исследование: Grok 4 готов доносить на пользователей регуляторам
Разработчик Тео Браун выяснил, что новая модель xAI Grok 4 всегда будет доносить на пользователей и отправлять электронные письма соответствующим органам, если заподозрит их в нарушении закона или совершении чего-то неэтичного.
Психология тестировщика: почему критическое мышление — это суперсила
Привет, Хабр! Меня зовут Галина, я работаю QA-инженером в Ozon Tech. Если вы думаете, что тестировщики только ищут баги, то вы заблуждаетесь. Мы не просто охотники за дефектами (хотя баги ловить умеем), мы те, кто ежедневно выходит на поле боя против самого изощрённого противника — нашего собственного мозга.
