Больше никаких «черных ящиков»: мониторим и оцениваем качество LLM-приложений с Langfuse
Представьте: вы ведете автомобиль, а на приборной панели нет ни спидометра, ни датчика топлива, ни каких-либо показателей вообще. Ни-че-го. В принципе ехать можно, но вы не знаете, какая у вас скорость, сколько бензина и есть ли с авто какие-то проблемы. Примерно так выглядит работа с LLM-приложением без инструментов мониторинга: система вроде бы и функционирует, но о ее внутреннем состоянии можно только догадываться.
Как тестировать AI-приложения — бесплатный курс для QA-инженеров
Привет!Меня зовут Лилия Урмазова, я работаю QA-инженером уже 25 лет. Если ты в IT давно и поработал на самых разных ролях в самых разных проектах, исчезает ощущение новизны. И когда все-таки появляется что-то принципиально новое, возникает непреодолимое желание в него погрузиться. Последние пару лет я специализировалась на тестировании в зарубежных AI-стартапах.А сейчас прокачиваю экспертизу как AI-QA инженер на AI-проекте в известной международной IT-компании.
Тестирование Frontend
Frontend-тестирование становится все более важным в условиях растущей сложности веб-приложений и ожиданий пользователей. Современные frontend-приложения характеризуются динамическим контентом, сложной функциональностью и необходимостью поддержки множества браузеров и устройств. Традиционные методы ручного тестирования уже не могут эффективно справляться с такими требованиями . Основная проблема заключается в том, что отсутствие системного подхода к frontend-тестированию может привести к снижению качества продукта.
Как инженеры обеспечивают стабильную связь: три доклада, которые помогут разобраться
Как в реальности тестируют телеком-оборудование, проверяют его на соответствие стандартам и используют искусственный интеллект, чтобы ускорять работу инженерных команд? На недавнем митапе специалисты YADRO и Сбера показали закулисье такого тестирования: от выездной лаборатории, которая передвигается по городу и измеряет качество связи, до строгих conformance-проверок по 3GPP и инструментов ИИ, помогающих экономить время на рутине. В статье мы собрали записи трех докладов и разобрали, что полезного можно из них вынести.
Приглашаем на ЮMoneyDay — бесплатную онлайн-конференцию про финтех и IT
5 и 6 декабря состоится ЮMoneyDay 2025 — бесплатная онлайн-конференция для разработчиков, аналитиков, инженеров, менеджеров и дизайнеров. Встречаемся в 11:00 мск.
Приглашаем на двухдневную онлайн-конференцию для IT-специалистов в финтехе
Бесплатная ежегодная онлайн-конференция ЮMoney Day состоится 5 и 6 декабря. Это уже седьмая конференция, где представители ЮMoney делятся опытом работы в финтехе. Вас ждёт более 20 докладов по разным направлениям: бэкенд, фронтенд, архитектура, тестирование, SQL и другие.
Cursor и ИИ-ассистенты ускоряют разработку — но без нормальных автотестов топят всю команду
Привет, Хабр. Пишу, потому что на текущем проекте прямо сейчас живу эту боль: всем включили Cursor «для скорости», а нормальных автотестов так и не завезли. Может, кто-то уже описывал этот кейс, но я не нашёл — поэтому делюсь своей ситуацией и тем, как это надо было делать с самого начала.Как это обычно происходитРуководство/CTO/кто-то сверху читает твиты про то, как «скорость разработки ×10 за счёт ИИ», проводит собрание и выдаёт директиву: «Теперь весь код пишем через Cursor или другие ИИ-ассистенты».
Как я тестирую крупные системы, которые невозможно протестить на статичных данных
Например, в управлении транспортом статичные данные (например, сет за «типичный вторник») не дают протестировать систему в условиях праздника, крупной аварии, сессии у студентов, скидки 99% на Лабубу в крупном супермаркете и так далее. Что мы сделали:— Стали брать реальные данные с прода, которые выбиваются за стандартные представления.— Обезличивать их.— Использовать ML-модель для генерации сценариев, где эти данные увязываются с остальными в системе. Это типа генерации новых данных с усилением трендов и их пересечением.
Как мы будем тестировать человекоподобных роботов (когда они станут реальностью)
Калифорнийский стартап 1X, бросив вызов таким гигантам, как Boston Dynamics, начал принимать предзаказы на своего человекоподобного робота NEO. Э��о одна из первых серьезных заявок на создание коммерческого андроида для дома. NEO, управляемый голосом и искусственным интеллектом, обещает автоматизировать рутину: убираться, мыть посуду, стирать и даже общаться.Однако за громким анонсом скрывается менее заметная, но критически важная деталь: на начальном этапе большую часть сложных задач за робота будет выполнять удаленный оператор, наблюдающий за происходящим через камеры NEO.
