Как превратить LLM‑разметку в универсальный Spark‑пайплайн
TL;DR: мы сделали llm_markup — Spark‑приложение для массовой обработки данных через LLM API в существующем Airflow‑контуре. Источник данных, промпт, формат ответа, лимиты и целевая таблица задаются конфигурацией. Инструмент берет на себя батчинг, распределение запросов, контроль нагрузки на API, валидацию ответов и сопоставление результата с исходными строками.Меня зовут Дима Иванов, я дата‑инженер в Lamoda Tech. Я работал над llm_markup
Автоматизация обработки ТI-отчетов с помощью NER: как мы сэкономили время аналитиков
Меня зовут Виктор Пронин, я старший аналитик киберугроз в центре компетенций группы компаний «Гарда». Для Гарда Threat Intelligence Feeds мы формируем данные об угрозах на основе обезличенной телеметрии из наших инсталляций, а чтобы получить более полную картину, обращаемся в том числе к информации из открытых источников. В статье я расскажу об автоматизированной обработке публикаций по информационной безопасности. Кейс будет полезен аналитикам киберугроз и специалистам, интересующимся применением ML в ИБ.В целом публикации по информационной безопасности можно разделить на
