Lexometrica Ground Truth: бенчмарк LLM по российскому праву
Всем привет! Делюсь итогом двухмесячной работы - релизом рейтинга юридического рассуждения больших языковых моделей Lexometrica Ground Truth.Изначально цель была сугубо практической: требовалось выбрать лучшие модели для LegalTech-проекта "неШемяка!". Но в процессе пришлось столкнуться с фундаментальной проблемой индустрии оценки ИИ - открытые тесты дают сильно искаженную картину. Финальные результаты спроектированного стресс-теста оказались сколь ожидаемыми, столь же и неожиданными.
Multi-Agent Systems в LegalTech: как симуляция судебного процесса повышает точность предсказаний (разбор SimCourt)
В современном LegalTech порог входа стремительно растет: просто "обернуть" API OpenAI в красивый интерфейс уже недостаточно - рынок требует кастомных архитектурных решений для повышения метрик точности. В поиске новых механик для "неШемяки!" (мой проект по предиктивной аналитике судебных процессов) все чаще погружаешься в китайские и индийские исследования. Как кажется, они потихоньку становятся лидерами AI LegalTech - судя по публикациям, именно в Азии сейчас наблюдается настоящий бум прикладных экспериментов с agentic workflows в юриспруденции.И вот, новогодний подарок - препринт "
