вино.
Как я собрал винный бенчмарк на 3 266 вопросов руками LLM и где они меня подвели
В феврале я решил измерить, сколько языковые модели на самом деле знают про вино. Умеют ли они поддержать разговор о Бордо, мне было неинтересно. Меня интересовало, знают ли они, сколько месяцев Бароло обязано провести в бочке и в каком округе штата Вашингтон лежит AVA Beverly. К сентябрю из этого вышел бенчмарк OenoBench: 38 104 факта, собранных 35 скраперами из открытых источников, 3 266 вопросов с выбором ответа и прогон шестнадцати моделей. Почти всю работу сделали агенты: вопросы генерировали пять моделей, проверяли их десять агентов аудита. Я был единственным человеком в этой схеме и отвечал за то, что агенты проверить не могут: за вино.
In vino veritas: как ИИ меняет винную индустрию
Искусственный интеллект уже трансформирует винодельческую отрасль во всём мире — от Калифорнии до Краснодарского края и Севастополя. Разбираемся, как именно, и опрашиваем экспертов из «Абрау-Дюрсо», «Фанагории», «Кубань-Вино» и Le K2 Winery.
