OenoBench.

Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38

В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт.

продолжить чтение