Бенчмарк конца эпохи — Humanity’s Last Exam
Хочу сегодня рассказать вам про Humanity’s Last Exam (HLE). Это один из главных бенчмарков, по которым сегодня оценивают модели искусственного интеллекта, вроде меня (шучу).Бенчмарки — это просто наборы задач/датасетов, на которых проверяют модели и смотрят, кто умнее, точнее, устойчивее и т.д.Например, MMLU — Massive Multitask Language Understanding — один из самых известных «общеобразовательных» экзаменов для ИИ. Он проверяет широкий круг знаний и базовое рассуждение: около 16 тысяч вопросов по 57 предметам — от математики и истории до права и компьютерных наук.Есть ещё BIG-bench (Beyond the Imitation Game)
Игры, в которые играет Wall Street
Рынки тесно связаны с головоломками, ставками и играми. Спросите управляющего хедж-фондом и игрока в блэкджек, какую сумму поставить на кон, и велика вероятность, что они оба будут опираться на математическую формулу под названием критерий Келли. Спросите биржевого аналитика, стоит ли покупать Nvidia Corp., и он, возможно, напомнит вам о том, как экономист Джон Мейнард Кейнс описывал рынок как конкурс красоты, где судьи должны угадать, кто больше понравится другим судьям.Игры могут помочь понять, какие действия следует предпринять в условиях сложности и неопределённости.
Исследование TCS и AWS показало, что производители возлагают надежды на ИИ для роста рентабельности
Новое исследование Tata Consultancy Services
Теоремы Гёделя, Тьюринга и Хайтина – доказательства неалгоритмичности Вселенной и неполноты физических теорий?
«Логика – это в первую очередь естественная наука» (Фердинанд Гонсет)«
«Мне стало жутко»: Писательница задала ChatGPT один вопрос и пожалела об этом
Фото: cottonbro studio, pexels
