Алгоритмы спекулятивного инференса LLM
ВведениеЗа последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности. Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.
Прогноз по охвату функций ИИ роботами в Московских компаниях в ближайшее десятилетие
Искусственный Интеллект начинает выполнять многие функции дешевле, а часто и лучше работника. Но пройдет еще много времени до тех пор, когда половину бухгалтеров и программистов заменит ИИ. Кроме замены рутинных операций, ИИ открывает новые возможности по эффективной эксплуатации работников, в том числе: анализ эмоций работника, моделирование его поведения, оптимальная схема управления работником на основании цифровых двойников работника и коллектива. По состоянию на начало 2025 года ИИ начинает превосходить человека по многим тестам.
FTC обязала стартап accessiBe, занимающийся обеспечением доступности AI, выплатить 1 млн $ за недостоверную рекламу
Федеральная торговая комиссия США (FTC) наложила штраф на стартап accessiBe, который утверждает, что помогает сделать веб-сайты доступными для программ чтения с экрана, используемых людьми с нарушениями зрения, за ложную рекламу и скрытое спонсирование рецензий.
AI-модель нового поколения xAI не была представлена вовремя, что стало тенденцией
Список флагманских моделей искусственного интеллекта, которые не были выпущены в обещанные сроки, продолжает расти.
Apheris: федеративные вычисления для преобразования медицины и фармацевтики через AI
Искусственный интеллект критически зависит от данных, однако большая часть медицинской информации остается неиспользованной из-за таких факторов, как защита конфиденциальности пациентов, нормативные ограничения и охрана интеллектуальной собственности.
Необычные AI-тесты: от Уилла Смита с пастой до Minecraft
Когда компания выпускает новый видеогенератор с искусственным интеллектом, нередко кто-то использует его для создания видео, где актер Уилл Смит ест спагетти. Это стало своеобразным мемом и тестом: проверить, насколько реалистично новый генератор может изобразить Смита, поглощающего тарелку лапши. Даже сам Смит пошутил над этим трендом в Instagram* в феврале.
Бразильский стартап Carecode, при поддержке a16z и QED, внедряет AI-агентов в медицину
Искусственный интеллект открывает значительные возможности для здравоохранения, но его потенциал не ограничивается только медицинской сферой. Многие стартапы основываются на том, что системы на базе машинного обучения могут быть полезны и в смежных задачах, таких как планирование и подтверждение встреч.
Центры обработки данных искусственного интеллекта могут ‘искажать’ работу энергосистемы США
Согласно новому отчёту Bloomberg, распространение центров обработки данных, предназначенных для удовлетворения вычислительных потребностей AI, может стать плохой новостью для энергосистемы США.
Я не знаю, как заставить вас осознать, что ChatGPT незаметно творит
Я не знаю, как заставить вас осознать, что ChatGPT незаметно творитПримечание. Эта статья содержит отрывки, написанные ChatGPT в иллюстративных целях. Они четко обозначены.
Почему OpenAI откладывает релиз ChatGPT-5? Все дело в недостатке данных
Новый проект OpenAI в области искусственного интеллекта, получивший кодовое название Orion, столкнулся с множеством проблем. Он отстает от графика и требует огромных затрат. Неясно, когда и будет ли он работать. Возможно, в мире недостаточно данных, чтобы сделать его достаточно умным.Дисклеймер: это вольный перевод
