Часть 2. Иван Оселедец с докладом «Успехи и проблемы больших языковых моделей»
Первая часть - https://habr.com/ru/articles/970614/
Иван Оселедец с докладом «Успехи и проблемы больших языковых моделей»
Я распечатал доклад, стараясь не поломать авторскую речь и мысль. Но всё таки доклад не читался, а произносился по памяти и слайдам, поэтому несколько слов убрал или заменил. Доклад на полчаса, выложу в двух частях. Представление - Доктор физико-математических наук, профессор РАН, генеральный директор института Айри, декан факультета искусственного интеллекта МГУ Иван Оселедец с докладом «Успехи и проблемы больших языковых моделей». Дальше говорит Оселедец.
Генетический алгоритм в помощь Adam — супер, но есть нюанс
Хабр, привет!Это моя первая статья и я хотел бы начать ее с такого интересного эксперимента как "сбор гибрида для обучения нейронных сетей с помощью генетического алгоритма" и дополнительно рассказать про библиотеку Deap. Для данной статьи я подразумеваю, что вы уже знаете как устроены нейронные сети и как они обучаются.
NoProp: Реальный опыт обучения без Backprop – от провала к 99% на MNIST
Всем привет! Обучение нейронных сетей с помощью обратного распространения ошибки (backpropagation) — это стандарт де‑факто. Но у него есть ограничения: память, последовательные вычисления, биологическая неправдоподобность. Недавно я наткнулся на интересную статью «NOPROP: TRAINING NEURAL NETWORKS WITHOUT BACK‑PROPAGATION OR FORWARD‑PROPAGATION» (Li, Teh, Pascanu, arXiv:2403.13 502), которая обещает обучение вообще без сквозного backprop и даже без полного прямого прохода во время обучения! Идея показалась захватывающей, и мы (я и ИИ‑ассистент Gemini) решили попробовать ее реализовать на PyTorch для MNIST.
Метрики оценки моделей нейронных сетей для чайников
Оценка моделей нейронных сетей играет ключевую роль в выборе наилучшего алгоритма для конкретной задачи. Выбор метрики должен соответствовать целям, поскольку очевидного показателя «Точность» (accuracy) обычно недостаточно. Критерии помогают определить эффективность и корректно сравнить различные подходы.Меня зовут Александр Агеев, я ML‑разработчик в SL Soft AI. В этой статье я расскажу про три задачи и методы их оценки:классификация — предсказание дискретных классов,обнаружение объектов (детекция) — локализация и классификация объектов на изображении,сегментация
