Вычисление функции потерь и градиентов в AI переводчике
Привет, Хабр!Меня зовут Алексей Рудак, я основатель компании Lingvanex, которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf.
Еще один взгляд на LLM: рендеринг под другим соусом?
Статья написана без использования нейросетейЛюбая нейросеть — это black box. Любая LLM — это black box^2. Однако люди смогли их придумать. И если старые нейронные сети, основанные на перцептроне или его производных, базируются на вполне известных биологических процессах, то трансформеры лежат вне представления о работе мозга. Следовательно, возникает вопрос — почему это сделано именно так?В давнюю для себя пору я работал с трехмерной графикой, и когда мои должностные обязанности привели меня на темную дорожку современного хайпа, увиденное заставило меня задуматься о том, что где‑то все описанное уже было...
Ложь искусственного интеллекта
"Everybody lies"— доктор Грегори Хаус, "Доктор Хаус".Реакция Grok, когда все же доказали, что он лжет.Введение
Мультимодальные языковые модели: как нейросети учатся видеть и слышать
Мультимодальные языковые модели представляют собой самый прогрессивный класс нейросетевых архитектур, объединяющих способность воспринимать и обрабатывать различные типы данных одновременно - текст, изображения, аудио и видео. Это похоже на то, как наш мозг интегрирует информацию из разных органов чувств, чтобы создать полную картину мира. Как сказал философ Марсель Пруст, “Настоящее открытие не в том, чтобы увидеть новые земли, а в том, чтобы иметь новые глаза”.▍ Фундаментальные принципы мультимодальных моделей
Logit Lens & ViT model: туториал
Привет!В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).В результате практики по туториалу, вы:Изучите подход и концепцию Logit Lens;Реализуете Logit Lens для Visual Transformer;Познакомитесь с анализом результатов применения логит-линзы.Приступим! Как всегда, весь код будет на гитхаб — step by step.Logit Lens: о методеМетод Logit Lens был предложен на Lessworng в 2020 году на примере модели GPT-2.
Исследуем эволюцию архитектур в Computer Vision: Mind Map всех ключевых моделей
Сразу к карте? Если вы предпочитаете действовать, а не читать, вот ссылка на Mind Map . Она доступна для изучения прямо сейчас. А если хотите понять контекст и узнать больше о каждой модели — добро пожаловать под кат! Введение
Hugging Face Tutorial: Unleashing the Power of AI and Machine Learning
In this article, I'll take you through everything you need to know about Hugging Face—what it is, how to use it, and why it's a game-changer in the ever-evolving landscape of artificial intelligence. Whether you're a seasoned data scientist or an enthusiastic beginner eager to dive into AI, the insights shared here will equip you with the knowledge to Hugging Face's full potential.What is Hugging Face?What is Hugging Face?
Соревнование VN1: чему я научился у прогнозистов
С сентября по октябрь 2024 года мне выпала честь организовать VN1 Forecasting Competition
О нейросетях и геометрии
Часть 1. Введение: почему геометрия и нейросети — это не фантастика?Вспомните, как мы в школе раз за разом рисовали треугольники, строили высоты, искали точки пересечения прямых и пытались доказать, что «углы равны». Тогда казалось, что геометрические задачи — дело либо для одарённых умов, либо для супертерпеливых людей с линейкой и транспортиром.
