За кулисами нейросетей: полный цикл тренировки языкового ИИ
Ты уже пользуешься языковыми моделями — спрашиваешь, генерируешь, отлаживаешь код. Но откуда берётся сама способность отвечать? Не «где хранятся данные», а именно — как из случайно инициализированной матрицы чисел вырастает нечто, способное объяснить теорему Гёделя, написать резюме или найти баг в чужом коде?Ответ не в магии и не в «огромной базе данных». Под капотом — три последовательных этапа обучения. Каждый решает строго свою задачу, и без предыдущего следующий просто невозможен. Разберём каждый по очереди.Этап первый: предобучение — строим фундамент
Meta* сократила планы отслеживания нажатий клавиш сотрудниками после внутреннего протеста
Meta* частично свернула программу Model Capability Initiative (MCI) — слежки за нажатиями клавиш и движениями мыши сотрудников — после нескольких недель внутреннего протеста. Об этом сообщает Neowin со ссылкой на внутреннее письмо компании.
ClearML Agent: обучение модели в Google Colab
ClearML — это целый космос, так что мы продолжаем разбирать его компоненты. В прошлой статье
Почему ИИ в биологии — риск системных галлюцинаций?
Почему в биологических проектах уверенность нейронок часто опережает реальное научное понимание, и какие выводы из этого стоит сделать разработчикам.Главный триумф AI в биологии - AlphaFold. Проект не возник из ниоткуда, он опирается на Protein Data Bank PDB
Британские писатели запустили логотип Human Authored для произведений, созданных без использования ИИ
Объединение писателей, иллюстраторов и переводчиков Великобритании (Society of Authors, SoA) запустило логотип Human Authored, который позволит читателям распознавать книги, написанные людьми без использования ИИ. Логотип предлагается размещать на задней обложке.
Как спасти ИИ в эпоху, когда ИИ убивает сам себя?
«Все крупные корпорации и социальные сети уже давно хотят помечать контент, созданный искусственным интеллектом, отдельным специальным признаком. Безусловно, можно говорить о том, что это делается ради заботы о пользователях — чтобы люди не сидели бесконечно и не потребляли абсолютно одинаковый контент. Но у этой инициативы есть и совершенно эгоистичные цели: платформам жизненно необходимо физически отделить контент, созданный живыми людьми, от материалов, сгенерированных нейросетями».Давайте детальнее копнем в проблему
Апофатический ИИ: Почему нейросети учатся через «НЕТ», и как синтетические данные убивают смысл
Современное обучение нейросетей часто напоминает алхимию. У нас есть работающие рецепты, но как именно статистическая модель превращает терабайты текста в понимание до сих пор непонятно.Почему возможно сублиминальное обучение (передача паттернов через шум)? Почему обучение на синтетических данных приводит к деградации, даже если данные кажутся качественными?
Видеть и лес, и деревья. Новая модель мозга, созданная на основе искусственного интеллекта, раскрывает природу обучения
Когда речь идет про моделирование работы мозга, то возникает проблема «не видеть лес за деревьями». Модель каждого, взятого по отдельности нейрона, может работать достаточно хорошо. Можно даже связать их в достаточно стабильную нейронную цепь. Но дальнейшее моделирование «поведения, близкого к реальному», становится вызовом. До сегодняшнего дня.
Дифференциальная приватность в ML
Привет, Хабр! Сегодня поговорим в коротком формате о защите данных при обучении моделей, а именно в процессе обучения. Никому не понравится, если ваша нейросеть вдруг выдаст чужие паспортные данные или медицинские записи, правда? А ведь модели машинного обучения иногда склонны запоминать кусочки обучающего набора. Бывали случчаи, где из языковой модели вытаскивали строки с номерами телефонов и email тех людей, чьи данные были в тренировочном датасете. Стоит ли нам вообще кормить модель конфиденциальной информацией
