«Продай мне этот космолёт» или история любви к симуляторам. От космосима X-Tension до ActorModel-DoD-ECS архитектуры. Ч2
«Все модели неправильны. Некоторые из них полезны.» — Джордж Бокс «Через тернии к звездам»
Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.
ИИ обладает воображением
Ученые говорят, что глаза дают человеку только 20% зрительной информации, остальное додумывает мозг. А может ли ИИ додумывать то, чего невидно?Нейросеть «скелетон» - одна из первых систем видеонаблюдения с ИИ, которая демонстрирует способности такого скрытого зрения. Текстом сложно объяснить то, что надо видеть:
Метрика EICS — ищем у трансформера причинное место
Неопределённость как потеря причинной согласованности внутри цепи
Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта
Владислав Зелёнин-ШумскийНезависимый исследователь
Представлена языковая модель с линейной сложностью вычислений и контекстом до 12 млн токенов
Кратко: стартап Subquadratic представил SubQ 1M-Preview — первую языковую модель с линейной сложностью вычислений относительно длины контекста. Заявлены контекст до 12 млн токенов, скорость в 52 раза выше FlashAttention и радикальное снижение стоимости. Независимых тестов пока нет (хотя стартап заявляет о сторонней верификации своих бенчмарков), доступ закрыт. Техническое сообщество реагирует сдержанно: пока это амбициозный пресс-релиз, а не готовый инструмент.
