Машинное обучение. - страница 164

Представлена языковая модель с линейной сложностью вычислений и контекстом до 12 млн токенов

Кратко: стартап Subquadratic представил SubQ 1M-Preview — первую языковую модель с линейной сложностью вычислений относительно длины контекста. Заявлены контекст до 12 млн токенов, скорость в 52 раза выше FlashAttention и радикальное снижение стоимости. Независимых тестов пока нет (хотя стартап заявляет о сторонней верификации своих бенчмарков), доступ закрыт. Техническое сообщество реагирует сдержанно: пока это амбициозный пресс-релиз, а не готовый инструмент.

продолжить чтение

Обратное распространение ошибки: от интуиции до кода

Введение.Современные нейросети часто воспринимаются как черная магия. Вы закидываете в черный ящик датасет, ждете пару часов, и вот уже модель пишет за вас код, генерирует картины и безошибочно отличает собаку от выпечки. Но под капотом нет никаких заклинаний. Вся эта вычислительная мощь держится на одном элегантном алгоритме, основы которого были заложены еще в 1970-х годах — обратном распространении ошибки (Backpropagation).Сейчас порог входа в машинное обучение низок как никогда. Чтобы заставить сеть учиться, достаточно написать loss.backward() в PyTorch или вызвать model.fit()

продолжить чтение

Выбираем и оцениваем open-source LLM для саммаризации встреч

Публичные бенчмарки LLM дают ориентиры по общему уровню моделей, но не отвечают на вопрос, как они ведут себя в конкретной задаче. А прикладные сценарии чувствительны к деталям: формату входных данных, структуре ответа, требованиям к точности. В этих условиях различия между моделями становятся более заметными.Даже у близких по классу моделей небольшие различия в архитектуре и обучении дают заметный разброс в качестве ответов.Качество моделей сильно зависит от типа задачи

продолжить чтение

Сотрудники Google DeepMind проголосовали за создание профсоюза из-за сделок с военными

Сотрудники британского подразделения Google DeepMind проголосовали за создание профсоюза, чтобы заблокировать предоставления технологий искусственного интеллекта лаборатории вооружёнными силами США и Израиля. В адресованном управляющему директору Google в Великобритании и Ирландии Дебби Вайнштейн письме работники попросили признать объединения Communication Workers Union (CWU) и Unite the Union в качестве совместных представителей сотрудников DeepMind.

продолжить чтение

Качество кода в эпоху AI: как не утонуть в багах и уязвимостях

Современные LLM генерируют код в разы быстрее разработчика, но «быстро» не значит «правильно»: модель может неверно понять задачу, внести логический баг, допустить уязвимость или сломать архитектуру проекта.

продолжить чтение

Книга: «Машинное обучение на табличных данных: XGBoost, глубокое обучение и ИИ»

Привет, Хаброжители!

продолжить чтение

За два месяца вместо года: как мы переписали 97 тысяч строк кода с Objective-C на Swift

Миграция большого iOS-проекта с Objective-C на Swift кажется понятной задачей ровно до тех пор, пока не начинаешь считать объём. В нашем случае это были 10 тысяч файлов, сотни тысяч строк кода и постоянная необходимость не останавливать развитие продукта. Ручной подход работал слишком медленно, поэтому мы начали автоматизировать миграцию с помощью LLM — и в итоге превратили её из бесконечного техдолга в воспроизводимый процесс.

продолжить чтение

Мой первый ИИ: Пишем нейросеть на Python с нуля

1. Введение: Что такое нейросеть?Аналогия с мозгом Нейросеть — это математическая модель, имитирующая работу мозга. Как человек учится отличать «1» от «7» по визуальным шаблонам, так и алгоритм учится находить закономерности в данных, выделяя главные признаки и игнорируя шум.Упрощенная модель Весь процесс работы делится на 3 этапа:Входные данные: то, что алгоритм «видит» (в нашем случае — пиксели картинки).Обработка (веса): математические вычисления. Входные данные проходят через формулы, где умножаются на веса

продолжить чтение

Оживить фото в Seedance 2.0: как сделать видео со своим лицом, несмотря на цензуру

Seedance 2.0 — нейросеть для видео, которую внутри ИИ-комьюнити неофициально называют лучшей на данный момент. 

продолжить чтение

Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке

Всем привет! С вами Артемий Лямин (@lyaminartemiy) и Иван Тренёв (@123-39

продолжить чтение