Визуально-языковые модели: следующий шаг эволюции LLM
Ранее мы разбирали методы самосупервизируемого обучения в компьютерном зрении, которые преобразуют изображения и видео в информативные векторные представления (эмбеддинги). Несмотря на их мощь, такие представления обычно требуют дообучения последующих моделей под конкретные задачи. В отличие от этого, большие языковые модели (LLM) блестяще справляются с zero-shot- и few-shot-задачами без какого-либо дообучения. Мы хотим добиться таких же возможностей для визуальных данных.
«Господин Говорунъ: как я обучил маленькую модель разговаривать на дореформенном русском»
Немного контекстаПоследние месяцы мы в команде развиваем проект Manuscript OCR - открытую библиотеку, которая учит нейросети читать рукописные документы XIX века. Это сложный материал: дореформенная орфография, нестабильный почерк, архивные артефакты.Кому интересны технические детали - отдельная статья про Manuscript OCR уже есть на Хабре.Работая над этим проектом, я всё больше погружался в дореформенный язык: тестировал модели, прогонял страницы, сравнивал орфографические варианты. И в какой-то момент возник вполне естественный вопрос:
Прорыв от Google: активное обучение с экономией данных на 10 000× при дообучении LLM
Google разработала масштабируемый процесс active learning, который позволяет в десятки тысяч раз сократить объём размеченных данных, необходимых для тонкой настройки больших языковых моделей на сложных задачах — например, при модерации рекламного контента.
Линейная регрессия в ML для самых маленьких
В мире машинного обучения есть много всего интересного, но тем, кто только начинает свой путь в этой области часто бывает многое непонятно. В этой статье мы попробуем разобраться с линейной регрессией.
fit() для новичков
Привет, Хабр! Эта статья для тех, кто только‑только погружается в машинное обучение и ещё не до конца понимает, что скрывается за интересным вызовом model.fit(). Вы, возможно, уже настраивали ноутбуки, пробовали разные датасеты и, может, даже словили пару неожиданных ошибок — и это нормально. Зачем копать глубже за fit()На старте может казаться, что достаточно написать:model = RandomForestClassifier(n_estimators=100) model.fit(X_train, y_train)— и всё заработает. Но стоит проекту вырасти, можно столкнуться с подвохами:Неожиданные NotFittedError при predict()Упавшая память на больших выборках
Вайб-кодинг: практика, о которой почему-то не говорят
В феврале мир разработки перевернулся с выходом Sonnet 3.7. Потому что вдруг внезапно оказалось, что джуны уже не очень-то и нужны. И нейросетка нормально заменяет мидлов тоже. Я откидываюсь в кресле, беру наушники и смотрю, как работает LLM. Можно сразу несколько, работающих над разными частями проекта: Пример проекта с прикручиванием аналитики к инфраструктуре: Сначала в GPT 4.5 провёл продуктовые исследования и сформулировал требования. Попросил превратить это в архитектурный план. Отревьюил, поправил тупые ошибки. Затем этот план (как метапромпт) скормил Sonnet в VS Code через плагин Cline. Попросил сначала создать общую структуру, шаблонные имплементации, документацию, спецификации API (protobuf для gRPC, REST API). Архитектурно сразу заложил микросервисы. Sonnet для каждого сервиса подобрал и обосновал оптимальную базу данных (где-то Postgres, где-то ClickHouse и т.д.). Сгенерировал SDK для взаимодействия, примеры использования. Сразу заложил observability: централизованные логи, метрики Prometheus, трейсинг Jaeger/Tempo, дашборды для Grafana. Потом итерационно генерировал код: сначала тесты (End-to-end, BDD), потом имплементацию под эти тесты. Написал манифесты для Kubernetes и Docker Compose для локального запуска. Сгенерировал даже скрипты для тестов REST API через curl и gRPC через gRPCurl. И всё. А теперь практика — что делать с тем, что современные нейросети учились преимущественно на говнокоде и как быть с джунами.
Теперь ИИ может заменить любого актера в фильме
Теперь ИИ может заменить любого актера в фильмеСвет, камера... алгоритм?
