Как я обучил GPT с нуля на русском языке — и что из этого получилось
Всё началось с наивной мысли: зачем платить за API или тащить 7B-модель, если мне нужна маленькая модель для простых разговоров на одном языке? Логика казалась железной — большие модели умеют всё и на всех языках сразу, но это же избыточно. 0.7B, заточенная под один язык и один стиль общения, должна справляться не хуже.Спойлер: это было наивно. Но путь оказался ценнее результата.В этой статье — как я прошёл путь от стандартного nanoGPT до кастомной архитектуры с RoPE/SwiGLU/GQA, собрал русскоязычный корпус с нуля, и придумал распределённое обучение на бесплатных Colab-воркерах через Google Drive.Почему не взять готовую модель?
ClearML Agent: обучение модели в Google Colab
ClearML — это целый космос, так что мы продолжаем разбирать его компоненты. В прошлой статье
Сравниваю Jupyter Notebook, Google Colab, Kaggle и Marimo глазами исследователя и начинающего Data Scientist
Я пришел в Data Science не сразу. Учился в магистратуре по вечерам, работая в совершенно другой сфере (строительство). Осваивать машинное обучение и анализ данных было интересно, но один из самых неожиданных вопросов, который возник буквально сразу - в какой среде писать код?На первый взгляд кажется, что Jupyter Notebook, Google Colab, Kaggle и сравнительно новая Marimo - это одно и то же, ноутбук с ячейками и Python (так же поддерживаются другие языки программирования). Но на практике каждая из этих сред подходит для разных задач, где-то удобнее учиться, а где-то работать командой.
От задачи до решения: LLM с RAG-конфигурацией и ROC-AUC. Эксперимент на 121 прогоне за 40 часов с помощью ИИ
Меня зовут Антон, сейчас занимаюсь прикладными проектами индекса цифровой зрелости БРИКС. Пробую за счет инструментов ИИ собирать каскады моделей ИИ для выявления неочевидных зависимостей в разных экономических и культурных процессах на основе данных извлекаемых из открытых источников.
Запускаем FLUX 1 Dev в Google Colab
Ранее я уже делал статью про запуск в пару кликов моделей Stable Diffusion в Google Colab с помощью Fooocus (способ актуальный), сегодня мы проделаем похожее с моделью FLUX 1 Dev, но без web интерфейса.Шаг 1Заходим в Google Colab, создаем новый блокнот и меняем среду выполнения на "Графический процессор Т4", подключаемся к ней.Меняем среду выполнения
Язык программирования Julia стал доступен в Google Colab
Язык программирования Julia начал официально поддерживаться в Google Colab. Теперь он доступен как язык в средах выполнения.
Google представила Data Science Agent в Colab для упрощения анализа
Google выпустила обновление для Colab, которое позволит изменить способ анализа данных. Бесплатная облачная среда Jupyter Notebook теперь включает в себя Data Science Agent на базе Gemini, который автоматизирует такие задачи, как импорт библиотек, загрузка данных и написание шаблонного кода.
