От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 2-10
Часть 2. Данные: Вики и доменВажное предупреждение: Весь код по моей методологии написан нейросетью DeepSeek, сам бы не осилил (я не программист). За мной лишь отладка, исправление неточностей и ошибок.2.1. Зачем нужен общий корпусДля дистилляции нам нужны два вида данных:Общий корпус — чтобы студент выучил широкий семантический охват. Без него модель переобучится под узкий домен и будет плохо работать на произвольных текстах.Доменный корпус
- Оставлено в
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 1-10
Часть 1. Окружение, разведка моделейВажное предупреждение:Весь код по моей методологии написан нейросетью DeepSeek, сам бы не осилил (я не программист).За мной лишь отладка, исправление неточностей и ошибок.1.1. Создание окружения# путь условный, замените на свой mkdir -p ~/work/..../rubert-tiny2-distill cd ~/work/..../rubert-tiny2-distill python3 -m venv .venv source .venv/bin/activate pip install --upgrade pip # PyTorch CPU pip install torch --index-url https://download.pytorch.org/whl/cpu # Основные библиотеки pip install transformers sentence-transformers datasets numpy scikit-learn tqdm huggingface_hubПроверка:python -c "import torch, transformers, sentence_transformers; print('OK')"
- Оставлено в
От учителя к студенту: путь к изотропным эмбеддингам в 29M модели. Часть 0-10
Часть 0. ВведениеВажное предупреждение:Весь код в последующих частях по моей методологии написан нейросетью DeepSeek, сам бы не осилил (я не программист). За мной лишь отладка, исправление неточностей и ошибок.Тексты этих статей собраны из "заметок на полях" во время реализации, потому возможны некоторые шероховатости в аргументации и стилистике.Если вас это устроит, желаю приятного чтения.0.1. Проблема и постановка задачиУчитель — DeepPavlov/rubert-base-cased-sentence
- Оставлено в
