knowledge graph embeddings.

Как научить BERT «понимать» науку: гибридная классификация научно‑технических текстов с графами знаний

Способ обогатить языковую модель фактологией без модификации механизма внимания, потери глобального контекста и квадратичной сложности инференсаТрансформеры отлично улавливают контекст, но не обладают фактологическими знаниями: они не знают явно, что «метод опорных векторов» — это алгоритм классификации. Существующие способы прямой интеграции графа знаний в механизм внимания трансформера (такие как K‑BERT или ERNIE) требуют значительных вычислительных ресурсов со сложностью

продолжить чтение