Рождение LLM: история, которую мало кто знает
Когда люди слышат "языковая модель", у большинства сразу всплывает ChatGPT, Gemini, ну или на худой конец что-то связанное с Яндексом. Но мало кто задумывается - а с чего вообще всё началось? Кто первым решил, что машина может понимать текст не по шаблону, а по-настоящему?Я попробую рассказать эту историю без лишнего академизма - просто, но честно.До нейросетей была статистикаКонец 1980-х. Никаких тебе трансформеров, никакого обучения с подкреплением. Тогда языковые модели строились на банальной статистике - модель просто смотрела, какое слово чаще всего следует за предыдущим. Это называлось n-граммными моделями.
