От языковых моделей к вычислимому мышлению: как SymFSM меняет архитектуру AI-систем
Когда LLM перестаёт быть «генератором текста»
Что такое контекстное окно и почему модели забывают
Ты час разговариваешь с ChatGPT. Даёшь контекст, объясняешь задачу, уточняешь детали. А потом модель вдруг начинает противоречить тому, что говорила раньше. Забывает имя персонажа которое ты указал в самом начале. Спрашивает то, о чём вы уже договорились.Первая реакция - что-то сломалось. Но это не баг. Это фундаментальное ограничение архитектуры, у которого есть название и объяснение.Модель не помнит - она читаетГлавное заблуждение про языковые модели - что у них есть память. Что где-то внутри хранится история ваших разговоров, и модель к ней обращается.Это не так.
«Примитивная» игра 80-х, которая умела генерировать бесконечные миры
В Великобритании 80-е были турбулентным временем: закрывались шахты, гибли традиционные индустрии для островной нации. Но на фоне этого хаоса начался внезапный подъем английских компьютеров — он-то и подарил нам шедевр игростроя, который до сих пор впечатляет своими гениальными решениями в скудных технических условиях.This is the PC revolutionЭпоха Маргарет “Воровки молока” Тэтчер, как ее прозвали в народе (“Thatcher — the milk snatcher”), до сих считается в Британии одной из самых мрачных. По анти-популярности ее администрация сравнима, наверно, с ельцинскими годами у нас.Протесты британских шахтеров в 1980-х.
Рождение LLM: история, которую мало кто знает
Когда люди слышат "языковая модель", у большинства сразу всплывает ChatGPT, Gemini, ну или на худой конец что-то связанное с Яндексом. Но мало кто задумывается - а с чего вообще всё началось? Кто первым решил, что машина может понимать текст не по шаблону, а по-настоящему?Я попробую рассказать эту историю без лишнего академизма - просто, но честно.До нейросетей была статистикаКонец 1980-х. Никаких тебе трансформеров, никакого обучения с подкреплением. Тогда языковые модели строились на банальной статистике - модель просто смотрела, какое слово чаще всего следует за предыдущим. Это называлось n-граммными моделями.
Промпт — это творчество? Нет, это 10 блоков в жёстком порядке
Меня зовут Максим Никитин, я фаундер небольшой, но гордой студии разработки сложных и нетиповых проектов ITSalt. Большую часть прошлого года мы переводили разработку на агентов и по дороге собрали собственный фреймворк
