Memorization vs Generalization: что действительно умеет языковая модель (TLM) на 2 160 параметров (v1.1.0)
Продолжая тему Крошечной Языковой Модели на Nodejs мы поймем где проходит граница ее возможностей. На примере Крошечной Языковой Модели (TLM) из 2 160 параметров мы проведём воспроизводимый эксперимент и увидим в цифрах: знакомый шаблон - 99,93%, перестановка токенов - 81,69%, неизвестная структура -?%.По следам обсуждения моего автограда на Node.js в ML-сообществе и отличного фидбека от инженеров на Hashnode (привет Ahmet Özel), я добавил в проект небольшое исследование границы между запоминанием и обобщением в версии 1.1.0.Я зафиксировал seed 42 и добавил финальную frozen evaluation из четырёх проверок:
Языковая Модель без магии: Крошечная Language Model на чистом Node.js
Схема Языковой МоделиEnglish | РусскийTokenization → embeddings → causal Transformer → LM head → softmax → loss → backpropagation. Без TensorFlow, без PyTorch, и без hidden autograd.
OpenClaw переписали на Go и уместили в один бинарник на 35 МБ. Зачем и что это даёт
OpenClaw — Node.js. Это значит: установи Node, установи npm, склонируй репо, npm install, подожди пока 800 МБ node_modules скачается, настрой конфиг, запусти. Если что-то сломалось — разбирайся с версиями Node, конфликтами зависимостей, нативными модулями.Кто-то посмотрел на это и решил переписать всё на Go. Результат — GoClaw: один бинарный файл на 35 МБ, который скачал, дал права на запуск и работаешь. Никаких зависимостей, никакого рантайма, никаких node_modules.Разбираю, что внутри и имеет ли это смысл.Что такое GoClaw
AbortController в Node.js: отмена чего угодно
Привет, Хабр!У Node.js исторически была проблема с отменой операций. Запустил HTTP‑запрос — жди, пока не ответит или не упадёт по таймауту. Читаешь огромный файл — читай до конца. Запустил пачку промисов — сиди, смотри, как они доедают ресурсы. Механизма сказать «стоп, хватит» в языке просто не было. Кто‑то мастерил свои костыли на флагах, кто‑то использовал библиотеки вроде p-cancelable, но единого стандарта не существовало.AbortController эту проблему решает. Пришёл он из браузерного API (там его придумали для отмены fetch
Cryanide как альтернативная ветвь развития web-технологий
ПрологСайты появились практически сразу после создания всемирной паутины. С каждым десятилетием браузеры и web-сервера развивались, каждое новое поколение меняло языки программирования и стандарты, с каждым разом индустрия предлагает всё более новый подход к разработке сайтов и web-приложений.
Сыч: телеграм-бот, который помнит обиды и обходит лимиты Google Gemini
Привет HabrСделал забавного бота который стал ещё и довольно полезным поэтому решил им поделиться. Хотелось сделать бота, который:По запросу пойдёт в интернет и найдёт то, что мы обсуждаем прямо сейчас, так как он видит контекст беседы и часто понимает, о чём идёт речь, и в ответе даст ссылки на источники, которые найдётПонимает контекст беседы и не требует объяснять ему каждую детальЗнает какой сейчас год и точное время и учитывает это при поиске информации и при ответахИмеет характер и помнит, кто и как к нему относится в этом чатеРасшифровывает голосовые сразу для всего чата
WebAssembly голыми руками
WebAssembly являясь (относительно) молодой технологией уже довольно распространён в индустрии
