KV-кэш, экспертное сообщество и критическое мышление
Меня давно волновала одна деталь в устройстве современных трансформеров (тех самых, которые GPT, Sonnet и прочие).Механизм внимания всегда работает только назад. От многих экспертов (включая курс Эндрю Ына на Курсере) я слышал такое объяснение: Слово не может ссылаться на слова, которые оно ещё не знает. Назвается это казуальностью (причинностью).Но ведь в предложении “Зелёное яблоко лежит на столе” слово зелёное уже знает про слово “яблоко”, но не может на него сослаться. Непонятно
Почему ваш LLM-сервис ведёт себя как хочет, а не как вы просите
Вы пишете промпт. Подробно, вдумчиво, с примерами. Деплоите в сервис. Запускаете — и получаете markdown-обёртку вокруг JSON, который вы просили.
LoRA не помогла: как мы дообучали Mistral 7B на русском и что в итоге сработало
Каждый раз после созвона происходит одно и то же самое: кто-то открывает чат и пишет «итак, что мы решили?». Дальше — пятнадцать минут на то, чтобы восстановить то, что только что обсуждали час.Я ML-инженер, и эта боль мне была знакома лично. Когда появилась идея автоматизировать протоколирование встреч, казалось, что задача решаемая: берешь Whisper для распознавания речи, хорошую LLM для суммаризации — и готово.
BotHub за 2025: итоги за год, рост и ключевые достижения
Вы когда-нибудь задумывались, сколько всего происходит за кулисами любого сервиса? Компании, которые владеют такими продуктами, частенько публикуют результаты их работы за какой-то промежуток времени, чтобы показать: мол, видите, мы не стоим на месте, а развиваемся, добавляем что-то новое и растём. Наткнувшись на парочку таких материалов, я подумал, а ведь и у нас в BotHub было множество обновлений и событий. Каждый релиз привносил что-то новое или же улучшал уже имеющийся и доступный функционал.Я решил подвести итог всей той работы, которую проделала наша команда за прошедший год. Целый год
Разработчик за месяц надиктовал почти 250 тысяч слов для преобразования речи в текст
Автор блога Modulovalue Модестас Валаускас рассказал, что за последние 39 дней он надиктовал 243 554 слова, что примерно равно объёму двух книг. Он использовал тестовое приложение для диктовки Wispr Flow.
