Давай по новой, Миша: speculative decoding от черновика до проверки
Маленькая модель быстро генерирует несколько следующих токенов, а большая проверяет их сразу одной пачкой. Подходящие токены принимаются, а с первого расхождения большая модель продолжает генерацию сама. При корректной реализации итоговое распределение остаётся тем же, что и при обычном декодировании. В speculative decoding большая модель буквально говорит черновой: «Давай по новой, Миша».На первый взгляд кажется, что ускорение здесь обязательно покупается ценой качества. Но нет: это как раз тот случай, когда можно ускорить генерацию без такого компромисса.
Как я понял, что делаю x16 на Cursor — и почему убрали цену
Холмс, у меня к вам дело, и начинается оно, как все скучные дела, с бухгалтерии.Я плачу за Cursor $60 в месяц. На днях я открыл страницу расходов, чтобы посмотреть, много ли я потратил за неделю, и обнаружил, что смотреть там абсолютно не на что. Вижу 321 запрос, и напротив каждого — слово «Included», то есть «включено», и ни одной суммы.Сначала я решил, что это глюк сайта. Потом выяснил, что нет: цифры убрали намеренно, полтора месяца назад, и компания объяснила, почему. Объяснение взволновало меня. Доллары в реальных расходах часто оказывались больше, чем стоит сам план, и это смущало людей.
Локальный инференс на Ryzen AI Halo
GMKTec EVO X2 (у меня такой), но есть еще много
Модель Jev от TypeSafe AI стала доступна всем. На старте дают $5 на API‑счет
TypeSafe AI открыли общий доступ к Jev — модели для быстрых решений внутри AI-агентов и программных сценариев. Компанию основал Диого Алмейда, бывший исследователь OpenAI и соавтор работы об InstructGPT. Новым пользователям начисляют $5 на API-счёт — примерно 119 млн входных токенов по текущему тарифу.
Захватывающая история внедрения ИИ в умирающей не-IT-компании
Вся история выдумана. Любые совпадения с именами, должностями и компаниями случайны.Как компания забрала рынок

