Программирование. - страница 26

Давай по новой, Миша: speculative decoding от черновика до проверки

Маленькая модель быстро генерирует несколько следующих токенов, а большая проверяет их сразу одной пачкой. Подходящие токены принимаются, а с первого расхождения большая модель продолжает генерацию сама. При корректной реализации итоговое распределение остаётся тем же, что и при обычном декодировании. В speculative decoding большая модель буквально говорит черновой: «Давай по новой, Миша».На первый взгляд кажется, что ускорение здесь обязательно покупается ценой качества. Но нет: это как раз тот случай, когда можно ускорить генерацию без такого компромисса.

продолжить чтение

Как я понял, что делаю x16 на Cursor — и почему убрали цену

Холмс, у меня к вам дело, и начинается оно, как все скучные дела, с бухгалтерии.Я плачу за Cursor $60 в месяц. На днях я открыл страницу расходов, чтобы посмотреть, много ли я потратил за неделю, и обнаружил, что смотреть там абсолютно не на что. Вижу 321 запрос, и напротив каждого — слово «Included», то есть «включено», и ни одной суммы.Сначала я решил, что это глюк сайта. Потом выяснил, что нет: цифры убрали намеренно, полтора месяца назад, и компания объяснила, почему. Объяснение взволновало меня. Доллары в реальных расходах часто оказывались больше, чем стоит сам план, и это смущало людей.

продолжить чтение

Галлюцинации недели: Jev, везде и сразу

продолжить чтение

Агент поддержки первой линии: прототип за вечер, харнес для прода, цена диалога

продолжить чтение

Локальный инференс на Ryzen AI Halo

GMKTec EVO X2 (у меня такой), но есть еще много

продолжить чтение

Модель Jev от TypeSafe AI стала доступна всем. На старте дают $5 на API‑счет

TypeSafe AI открыли общий доступ к Jev — модели для быстрых решений внутри AI-агентов и программных сценариев. Компанию основал Диого Алмейда, бывший исследователь OpenAI и соавтор работы об InstructGPT. Новым пользователям начисляют $5 на API-счёт — примерно 119 млн входных токенов по текущему тарифу.

продолжить чтение

ИИ не напишет за вас: как масштабировать проект и не утонуть в нечитаемом коде

Контекст

продолжить чтение

Почему ваша LLM тупеет на больших документах и как ее починить

Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Когда Google анонсировал 2M контекста, а Anthropic подкинул еще 100K, наверняка многие подумали, что RAG теперь можно выкинуть на свалку истории. Зачем париться с этими чанками, эмбеддингами и всякой прочей ерундой, если можно просто кинуть в модель весь дамп википедии и спросить ее что угодно?

продолжить чтение

Захватывающая история внедрения ИИ в умирающей не-IT-компании

Вся история выдумана. Любые совпадения с именами, должностями и компаниями случайны.Как компания забрала рынок

продолжить чтение

Программирование для тех, кто не пишет код: как устроен VibeCraft

продолжить чтение