llm.
Экономика клиентской разработки с AI
С AI в клиентской разработке стало выгодно делать то, что раньше технически было несложно, но экономически бессмысленно. Какой‑нибудь специфический фильтр, дополнительный экран в админке, сценарий обработки данных... Раньше смотришь на задачу и понимаешь, что руками это несколько часов работы. Клиенту функция не настолько нужна, сколько она стоит в хорошей реализации, поэтому либо от неё отказываемся, либо ищем готовый плагин, который умеет нужное и подгружает ещё семьдесят свистелок.
Динамо, вал и ИИ-агенты: ИТ проходит этот цикл уже в четвёртый раз
Коротко. За последние недели OpenAI приостановила выпуск самых мощных моделей с доступом к инструментам после того, как агент выбрался из изолированной среды, а NVIDIA выпустила платформу для ограничения агентов на уровне процессоров и сети. Это выглядит как новость про «опасный ИИ», но на деле это знакомый цикл: открытая фаза, инцидент, ограничения. ИТ проходило его с сетями, с макросами, с плагинами браузеров. У этого цикла есть предсказуемый финал, и к нему можно прийти заранее, без собственного инцидента. Ниже история, наши цифры и чек-лист. Неделя, которая всё объяснила
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Материал подготовлен в рамках курса «MLOps».Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, как снизить стоимость инференса LLM на собственных GPU, не меняя
Почему fallback между LLM может сломать семантику ответа
Когда проектируешь обычный backend, fallback обычно воспринимается как довольно понятный механизм.Есть основной upstream. Если он недоступен, переключаемся на резервный. Если один pod умер, запрос обслужит другой. Если один PostgreSQL read replica недоступен, читаем с другой. Если основной endpoint партнёра отвечает ошибкой, можно попробовать резервный.В большинстве таких случаев мы предполагаем, что резервный исполнитель реализует тот же контракт.С LLM это предположение начинает ломаться.Две модели могут принимать один и тот же JSON, возвращать JSON по одной и той же схеме и при этом фактически выполнять задачу по-разному.
Jev: модель, которая не пишет текст, а принимает решения
Последний год я слежу за LLM-шным хайпом, и каждый день появляется что-то новое. На этот раз хочу рассказать про Jev — модель TypeSafe System One, которую я изучал последние пару недель. Она сразу меня зацепила: это не очередная LLM, а штука с принципиально другой механикой. Сразу обозначу: не будет «это меняет мир» и «всё гениально просто». Будет сухой разбор от первого лица: что это, как работает и во сколько реально обходится.
Как я несколько часов гуглил, чтобы потом за 15 минут запустить локальный DeepSeek для Python и SQL
Робот может написать симфонию?Полгода назад мне понадобился личный AI помощник (знаю...звучит слишком пафосно и мне самому это словосочетание не нравится) для работы на своем ноутбуке на Windows.
Синхронизация Claude Code, месяц спустя: что ещё сломалось, когда машин стало две по-настоящему
В первой статье я разбирал, почему ~/.claude нельзя просто положить в облачную папку, и шесть граблей, на которые наступил, пока делал синхронизацию через git. Тогда движок жил в основном на стендах: одна рабочая машина и разыгранные сценарии с подменённым $HOME.
Jev, Laya и Gemini Flash на трёх задачах классификации в поддержке
За неделю я прогнал три задачи из своего прода через модели, которые только выбирают из списка, ставят оценку по шкале или возвращают вероятность. Jev как закрытая, Laya как опенсорсный аналог, плюс gemini flash lite как третий кандидат. Две задачи из трёх они закрывают, третью не закроет ни одна, и понять это можно было до всякого замера.Меня интересовал не обзор моделей. Хотелось рамки: какие задачи вообще имеет смысл отдавать такому инструменту. Ниже три замера на живом трафике, шесть признаков подходящей задачи и раздел с оговорками, где я честно перечисляю, чего эти цифры не доказывают.
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI‑Foundation-80B‑A3B‑Base https://habr.com/en/companies/yandex/articles/1083300/
