ai. - страница 8

ai.

«Don’t fear the REAPer» или как DS себе локальную LLM выбирал

За последние месяцы я протестировал кучу локальных LLM, которые может потянуть моя техника и пришёл к выводу, который для многих уже очевиден: для задач на кодинг альтернатив моделям Qwen особо нет. Поэтому я решил удалить с диска все лишние модели, чтобы оставить только "рабочих лошадок". В этот момент мне на глаза попалось видео c tier-list, в котором я узнал много знакомых моделей.

продолжить чтение

Нашел золотую середину LLM в приватность-цена-качество? Прогнал два Qwen на российском (!) API: сколько стоит моя задача

Похоже я нашел свой мидл-граунд между истинно локальным интересном и типовыми подписками. Положил на кошелёк 2000 ₽, прогнал два Qwen'а по три раза на своих двух наборах задач, и весь бенч обошёлся в 154 ₽ :) 0.58 vs 0.75: расстройство и "Миша, давай по-новой"

продолжить чтение

Не сколько, а куда: что я выяснил про шум в SDE-сэмплерах flow-matching моделей

Генераторы изображений на flow matching можно запускать со стохастическим сэмплером: на каждом шаге он подмешивает свежий шум. Сила этого шума (параметр eta) обычно подбирается руками один раз и остаётся константой. Я хотел понять, может ли сэмплер выбирать её сам, шаг за шагом, из информации, которая у него уже есть бесплатно.Идея.

продолжить чтение

FAIRouter вышел на NuGet. Выбираем языковую модель под задачу в несколько строк на C#

Ранее мы рассказывали о FAIRouter

продолжить чтение

Сэм Альтман: «Оперативная память в вашем компьютере — ужасная трата дефицитных ресурсов»

Сэм Альтман, руководитель компании OpenAI: Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально:

продолжить чтение

Google сам построил машину, которая убивает его рекламный бизнес

Alphabet — холдинг, владеющий Google и рядом других компаний — потерял за день почти $500 млрд капитализации. И это не «плохой квартал», а первый звоночек структурного сдвига.Ещё удивительнее то, что падение произошло на фоне роста выручки на 25% и удвоения выручки Google Cloud. При этом поисковые запросы достигли максимума за пять лет. И всё равно акции рухнули более чем на 11%, а свободный денежный поток второй квартал подряд отрицательный — впервые с IPO 2004 года. Это значит, что компания тратит на инфраструктуру больше, чем зарабатывает от операций.

продолжить чтение

Q&A: Где заканчивается ИИ и начинается человек

Что важно запомнитьИИ-грамотность не имеет единого определения; анкета с самооценкой показывает уверенность, а не знания.Грамотность, отношение и использование ИИ идут вместе, но что чему причина, данные не показывают.Люди начинают пользоваться ИИ, когда видят пользу или интерес; вес удобства и мнения окружения зависит от инструмента.ИИ помогает собрать то, что сотрудники могут объяснить при правильных вопросах; полностью невыразимый опыт он не достаёт.

продолжить чтение

Kimi K3 — открытая модель, которая обошла закрытых лидеров рынка

Открытые системы редко конкурируют на равных с закрытыми лидерами индустрии: у их разработчиков обычно меньше вычислительных ресурсов и данных, чем у крупных лабораторий, и это сказывается на качестве. Kimi K3 — исключение: ее веса можно

продолжить чтение

Я сделал экран для мониторинга моих квот LLM провайдеров

продолжить чтение

«Диасофт» назвал интеграционный слой главным инструментом контроля ИИ‑агентов

Компания «Диасофт» представила подход, как контролировать ИИ‑агентов в корпоративных системах крупных компаний и организаций с объектами критической информационной инфраструктуры. Агент подключается к интеграционному слою так же, как любая корпоративная система, и подчиняется тем же правилам: права проверяются до запуска операции, допустимые действия описаны заранее, а каждое действие фиксируется в едином реестре.«

продолжить чтение