Средние модели, большие надежды: испытываем гибридные LLM
Привет, я Дмитрий, занимаюсь развитием LLMaaS. Перед нашей командой встала задача подбора «средней» языковой модели с примерно 9B параметров для обслуживания клиентских задач: оперативные чат-боты, саммаризация документов, генерация кода и аналитика на длинных контекстах. В таких сценариях критичны не только качество ответов, но и скорость, и стоимость инференса — ведь модель должна работать на одном GPU и при этом выдерживать заданный поток запросов.
10 актуальных RAG-подходов: какие реально полезны и когда их применять?
Всем привет, на фоне обновлений в LLM-стеке за последний год, решил собрать практический список RAG-подходов, которые реально используются в продакшене на основе моего опыта и того что я изучал в других кейсах.
Жизнь сквозь призму LLM. Часть 1 — почему мы будем платить не за сервис, а за доступ к мышлению
Разговор про большие языковые модели до сих пор слишком часто ведётся по одной из двух схем. Либо восторг: «смотрите, нейросеть уже пишет код и тексты», либо скепсис: «она всё равно галлюцинирует». Ни то, ни другое уже не отражает масштаб происходящего.Всем привет! Меня зовут Дмитрий Фырнин, я управляющий партнёр и технический директор в SENSE, и собрал серию материалов-рассуждений о том, как LLM меняют нашу жизнь — а где-то уже изменили — на уровне среды, в которой мы работаем и принимаем решения.
СМИ: производитель видеокарт Galax прекратит деятельность — бренд опроверг это
Производитель видеокарт Galax прекратит свою деятельность по всему миру. Palit Microsystems возьмёт на себя полный контроль над брендом, сообщил портал Wccftech. Galax и Palit опровергли сообщение о прекращении деятельности, заявив, что оно бездоказательно.
В Snapchat появилась ИИ-реклама
В Snapchat появились интерактивные ИИ-картинки. Во вкладку «Чат» компания добавила AI Sponsored Snaps («Спонсируемые ИИ-снимки»), с помощью которых можно пообщаться с ИИ-агентами брендов.
Утром я работал как по рельсам, а к вечеру сдувался: что у меня реально выровняло энергию в течение дня
Несколько лет у меня повторялся один и тот же сценарий: с 9 до 13 я был собранным и быстрым, а после 16 начинал читать один и тот же абзац по три раза, тянулся за кофе и к вечеру уже с трудом выдерживал обычный созвон. Если вы работаете головой и к концу дня чувствуете не просто усталость, а именно развал внимания, возможно, вы тоже упираетесь не в нехватку мотивации, а в кривую схему распределения энергии.
От NLU-бота к ИИ-агенту: как мы пробили потолок автоматизации в поддержке крупного банка
Привет, Хабр! На связи команда Just AI.Когда NLU-сценарий вырастает до нескольких сотен веток, а процент автоматизации все равно не двигается — это не проблема настройки, это потолок технологии. Рассказываем, как мы помогли крупному банку его пробить: перевели поддержку по кешбэку на LLM-агентов, добавили агента-судью против галлюцинаций и улучшили понимание семантики и контекста пользовательских запросов.Потолок NLU-ботов и цели автоматизации в банковском сервисе
Amazon запустила ИИ-функцию голосовых вопросов и ответов на страницах товаров
Amazon запустила функцию на базе искусственного интеллекта Join the chat, которая позволяет задавать вопросы на страницах товаров и получать голосовые ответы в режиме реального времени. Ответы дают «эксперты по покупкам на основе ИИ», которые представляют информацию в формате беседы.
