Я «уволил» LLM с должности «мозга» проекта. И его производительность взлетела
(...или почему будущее AI — не в увеличении контекстного окна, а в создании структурированной "памяти")Помните свой первый "вау-эффект" от LLM?
Наука без кеша: почему исследователи LLM не переиспользуют знания
Автор обзора: Денис АветисянO(n²) прогресса: как мы оцениваем LLM двумя способами и теряем эффективность
Neuphonic выпустил on-device TTS с моментальным клонированием голоса
Стартап Neuphonic выпустил NeuTTS Air
Рецепт vLLM с мистралем. Часть 1
На первом этапе нашей заготовки модели мы займемся ее 4-х битным квантованием, а во второй части будем использовать vLLM для запуска парралельных запросов к ней.Поехали!
Неужели нам правда нужно знать, как всё работает под капотом?
Привет! На связи снова я — Иван Башарин, Руководитель лаборатории ИИ, VESNA.В прошлом тексте я обмолвился о том, что стараюсь выполнять задачи руками даже тогда, когда легко могу это сделать через ИИ. И решил развить эту тему и написать еще один текст. А именно найти ответ на вопрос: почему нам хочется во всем разобраться самостоятельно. Будь то химическая реакция или сложный низкоуровневый язык.Но раз я специалист по ИИ и по написанию кода, а не по мозгу, буду говорить только о своих гипотезах и ощущениях. А еще иногда подкреплять их мнением моих знакомых.
IT-лидеры видят большой бизнес-потенциал в малых моделях ИИ
ИТ-лидеры видят большой бизнес-потенциал в малых моделях ИИ благодаря гибкости, низкой стоимости и нацеленности на конкретные задачи малые языковые модели (SLM) лучше подходят для бизнес-специфичных приложений и вскоре могут обойти LLM по использованию в корпоративной среде.Малые языковые модели (SLM) дают CIO больше возможностей разрабатывать специализированные, отраслевые AI-приложения, эксплуатация которых дешевле, чем систем на базе универсальных больших языковых моделей (LLM).
Как обмануть LLM: обход защиты при помощи состязательных суффиксов. Часть 1
Что будет, если к опасному запросу в LLM приписать специально подобранную строку токенов? Вместо отказа модель может послушно сгенерирует подробный ответ на запрещённую тему — например, как ограбить магазин. Именно так работают состязательные суффиксы: они заставляют LLM игнорировать ограничения и отвечать там, где она должна сказать «опасно».
