llm. - страница 257

llm.

LLM в инструментах Data Governance и их практическое применение

Привет, Хабр! Меня зовут Антон, я аналитик в команде разработки продукта RT.DataGovernance (далее — DG) компании TData. В моей прошлой статье об ИИ в DG было упущением не описать контекст технологического развития, внутри которого, так или иначе, принималось решение о начале интеграции ИИ в наш продукт. Здесь я также постараюсь дать более подробный ответ, почему сначала мы выбрали решения классического ML. Ну и опишу, как мы все-таки внедрили LLM в DG в контуре нашего клиента ПАО Ростелеком.. Повышение требований к информационной безопасности

продолжить чтение

LLM‑разметка в поиске: от эксперимента к инструменту

Привет! Меня зовут Александр Баранов, я аналитик данных в команде поиска Купера. Цель этого рассказа, поделиться наработками в деле оптимизации разметки текстовых данных при помощи большой языковой модели (LLM). Если после прочтения вы захотите что-то добавить или спросить, буду только рад!

продолжить чтение

Я измерил «личность» 6 open-source LLM (7B-9B), заглянув в их hidden states. Вот что получилось

У LLM есть устойчивые «личности», даже если вы об этом не просили. DeepSeek — восторженный друг, который объясняет всё в три раза подробнее, чем нужно. Llama — пугающе нейтральный (4 из 7 осей в «слабой зоне»). Yi — слегка холодный, терпеливый и уверенный. У каждой модели свой измеримый «отпечаток» в hidden states.Под «личностью» дальше имею в виду устойчивые стилевые тенденции, измеряемые в hidden states, — не «чувства» и не внутренние состояния.TL;DR

продолжить чтение

Ксаверий, Терминус и языковые модели против кодировщиков

Оригинал заметки (2024). Перечитал текст двухлетней давности, и решил, что ничего не надо менять.Генеральный директор NVIDIA Дженсен Хуанг высказал мнение, что каждый сможет стать программистом с помощью ИИКто такие Ксаверий и Терминус вы узнаете ближе к концу текста, а пока поговорим о делах наших.

продолжить чтение

Юрист нашёл в договоре 32 проблемы, AI — 41. Разбираю, кто что пропустил

Как детекторы на основе судебной практики довели AI-анализатор до 41 находки при 0 ложных срабатываний. Как анализ работы юриста превратился в 23 новых проверки. И почему юрист до сих пор незаменим — но уже в другом.КонтекстЭто третья статья про Legal Parser — AI-анализатор договоров для российского рынка.В первой я рассказывал, как построил модульную систему из 32 тематических промптов для YandexGPT. Во второй — как добавил Claude и получил в 2.5 раза больше находок на том же договоре.С тех пор произошло два существенных изменения:

продолжить чтение

SaaSpocalypse: технологии AI ломают бизнес-модель SaaS?

Когда-то программное обеспечение «съело мир». Теперь Уолл-стрит всерьёз обсуждает другой сценарий: а что, если искусственный интеллект начнет поедать само программное обеспечение — его бизнес-модели, доходность и прибыль?

продолжить чтение

Zero Trust и LLM в корпорации, что это и зачем надо

продолжить чтение

Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций

Исследователи из Калифорнийского университета в Санта-Крузе показали, что большие визуально языковые модели (LVLM) в системах автопилота уязвимы перед промпт-инъекциями. Для «взлома» системы достаточно показать табличку с текстом нужной команды.

продолжить чтение

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Три месяца назад я наблюдал, как мой агент на Llama 3.1 8B в третий раз спрашивает, как меня зовут.Я представился в первом сообщении. Двести сообщений назад...Агент забыл. Не потому что тупой. Потому что контекст переполнился и начало разговора уехало в никуда.Это был момент, когда я понял: мы неправильно думаем о памяти.Почему большие контексты — это ловушкаКогда вышел Claude с контекстом на миллион токенов, казалось — проблема решена. Запихиваем всё в контекст, модель помнит всё. Красота.Потом пришёл счёт за API.

продолжить чтение

Как я делаю своего голосового AI-ассистента: роботы пишут код и работают, когда я отдыхаю

В этой статье я открою капот своей системы, которая по голосовухе в телеграме сразу делает новые фичи на живых проектах. С появлением LLM я безоговорочно верил в то, что голос станет следующим важным интерфейсом — и вот наконец технологии всех частей достаточно созрели, чтобы собрать своего персонального AI-ассистента, который и код из бара напишет и в пробке за рулем кофеек на маркетплейсе закажет.

продолжить чтение