Машинное обучение. - страница 130

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)

В предыдущей части статьи мы разобрали архитектуру LightRAG и показали основные сценарии его развертывания. В качестве эксперимента (

продолжить чтение

Один суффикс, чтобы взломать их всех

От GCG до refusal direction. Лонгрид о серии градиентных adversarial-атак на языковые модели: с чего она началась, как разветвилась, что мы в итоге поняли про механику взлома и где находимся сейчас.О чем это и зачемЕсть простой, но неудобный вопрос: насколько прочен safety-элайнмент, который мы навешиваем на модели? Интуиция подсказывает: «модель обучили отказывать на вредное - значит, она отказывает». Серия работ, которую я хочу разложить, показывает, что между обучили отказывать и робастно отказывает под давлением оптимизации - пропасть.

продолжить чтение

Срочная новость: правительство США потребовало экстренно отключить доступ к Fable 5 и Mythos 5

Правительство США, ссылаясь на полномочия в сфере национальной безопасности, выпустило директиву экспортного контроля, требующую приостановить любой доступ к Fable 5 и Mythos 5 для иностранных граждан - независимо от того, находятся они в США или за их пределами. Это касается в том числе иностранных сотрудников Anthropic.Практический результат этого распоряжения: нам необходимо срочно отключить Fable 5 и Mythos 5 для всех наших клиентов, чтобы обеспечить соблюдение требований.Доступ ко всем остальным моделям Claude не затронут.

продолжить чтение

Почему тебе нужно стать нейро-панком прямо сейчас

Небольшое эссе на тему того, почему сообществу разработчиков надо по максиму вкладываться в LLM, которые будут свободны от корпорации и государств.

продолжить чтение

Ключевые основы автоматического выбора алгоритмов кластеризации мультимодальных данных на основе мета-обучения

продолжить чтение

Я научил небольшой Transformer генерировать цифры одной нитью

Наверняка вы видели портреты, собранные из одной нити, натянутой между сотнями гвоздей. Я решил проверить: можно ли научить нейросеть генерировать не готовую картинку, а инструкцию, по которой такая картинка строится?Я превратил цифры MNIST в последовательности переходов между 256 гвоздями и обучил небольшой Transformer продолжать путь нити. В результате модель выдаёт не PNG, а JSON-траекторию, которую можно отрисовать в любом разрешении - или потенциально передать физической string-art установке.

продолжить чтение

Что такое контекстное окно и почему модели забывают

Ты час разговариваешь с ChatGPT. Даёшь контекст, объясняешь задачу, уточняешь детали. А потом модель вдруг начинает противоречить тому, что говорила раньше. Забывает имя персонажа которое ты указал в самом начале. Спрашивает то, о чём вы уже договорились.Первая реакция - что-то сломалось. Но это не баг. Это фундаментальное ограничение архитектуры, у которого есть название и объяснение.Модель не помнит - она читаетГлавное заблуждение про языковые модели - что у них есть память. Что где-то внутри хранится история ваших разговоров, и модель к ней обращается.Это не так.

продолжить чтение

Пять LLM-провайдеров через один openai-клиент

У нас почти каждая заметная операция в продукте идёт через LLM: генерация follow-up, сборка КП, скоринг, саммари звонков. Пока провайдер один — это бомба замедленного действия. Он ложится по 503, упирается в рейт-лимит, или цена улетает, потому что дешёвый разбор команды почему-то крутится через флагманскую модель.Поэтому мы сделали тонкий роутер. Не фреймворк, не «оркестратор агентов» — примерно 500 строк на NestJS, которые переезжают между нашими продуктами без правок. Расскажу, что внутри и на чём набили шишки.Один клиент вместо зоопарка SDK

продолжить чтение

IPO SpaceX сделало Маска первым триллионером, а 4400 сотрудников компании — миллионерами

Илон Маск стал первым долларовым триллионером в истории — по крайней мере, по расчетам Reuters

продолжить чтение

Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз

Сколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLMМы в LLMStart.ru

продолжить чтение