llm.
Распределённый инференс и шардирование LLM. Часть 3: настройка авторизации и интеграция с Open WebUI
Мы с вами подобрались к заключительной части статьи-инструкции об организации распределённого инференса и шардирования LLM в домашних условиях. Мы уже запустили модель Gemma 3 и протестировали API, самое время настроить авторизацию и удобный веб-интерфейс для взаимодействия с нашей моделью. Им станет бесплатный Open WebUI. В конце статьи попросим домашнюю LLM подвести итоги всей проделанной работы, а также поговорим о планах по развитию проекта.
ИИ с человеческим лицом: какие ошибки повторяют модели и что с этим делать
Искусственный интеллект может казаться чуть ли не сверхразумом, ведь он обрабатывает тонны данных и выдает, как думают многие, истину в последней инстанции. На самом деле большие языковые модели, такие как ChatGPT, страдают от тех же когнитивных искажений, что и мы с вами: они самоуверенны, предвзяты и цепляются за знакомые шаблоны. Почему ИИ, созданный быть рациональным, так похож на нас в своих ошибках? И что это значит для бизнеса, медицины или управления умным городом? Давайте посмотрим недавнее исследование ученых и попробуем разобраться.
Полмиллиона запросов за месяц: мой LLM-challenge и первые выводы
Привет, Хабр! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.
Простое объяснение AI-поиска
Всем привет! Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.Сегодняшний перевод — AI native search Explained
Саммари книги AI Value Creators, глава 1
ПредисторияНедавно, просматривая YouTube наткнулся на канал IBM Technology с серией свежих видео на тему искусственного интеллекта. Учитывая, с какой скоростью развивается эта область, подобные материалы могут быть по‑настоящему ценными, особенно круто если можно понять «ценность» до начала просмотра.Прежде чем смотреть что‑либо целиком, я делаю краткое саммари: использую встроенные транскрипции YouTube (либо youtube‑transcript.io), а затем обрабатываю текст с помощью GPT‑4o. Один из таких выпусков привёл меня к упоминанию книги AI Value Creators
LLM-судья: как LLM отсекает правду от лжи?
LLM-as-a-judge — распространённая техника оценки продуктов на основе LLM.Популярность этой техники обусловлена практичностью: она представляет собой удобную альтернативу дорогостоящей человеческой оценке при анализе открытых текстовых ответов.
Аккуратно даем LLM контекст проекта
Привет, на связи Лука.Знаете, есть такая поговорка: "тише едешь – дальше будешь". Работая с LLM, я пришёл к выводу, что аккуратность и точность в подаче контекста – это один из самых важных ключиков к хорошему результату. Иначе получится как в другой поговорке - про дурака и стеклянный орган.Чего греха таить – все мы пользуемся LLM в различных ситуациях. От генерации бойлерплейта до неожиданного, но изящного решения сложной логики. Ничего такого – очередной инструмент, которым можно, как молотком, забить гвоздь, а можно и... ну, вы поняли.
