«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24
Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24. Моя команда отвечает за модельки под капотом наших AI-сервисов.«Давайте просто развернём свою LLM на 1Т параметров» — с таким названием я выступал в июне на Saint HighLoad++. В статье пройдём тот же путь: от продукта с одним endpoint до платформы вокруг моделей.
LLM-судье нельзя верить на слово: как построить надёжный гейт и проверить сами тесты
В одном из проектов я строил систему оценки ответов с двумя контурами. Первый был скучным и предсказуемым: нормализовать результат и сравнить его с эталоном. Второй использовал LLM как судью и оценивал смысл ответа целиком.Каппа Коэна
К2 НейроТех собрал готовый к поставке ПАК-AI на основе платформы Yandex AI Studio
ПАК-AI с установленной на него платформой Yandex AI StudioИИ-интегратор полного цикла К2 НейроТех
