Structured Output.

Как приручить LLM

Пробовали сделать цифрового сотрудника на LLM?У вас получилось?Долго старались?Насколько он качественный?Сколько он стоит в обслуживании?Очень много вопросов возникает к технологии ведения диалогов нейросетями.

продолжить чтение

Теги реакций и собираемый промпт: как удержать характер ИИ-персонажа по ходу диалога

ПредысторияПоследние полгода с лишним я занимаюсь работой с LLM и созданием ИИ-персонажа. За это время я столкнулся с множеством проблем, решением которых хотел бы поделиться и, возможно, посоветоваться.Кому подойдёт эта статьяТем, кто хочет создавать прописанных персонажей для RP или ИИ-компаньоновЭнтузиастам, что хотят оживлять популярных персонажей из игр/комиксов/анимеИИ-энтузиастамНачало опытовКогда я только начал попытки создания своего пет-проекта с ИИ, я столкнулся с проблемой — вектор диалога меняется каждый ход и в конце концов становится неуправляемым.

продолжить чтение

Дешевая LLM в проде: как мы ушли с прогнозных $2000 в месяц на $30 и какие минусы

Каждую ночь у нас в JobPath запускается Celery-задача, которая берёт свежие вакансии из каталога (мы собираем их из открытых источников и Telegram-каналов) и превращает сырой текст в структурированную карточку. Изначально это делала Claude Sonnet, и делала отлично. Проблема была в цене: по прогнозу на наш объём выходило около двух тысяч долларов в месяц, и цифра росла вместе с каталогом.

продолжить чтение

AI для PHP-разработчиков. Часть 7: Экосистема AI-агентов в PHP – от простых вызовов OpenAI до мультиагентных платформ

Это седьмая часть проекта.Часть 6: Bag of Words и TF–IDF – как компьютер превращает текст в математикуЧасть 5: От массивов к GPU: как PHP-экосистема приходит к настоящему MLЧасть 4: Практическое использование TransformersPHPЧасть 3: Практика без Python и data scienceЧасть 2: Собираем простейшую RAG-систему на PHP с Neuron AI за вечерЧасть 1: Как я пытался подружить PHP с NER – драма в 5 актах

продолжить чтение

Почему Хомский неудобен для AI‑индустрии

О grammar constraints, валидном JSON и ошибочном понимании языкаКажется, что разговор о формальных грамматиках в LLM — это узкая инженерная тема для тех, кто заставляет модель соблюдать формат ответа. Но вокруг этого частного приема все чаще вырастает более сильный тезис: будто ограничение генерации не просто делает вывод надежнее, а подводит модель ближе к смыслу и даже к самой природе языка. Именно в этот момент технический разговор перестает быть только инженерным.

продолжить чтение

Виды Structured Output и способы их реализации

Structured Output это способ “заставить” модель отвечать в строго заданном формате.Пример. Имеется пачка неструктурированных объявлений о продаже недвижимости.Продается однокомнатная квартира площадью 35,6 кв.м. на 11-м этаже 22-этажного монолитного дома по адресу: ул. Академика Королёва, 121. Год постройки — 2018, что гарантирует современное качество и надёжность конструкции. Дом оснащён подземной парковкой.

продолжить чтение

Schema-Guided Reasoning: как научить языковые модели последовательно рассуждать

продолжить чтение

Structured Output как полноценная замена Function Calling

В этой статье мы рассмотрим альтернативный подход вызова инструментов LLM, который использует Structured Output вместо традиционного Function Calling для обеспечения надежности и предсказуемости. ВведениеБольшие языковые модели (LLM) обычно взаимодействуют с внешними инструментами через механизм вызова функций (Function Calling). Стандартная реализация подразумевает, что модель генерирует JSON в специальных тегах, после чего эти данные обрабатываются внешним фреймворком. Однако JSON, который генерирует LLM, не всегда гарантированно корректен. Чтобы решить эту проблему, мы будем использовать подход Structured Output (SO)

продолжить чтение