llm-приложения. - страница 2

Как и зачем мы в YADRO сделали свою MLOps-платформу

В нашей компании есть много проектов, связанных с AI. Всем им нужны ресурсы для работы с моделями на GPU. «Хотим, чтобы только у нас был доступ к оборудованию», — это лишь одно из требований инженеров из AI-дивизиона, а еще нужно оптимизировать использование GPU-ресурсов, вести их учет и быстро готовить оборудование к передаче другой команде.Привет, Хабр! Меня зовут Вадим Извеков, я руководитель группы сопровождения платформы машинного обучения в YADRO

продолжить чтение

Теперь ChatGPT-5 будет придумывать запросы за вас

Похоже, OpenAI решила, что пользователи всё равно думают слишком много — и выкатили инструмент, который будет думать за вас. Речь о генераторе промптов, который сам составит запрос для ChatGPT так, чтобы модель не впала в галлюцинации и не ответила ерунду.

продолжить чтение

Локальный чатбот без ограничений: гайд по LM Studio и открытым LLM

продолжить чтение

Автоматическая поддержка пользователей на парах Вопрос-Ответ

Автоматическая поддержка пользователей становится все более и более популярной.В данной статье речь пойдет не столько о преимуществах автоматической поддержки, сколько о том, как ее организовать.Довольно часто распространена ситуация, когда на сайте есть раздел FAQ со списком вопросов. Но сейчас пользователю уже не хочется искать свой вопрос по разделу, тем более если это раздел с меню в несколько уровней, пользователь хочет просто задать вопрос - голосом или текстом. На этот случай и рассматриваем автоматическую поддержку пользователей.

продолжить чтение

Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0

Привет!

продолжить чтение

Смертельное оружие или голодные игры в эпоху AI

Я здесь, седьмой справа, какие у меня шансы?

продолжить чтение

Семантический поиск по статьям Хабра в PostgreSQL + индексация текстов LLM в Ollama

Покажу вам практическую реализацию семантического поиска на основе векторных представлений - эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста.

продолжить чтение

Как все рынки мира оказались уязвимы конкуренции с любым умным айтишником

история о том, как в текущем моменте истории, по сути любой разработчик может в одиночку задизраптить любой вертикальный рынок и даже отрасльНовая революция и ее предпосылкиПомимо самого ИИ, который как снег на голову, мы находимся на пороге беспрецедентного передела рынков в бизнесе. Традиционная корреляция между успехом стартапа и созданием рабочих мест ослабевает с каждым днем. AI-native компании будут достигать соответствия продукта рынку (Product Market Fit) быстро с одним основателем, но с более высоким уровнем автоматизации, чем когда-либо прежде. Ок, это про стартапы.

продолжить чтение

Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.

продолжить чтение

Полмиллиона запросов за месяц: мой LLM-challenge и первые выводы

Привет, Хабр! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.

продолжить чтение

Rambler's Top100