llm-приложения. - страница 4

Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0

Привет!

продолжить чтение

Смертельное оружие или голодные игры в эпоху AI

Я здесь, седьмой справа, какие у меня шансы?

продолжить чтение

Семантический поиск по статьям Хабра в PostgreSQL + индексация текстов LLM в Ollama

Покажу вам практическую реализацию семантического поиска на основе векторных представлений - эмбеддингов из текста. Здесь я создам систему, которая анализирует статьи с Хабра, извлекает из них темы и ключевые слова с помощью локально работающих больших языковых моделей LLM, и на основе этих данных создает векторные представления для эффективного поиска по смыслу, а не по запросу на вхождение определенного текста.

продолжить чтение

Как все рынки мира оказались уязвимы конкуренции с любым умным айтишником

история о том, как в текущем моменте истории, по сути любой разработчик может в одиночку задизраптить любой вертикальный рынок и даже отрасльНовая революция и ее предпосылкиПомимо самого ИИ, который как снег на голову, мы находимся на пороге беспрецедентного передела рынков в бизнесе. Традиционная корреляция между успехом стартапа и созданием рабочих мест ослабевает с каждым днем. AI-native компании будут достигать соответствия продукта рынку (Product Market Fit) быстро с одним основателем, но с более высоким уровнем автоматизации, чем когда-либо прежде. Ок, это про стартапы.

продолжить чтение

Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.

продолжить чтение

Полмиллиона запросов за месяц: мой LLM-challenge и первые выводы

Привет, Хабр! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа (UK). В начале апреля я запустил llm7.io - полностью бесплатный LLM-провайдер, совместимый с популярными библиотеками chat completion. Цель была простая: проверить, насколько эффективно можно построить отказоустойчивую архитектуру под настоящую high-load-нагрузку, и при этом дать всем желающим доступ к мощным языковым моделям - без регистрации, API-токенов, смс и прочих барьеров.

продолжить чтение

Часть 3. Обзор технологий RAG для LLM: оптимизация извлеченных данных

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь) Во этой, третьей части авторы совсем кратенько разбирают технологии оптимизации извлеченных данных.После этапа поиска информации не рекомендуется напрямую передавать все полученные данные в LLM для генерации ответов. Оптимизацию предлагается проводить в двух направлениях: корректировка извлечённого контента и

продолжить чтение

Часть 2. Обзор технологий RAG для LLM: поиск и извлечение информации

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (первую часть см. здесь) Во второй части авторы разбирают технологии оптимизации поиска и извлечения данных. Поскольку материал я готовил в первую очередь для начинающих ИТ-переводчиков, сложные и специальные термины я сопровождал английским переводом и краткими пояснениями в инфобоксах (появляются по наведению курсора). Картинок не было, не обессудьте.

продолжить чтение

Сравнение low-code редакторов для разработки приложений на основе LLM

Привет, Habr! Наша команда LLM-разработки подготовила статью с анализом low-code редакторов для разработки пайплайнов на базе LLM-моделей. Тема сравнения пайплайнов назревала давно, так как мы активно используем данные редакторы в своей работе и зачастую сталкиваемся с различными ограничениями решений. Данная статья будет полезна командам, которые только выбирают среду разработки пайплайнов для своих LLM-приложений и ИИ-агентов, а также тем, кто ищет лучший редактор для решения своих задач.Введение

продолжить чтение

Docker теперь конкурент Ollama?

Ребята зарелизили новую крупную фичу, и, как по мне, это самая крупная механика с момента выхода dev containers, так как это показывает, насколько всё-таки AI всё глубже интегрируется в разработку.Docker Model Runner - фактически инструментарий для запуска моделей локально, и это буквально полный конкурент для Ollama, но, будем объективны, пока что ещё очень сырой.Фактически у нас с вами появилась новая команда:

продолжить чтение