llm.
Не окей, гугл: как сделать поисковик для работы с служебными презентациями
Привет, Хабр! Это снова команда «МосТрансПроекта». Мы постоянно работаем с информацией и знаниями, которые храним в служебных презентациях. Чтобы ими было удобней пользоваться и извлекать данные, мы решили создать удобный сервис хранения документов с поиском. Задача оказалась непростой, и в этой статье мы расскажем, как её решили. Текст будет интересен всем, кто занимается структурированием данных, поисковыми машинами и ИИ.
Как выбрать LLM-модель, которая заберет у вас работу
Пока одни спорят, заменит ли ИИ людей, другие уже выбирают, какую нейросеть поставить себе в напарники. ChatGPT, Claude, Mistral, а еще китайские модели, которые неожиданно набирают популярность — надо бы разобраться в этом хаосе.Не стоит полагаться только на отзывы или случайные тесты. Разбираемся, по каким критериям действительно стоит оценивать LLM, чтобы выбрать мощную и полезную модель, а не просто хорошо обученного бота.По каким параметрам оценивать языковые модели
Перевод OWASP LLM Top 10
Список OWASP LLM Top 10 2023 года стал фундаментом для безопасного использования LLM и повышения осведомленности о проблемах безопаности. Проект OWASP Top 10 for Large Language Model Applications был создан как попытка сообщества выделить и решить проблемы безопасности, характерные для приложений ИИ. С тех пор технологии продолжают распространяться по отраслям и приложениям, а вместе с ними и сопутствующие риски. По мере того как ИИ все глубже внедряется во все сферы деятельности - от взаимодействия с клиентами до внутренних операций, разработчики и специалисты по безопасности обнаруживают новые уязвимости и способы борьбы с ними.
Как ИИ изменит разработку программного обеспечения: суровые истины от Addy Osmani (глава Chrome Developer Experience)
Всем привет! Меня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь материалами, которые помогают:Продуктовым менеджерам — интегрировать AI без перегрузки команд;Разработчикам — выбирать инструменты под конкретные бизнес-задачи;Специалистам по данным — избегать ошибок в production-развертывании.У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.Сегодняшний перевод —
Часть 1. Обзор подходов RAG
Предисловие от переводчикаСпециалисты по RAG и LLM вряд ли найдут что-то новое в этой статье — она больше предназначена для моих коллег, ИТ-переводчиков, которые только погружаются в терминологию языковых моделей. Само содержание статьи (точнее цикла статей) — адаптированный перевод с arxiv.org статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey
На сколько Ollama готова для Production?
Некоторое время назад я был в восторге от Ollama: простое скачивание моделей одной консольной командой, наличие SDK для NodeJS и Python, OpenAI-подобное API. Однако, так как отрасль рынка активно развивается, инструмент с каждым днем становится менее конкурентноспособнымПроблемы OllamaПункты ниже заставят вас задуматься рассмотреть другой инструмент запуска GGUF, например: LMStudio, LocalAI, KoboldCPP, vLLM или llama-server
Microsoft Research разработала новый способ включения знаний в LLM
Microsoft Research разработала более эффективный способ включения внешних знаний в языковые модели. Новая система, называемая Knowledge Base-Augmented Language Models (KBLaM), использует подход plug-and-play, который не требует изменения существующих моделей.
Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
Автор - DarkBonesПредисловиеВ этом посте я расскажу про подход, благодаря которому я занял первое место в обеих призовых номинациях и в общем SotA рейтинге.Памятка по RAGRAG - это инструмент, расширяющий возможности LLM через “подключение” к ней базы знаний любого размера.Путь разработки базовой RAG системы состоит из этапов:
