Как сократить расходы на инференс LLM? Разберемся на вебинаре
Привет, Хабр! Присоединяйтесь к вебинару 22 августа в 16:00 мск. Особенно ждем ML- и MLOps-инженеров, Data Scientists и NLP-инженеров, CTO и менеджеров ML-проектов. Поделимся опытом команды «Актион», которая сократила расходы на GPU на 60% и увеличила пропускную способность в 36 раз благодаря решению Compressa на инфраструктуре Selectel. Участникам дадим бесплатный двухнедельный тест LLM-платформы Compressa на инфраструктуре Selectel с GPU.Зарегистрироваться →ПрограммаПроблемы внешних API и open-source моделей «из коробки»Способы оптимизации LLM-моделей на своем сервере
Qwen2-Math — Alibaba Cloud выпустила серию LLM для решения математических задач любой сложности
Alibaba Cloud представила Qwen2-Math, новую серию LLM с открытым исходным кодом, предназначенную для решение математических задач. Модели основаны на платформе Qwen2, которая уже используется многими компаниями, преимущественно в Китае.
Новые продукты AI-лаборатории ИТМО и Х5 Tech
Совместная магистратура по искусственному интеллекту ИТМО и Napoleon IT – AI Talent Hub – в сентябре 2023 года запустила лабораторию по искусственному интеллекту c компанией X5 Tech на базе института. В течение 9 месяцев молодые ML-инженеры работали в одной команде с опытными экспертами X5 Tech и разработали MVP системы с использованием моделей машинного обучения для внедрения в процессы ритейлера X5 Group.
GigaChat + RAG: как гига нам инструкции для разметки пишет в 3 раза быстрее
Почти за всем хорошим ML стоят хорошие данные. И так получилось, что таких данных часто нет и их приходится добывать, а даже добыв, из них нужно сделать что-то подходящее, и (если сильно огрубить) такой процесс называется разметкой.Пример задачи по сегментации видео-кадров и пример инструкции к ней
Алиса ПРО — для мобильного разработчика
Всем привет! Меня зовут Сергей, моё основное направление — мобильные приложения, но помимо этого я пристально наблюдаю за тем, что происходит с ИИ.Недавно мы все увидели новость:10 апреля «Яндекс» представил «Алису нового поколения» — и про-подписку, где собраны продвинутые функции.Не задумываясь, я сразу оформил подписку и решил попробовать, что же это такое.
Как воссоздают человека при помощи ИИ?
Помимо нейросетей и моделей машинного обучения, основанных на перцептронах, существуют и так называемые когнитивные архитектуры – они нацелены на имитацию человеческого интеллекта, как его себе представляют когнитивные науки через призмы разнородных теорий познания и гипотез.
Даем нейросотрудникам на базе ChatGPT настоящую постоянную память
Визуализации памяти человека (DALL-E v3)ПредисловиеНа нашей no-code платформе мы создаем GPT-ботов, которых мы называем нейросотрудниками. Они уже многое умеют и даже организуются в целые нейроотделы с нейроруководителями («Один бот чтобы править всеми… нейро‑сотрудниками»).
ИИ и прогнозирование микроэлементов для борьбы с загрязнением воды
В последние десятилетия угроза загрязнения водных ресурсов стала одной из наиболее беспокоящих экологических проблем. С ростом мирового потребления фармацевтических препаратов в 2020 году оно достигло 4 миллиардов доз, и как следствие, водные системы сталкиваются с увеличением количества и разнообразия микроэлементов, попадающих в очистные сооружения. Эти вещества, часто неизвестные и трудно поддающиеся анализу, могут оказать вредное воздействие на окружающую среду и здоровье человека, включая канцерогенез и эндокринные нарушения.
Архитектура RAG: полный гайд
Первая часть. Часть вторая про Advanced RAG тут.Если, открывая холодильник, вы еще не слышали из него про RAG - то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.Итак, зачем нужен RAG?
OpenAI: ChatGPT начал «лениться» и иногда не отвечает на вопросы
OpenAI подтвердила в треде в X (Twitter), что получает жалобы от некоторых пользователей. Они утверждают, что в последнее время при использовании GPT-4 или ChatGPT API чат-бот либо отказывается отвечать на вопросы, либо прерывает разговор. По данным The Independent, вышеуказанные проблемы обычно
