localai.

La Perf — бенчмарк локального ИИ, или M-серия наносит ответный удар

ИнтроЕсли вам интересен мир ИИ и вы хотите не просто делать fit, predict на удаленной ВМ, а изучать что-то локально, экспериментировать и упрощать себе жизнь, запуская модели прямо на своем девайсе — скорее всего, вам понадобится достаточно мощное железо.Эта статья - попытка ответить на вопрос эффективности железа для популярных AI задач: LLM, VLM, эмбэддинги.Она будет полезна как ML/AI Инженерам, так и просто Энтузиастам, которые выбирают себе железо для локального инференса gpt-oss.TL;DR:M4 Max - лучший по эффективности энергопотребления

продолжить чтение

Telegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ

Привет, Хабр! 👋Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)Если вам интересно:Как соединить Telegram-бота с локальной LLMКак запускать Rust-проекты в DockerКак построить REST API и обрабатывать вебхуки

продолжить чтение

Rambler's Top100