llm.
Xiaomi разогнали 1T-модель до 1200 tok-s на стандартных GPU
Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров).На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт похожие скорости на кастомном железе. Здесь обошлись без него.
Месть дата-сайентиста: почему LLM не отменили нашу профессию
Закончилась ли золотая эпоха дата-сайентистов? Когда-то Harvard Business Review назвал эту профессию «самой сексуальной работой XXI века». В технологической индустрии позиции data scientist часто входили в число самых высокооплачиваемых. При этом работа требовала необычного сочетания навыков:Data Scientist (сущ.): человек, который знает статистику лучше любого разработчика и разбирается в разработке лучше любого статистика.— JosH100 (@josh_wills), 3 мая 2012 года
От Naive RAG до ReAct-агента: как мы строили корпоративного AI-помощника на open-source моделях (часть 2)
Привет, Хабр! Меня зовут Саша, я — старший AI-инженер в Лаборатории искусственного интеллекта «Честного знака». Наша команда развивает «Честного помощника» — мультиагентную LLM-систему для обработки документов, поиска информации по Confluence, Jira, GitLab и генерации текстов. Главная цель команды — повышать эффективность и качество работы сотрудников за счёт расширения числа специализированных агентов в нашей мультиагентной системе.
redb.Route 3.1.0 — LLM как ещё один транспорт: .To(«llm:–claude») и .AsLlmTool()
redb.route llm AIСерия: redb ecosystem (анонс, разбор позже)В 3.1.0 у redb.Route вышло два новых транспорта: redb.Route.Llm (24-й) и redb.Route.Exec (25-й). LLM теперь — обычный endpoint наравне с Kafka, RabbitMQ и HTTP: вызов модели — это шаг .To("llm://claude")
AI B2B SaaS с нуля: что стоит между MVP и продуктом
Я на шестом проекте, который не взлетит
Meta-Attention Is All You Need
IntroductionIn this article I want to talk about an interesting finding from my experiments with language models, which I decided to call "meta-transformers".Either I found something genuinely interesting, or I mistook wishful thinking for reality. Only a technically competent outside observer can give an objective assessment, and that is why this text was published. Specialists in transformer architecture would be especially welcome here.
Тени странных петель
С кем мы на самом деле разговариваемЧетвёртая статья цикла «Слова, которых нет»Начало здесь, здесь и здесь
Как установить DeepSeek на ПК, чтобы пользоваться им без интернета
DeepSeek на ПКЕсть много причин, по которым вам может понадобиться установить нейросеть локально на компьютер. Например, вы не хотите зависеть от отключений интернета или вам нужно пользоваться ИИ на ноутбуке без сети.
