llm.
«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24
Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24. Моя команда отвечает за модельки под капотом наших AI-сервисов.«Давайте просто развернём свою LLM на 1Т параметров» — с таким названием я выступал в июне на Saint HighLoad++. В статье пройдём тот же путь: от продукта с одним endpoint до платформы вокруг моделей.
МАЯК: сначала документация, потом кнопки
Я не люблю писать документацию. Чек-листы, планы тестирования, блоки проверок, схемы — вот это всё. Не люблю, потому что, пока ты это пишешь, теряется время на главное: разбираться и тестировать систему, с которой ты работаешь.Идея её автоматизации жила у меня с первого дня в ИТ — тогда мне её жизненно не хватало. Но понятного пути, как это реализовать, не было ни в голове, ни в OSS, нигде. Ну или я не нашёл — такой вариант тоже не отметаю.
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
Дешёвый прогноз, дорогая проверка: кто платит за страх перед ИИ
Небольшой дисклеймер: ниже моя статья=ответ на недавний разбор "цены кода" ( https://habr.com/ru/articles/1091806/ ). Чтобы, как говорится, не изобретать велосипед, я в первой части кратко опираюсь на те же четыре источника, что и автор, и пересказываю по его тексту, кроме METR и Replit, которые сверил с первоисточниками. Дальше отталкиваюсь от них: переношу механизм "создать дёшево, проверить дорого" уже на прогнозы об ИИ и показываю изнутри, как дорогая проверка выглядит в моих проектах и на моих серверах.
Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось
У меня давно была одна идея: хочу сделать свой агентный поиск на открытых моделях и со своим контролем над источниками. Не чтобы сэкономить на подписке, а скорее понять: какой минимум (технологического стека) нужен, чтобы агент нашел конкретную информацию, с проверяемым источником и не выдумал ссылку?
Нейросеть по рецепту: вычисляем веса вместо хранения матриц
Хочу рассказать об интересном подходе к построению ML-моделей. Как известно, практически любая нейросеть - это, грубо говоря, некая архитектура + некий набор весов. Веса здесь, опять же если говорить грубо, циферки в матрице. Очень много циферок в очень большой матрице. Обычно соблюдается правило, что чем сложнее и “умнее” модель, тем больший размер имеют ее “матрицы с циферками”. Особенно в этом плане выделяются LLM: у Kimi-K3, например, 2,8 триллиона параметров. Обычно, чтобы использовать модель, нужноа) иметь ее веса на диске, откуда их будешь грузить
Do LLMs Feel Pain? A Close Reading of a Viral Preprint
Another wave has swept through Telegram channels. Scientists have found a pain vector in LLMs. AI can suffer. How artificial is artificial intelligence? Should we establish ethical rules for how we treat AI?This article is an analysis of what the scientists actually wrote and what conclusions follow from it.What the Study Is AboutWhen the first commentators, having read the press release, journalists’ retellings, and AI summaries of the paper, began writing that long-held suspicions that LLMs have an inner life had finally been confirmed, I was, frankly, skeptical and even indifferent. Many similar papers with loud headlines and breakthrough press releases contained interpretive errors, problematic prompts, implicit influence on LLM responses, and so on.
Palantir — компания, которую никто не может объяснить
Представим крупную организацию: аэропорт, глобального автопроизводителя, большую больницу или даже национальную армию. В каждой из них есть огромный объём критически важной информации, которую необходимо организовать. Чем крупнее организация, тем сильнее данные разбросаны по десяткам отдельных систем и подразделений, которые почти не взаимодействуют друг с другом. А если и взаимодействуют - то редко эффективно.

