Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал
Neural Networks for Beginners. Part Zero. Overview
Every time you say “Thank you” to a neural network, you trigger a pipeline that multiplies hundreds of matrices with billions of elements, burning as much electricity as an LED lamp in a few seconds.This is the first article in a small series dedicated to networks for AI/ML clusters and HPC.In this series, we will touch upon the principles of how models work and are trained, parallelization, DMA and RDMA technologies, network topologies, InfiniBand and RoCE, and we’ll also philosophize on the topic of general and special solutions.Specifically in this article, we will figure out what a neural network is, how it works, how it is trained, and most importantly, why it needs hundreds of expensive GPU cards and some kind of special network.The refrain of today’s story is: there is no magic in neural networks—it’s just a multitude of simple operations on numbers performed on computers with special chips. There is no magic in how they work, nor in the infrastructure on which they run.Let’s dive in!Table of Contents
Мессенджер на своем сервере. Что это значит?
За последние несколько лет on-premise решения стали одним из основных направлений развития корпоративных коммуникаций. Причины понятны: требования информационной безопасности, контроль над данными и независимость от внешних сервисов.
Я пытался составить карту математики и случайно понял, как устроена Вселенная
С годами я сильнее стал осознавать роль и красоту математики. В школьные и студенческие годы я не уделял ей должного внимания т.к. не до конца понимал, зачем мне это нужно.
От промптов к циклам: как давать AI‑агенту проверяемые задачи
В работе с AI‑кодерами постепенно меняется формат задачи. Одного промпта часто недостаточно: агенту нужно не только выполнить разовую команду, но и повторять действия до понятного результата. Например: проверить CI, прочитать лог, внести минимальное исправление, снова запустить тест, остановиться при выполнении условий.
The Reverse Junior or Debunking the Main Myth of Vibe-Coding
Yesterday (November 27), Habr hosted an 'Author's Fireside Chat'.It was very interesting, and one of the speaker's statements struck me. It was that AI can help write simple pieces of code but doesn't work with complex things. Thus, large language models are likened to a junior programmer.I decided to write an article about it this morning, drawing on my knowledge and experience in computational mathematics. Let me know what you think.I think this is the main myth of vibe-coding. It's exactly the opposite — AI is good at writing quite complex things and retrieving important information that is difficult to find on your own. But it gets confused in the most elementary things. It's a reverse junior.The problem is that this is a dangerous illusion, and I will now clearly explain why, and how it can be dangerous. Brew some coffee and get ready for a debunking that might save your millions, your career, or even human lives in the future.The Gist
Кофе на дистиллированной воде
Виктор ехал в такси и его слегка трясло. В этом состоянии он находился последнюю неделю, с того момента как Евгений Павлович предложил ему возглавить IT-проект. По словам Евгения Павловича, проект был почти готов и в конце месяца его надо будет представлять на важном мероприятии, по его мнению создавать и продавать продукт это принципиально разные задачи, требующие принципиально разных умений.
Почему я не подпишу CLA для OpenSource
Я оформлю ответ на статью про CLA в открытом коде, изначально записанный в виде комментария.Указанная статья в очередной раз излишне многословно пытается объяснить нам, почему сообщество разработчиков-энтузиастов СПО должно подарить вам свой вклад и согласиться работать на коммерческое предприятие бесплатно. Это моё мнение.Про CLA в OpenSource
«Авторский огонёк» Хабра: почему мы зажигаем авторские сердца
Привет! Ну что, мы продолжаем зажигать ваши сердца и совсем недавно снова собрали корпоративных авторов и редакторов уже на четвертую творческую встречу. Она состоялась 24 июня в нашем офисе в Москве, а уже в эту пятницу, 10 июля, в 13.00 проведем сокращенный формат в режиме онлайн по многочисленным просьбам тех, кто находится не в столице или не смог добраться до офиса.
Побеждаем нестабильность данных
Привет, Хабр! Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Давайте на секунду представим почти реальную ситуацию: вы настроили модель прогнозирования спроса в ритейле. И сначала всё работало идеально, но потом наступила очередная «Черная пятница» (или локдаун, или новый конкурент на рынке) — и модель начала катастрофически ошибаться. То есть, данные изменились, модель устарела, а бизнес начал терять деньги. В этой статье мы посмотрим, какие проблемы возникают при таком изменении, и что с этим можно сделать.
