llm.
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал
Neural Networks for Beginners. Part Zero. Overview
Every time you say “Thank you” to a neural network, you trigger a pipeline that multiplies hundreds of matrices with billions of elements, burning as much electricity as an LED lamp in a few seconds.This is the first article in a small series dedicated to networks for AI/ML clusters and HPC.In this series, we will touch upon the principles of how models work and are trained, parallelization, DMA and RDMA technologies, network topologies, InfiniBand and RoCE, and we’ll also philosophize on the topic of general and special solutions.Specifically in this article, we will figure out what a neural network is, how it works, how it is trained, and most importantly, why it needs hundreds of expensive GPU cards and some kind of special network.The refrain of today’s story is: there is no magic in neural networks—it’s just a multitude of simple operations on numbers performed on computers with special chips. There is no magic in how they work, nor in the infrastructure on which they run.Let’s dive in!Table of Contents
От промптов к циклам: как давать AI‑агенту проверяемые задачи
В работе с AI‑кодерами постепенно меняется формат задачи. Одного промпта часто недостаточно: агенту нужно не только выполнить разовую команду, но и повторять действия до понятного результата. Например: проверить CI, прочитать лог, внести минимальное исправление, снова запустить тест, остановиться при выполнении условий.
The Reverse Junior or Debunking the Main Myth of Vibe-Coding
Yesterday (November 27), Habr hosted an 'Author's Fireside Chat'.It was very interesting, and one of the speaker's statements struck me. It was that AI can help write simple pieces of code but doesn't work with complex things. Thus, large language models are likened to a junior programmer.I decided to write an article about it this morning, drawing on my knowledge and experience in computational mathematics. Let me know what you think.I think this is the main myth of vibe-coding. It's exactly the opposite — AI is good at writing quite complex things and retrieving important information that is difficult to find on your own. But it gets confused in the most elementary things. It's a reverse junior.The problem is that this is a dangerous illusion, and I will now clearly explain why, and how it can be dangerous. Brew some coffee and get ready for a debunking that might save your millions, your career, or even human lives in the future.The Gist
You don’t need OpenClaw—write your own
Hello, Habr! My name is Nikita Pastukhov—author of FastStream, Principal Engineer, and maintainer of AG2 (a framework for agent development). I’ve been in development for 8 years, and for the last year, I’ve been up to my ears in agents.And I want to prove to you that writing your own agent is no more difficult than writing a CRUD application.Why does this even need to be proven? Because there’s a noticeable gap between what’s happening with AI in the world and what’s happening in the average Russian company:The WorldRussiaEvery company has a subscription to OpenAI / Claude / CopilotDANGEROUS, we host our own modelsA billion startups making AI productsUnclear
Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах
Есть простая практическая задача, из-за которой я вообще все это затеял. Вы берете маленькую модель, квантуете ее, чтобы она влезла в ноутбучную видеокарту, и хотите заранее понимать, насколько просядет ее способность вызывать инструменты. Обычно для этого смотрят на BFCL или ToolACE: там все измерено, есть таблицы, есть готовые цифры деградации по уровням квантования. И кажется логичным, что этими цифрами можно пользоваться.
Дискуссия «Дивный новый SDLC: с какой реальностью мы столкнулись, «ускорив» разработку»
Год назад IT-индустрия начала массово внедрять кодинг-ассистентов. За это время разработчики успели их полюбить, возненавидеть и сделать частью ежедневной рутины. Но что изменилось на самом деле? Растет ли эффективность? Нужно ли заставлять программистов пользоваться ИИ? Кто теперь пишет код, а кто его только ревьюит?Делимся хайлайтами с технической дискуссии Conversations. В главных ролях: ВТБ, Т-Банк, Dodo Engineering и S7 TechLab.
