Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Привет! Меня зовут Артём, я руковожу группой цифровой трансформации в Sminex. Последние два года моя команда занимается внедрением AI в компанию. В реальности это куда менее гламурная история, чем звучит: про прокси-слои, отладку промптов в Langfuse и бесконечные «Почему модель опять ответила не то?».В этой статье расскажу, как мы с самого начала пошли в LLM-платформу — а не в «одного бота», почему это было правильным решением и какие грабли мы всё равно собрали по дороге.Почему мы сразу пошли в платформу
Как я обучил GPT с нуля на русском языке — и что из этого получилось
Всё началось с наивной мысли: зачем платить за API или тащить 7B-модель, если мне нужна маленькая модель для простых разговоров на одном языке? Логика казалась железной — большие модели умеют всё и на всех языках сразу, но это же избыточно. 0.7B, заточенная под один язык и один стиль общения, должна справляться не хуже.Спойлер: это было наивно. Но путь оказался ценнее результата.В этой статье — как я прошёл путь от стандартного nanoGPT до кастомной архитектуры с RoPE/SwiGLU/GQA, собрал русскоязычный корпус с нуля, и придумал распределённое обучение на бесплатных Colab-воркерах через Google Drive.Почему не взять готовую модель?
Как я перестал писать убер-промпты и начал формировать инфраструктуру
«make no mistakes» и «write if you need more context» – фразы, которые я до сих пор могу напечатать на клавиатуре с завязанными глазами, потому что они способны помочь выжать из ChatGPT рабочий код, а если Deep Thinking подключить, то вообще сказка, разве нет?Меня зовут Андрей Жаров, iOS-разработчик из Doubletapp
От Naive RAG до ReAct-агента: как мы строили корпоративного AI-помощника на open-source моделях (часть 1)
Привет, Хабр! Меня зовут Константинов Александр
Графы знаний в юридическом домене: эксперимент с LightRAG
интерактивная визуализация графа знаний в WebUI LightRAG
Pollux: LLM-as-a-judge для русского
Прошло несколько лет с тех пор, как нейросетевые модели стали применимы в генерации текста. Сегодня языковые модели уверенно решают задачи написания кода, поддержки диалогов и планирования маршрутов. Тем не менее, до сих пор не сложилось универсального подхода для валидации LLM перед их внедрением в цифровые продукты.
Почему 4 сеньёра могут быть эффективнее команды из 15 человек
Есть компании, которые верят в то, что уж лучше много джунов за копейки, чем несколько сеньоров за дорого.Очевидно, мнения могут быть разными, поэтому поделюсь своим опытом: 1. В компании Х у нас было 4 человека, которые ещё до эпохи ChatGPT с нуля за несколько месяцев собрали полноценный AI-стек: — fine-tune собственных LLM на своих датасетах — свой TTS/STT на своих датасетах — генерацию лиц и deepfake — MLOps-инфраструктуру и пайплайны
Чат-бот Grok заявил пользователю, что его хотят убить
Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.
Подружитесь со своим ассистентом
В последнее время мне довольно часто приходится отвечать на вопросы, как я добиваюсь такой эффективности работы с ИИ-ассистентом, хотя коллеги гораздо тщательнее относятся к промптам, пишут километровые преамбулы на каждый чих и увещевают своих помощников мантрами наподобие «ты аналитик-архитектор с трехсотлетним стажем».Записал вот и даже перевел на русский свои рецепты, чтобы каждый раз не вставать. Типографика
Кастомный пайплайн BERTopic: как кластеризовать тексты и получить интерпретируемые темы с помощью LLM
Привет, Хабр! Меня зовут Антон и я занимаюсь задачами NLP в компании Ростелеком Информационные технологии.
