ml.
Масштабирование LLM: от одного чипа до ЦОДа. Глава 2. Шардинг
Это продолжение цикла статей о масштабировании тренировки и инференса LLM. Предыдущая глава находится по этой ссылке.Итак, с основами разобрались, давайте теперь разбираться с тем, как распихать матрицы по нескольким чипам, перемножить, а затем собрать это все в удобоваримый результат. По-умному это называется шардинг.
RAG для тех, кто разочаровался: почему retrieval ломается и как это починить
Вы собрали RAG-пайплайн: загрузили документы, нарезали на чанки, сгенерировали эмбеддинги, подключили векторную базу. Задаёте вопрос — модель отвечает уверенно и подробно. Показываете заказчику, тот в восторге. Потом начинается тестирование на реальных вопросах, и оказывается, что на половину из них система отвечает мимо: то находит не тот документ, то находит правильный, но не тот кусок, то вообще ничего релевантного не достаёт и модель уверенно галлюцинирует.
Почему 4 сеньёра могут быть эффективнее команды из 15 человек
Есть компании, которые верят в то, что уж лучше много джунов за копейки, чем несколько сеньоров за дорого.Очевидно, мнения могут быть разными, поэтому поделюсь своим опытом: 1. В компании Х у нас было 4 человека, которые ещё до эпохи ChatGPT с нуля за несколько месяцев собрали полноценный AI-стек: — fine-tune собственных LLM на своих датасетах — свой TTS/STT на своих датасетах — генерацию лиц и deepfake — MLOps-инфраструктуру и пайплайны
Как мы контролируем сборку печатных плат: опыт внедрения ML-модели на производстве
Привет, Хабр! Меня зовут Дмитрий Горбунов, я ведущий инженер в AI-дивизионе в YADRO, работаю в команде SmartFab. Мы решаем задачи на собственном производстве полного цикла Фаб Дубна, включающее цеха по производству многослойных печатных плат до 7 класса точности, линии поверхностного монтажа и автоматизированные конвейерные линии сборки и тестирования продуктов компании.
Выделение одного значащего признака из набора данных с помощью машинного обучения. Используется Apache Spark
Описание задачиВ первой части была создана инфраструктура для запуска машинного обучения. Там же была создана БД с данными для использования в примерах.В данной части будет искаться, какой тип файлов вызывает увеличение нагрузки. При этом, зная, какой именно тип файла был указан как вызывающий нагрузку.Будет использоваться машинное обучение в Apache Spark.Выборка исходных данных из БДНачать работу необходимо с выборки исходных данных для анализа. Структура БД описана в
Использование машинного обучения в работе с SolidWorks (2 часть): тестирование и практическое применение
Всем привет.В прошлой статье я поделился своими наработками в области работы ИИ с CAD-программами (в моём и нашем случае, SolidWorks). В этот раз поделюсь практическими результатами на примере тестового ядра своей программы, которую уже затрагивал.Краткая теория (совсем кратко)Для тестирования я подготовил 3 папки с 10 файлами деталей в каждой, переименованными в соответствии с их истинным (по моим человеческим меркам) классом: "Без гибки", "Гибка", "Вальцовка". В папке №1 находятся детали, "родственники" которых уже приняли участие в обучении (см. "Тест №1
Использование машинного обучения в работе с SolidWorks (1 часть)
Работа инженера-конструктора, помимо творчества, порой заставляет заниматься рутинными задачами, которые отнимают драгоценные силы и время. Из-за выполнения "обезьяньей работы" невозможно полноценно заниматься конструированием. Столкнувшись с постоянным формированием необходимых архивов с деталями, я решил автоматизировать этот процесс и для себя, и для коллег, написав простенькую программку.В этой статье поделюсь своим опытом и намеченными планами, поскольку работа над программой уже год как простаивает и требует продолжения (но не будем о грустном об этом). Немного истории (или с чего всё началось)
