Нейросеть по рецепту: вычисляем веса вместо хранения матриц
Хочу рассказать об интересном подходе к построению ML-моделей. Как известно, практически любая нейросеть - это, грубо говоря, некая архитектура + некий набор весов. Веса здесь, опять же если говорить грубо, циферки в матрице. Очень много циферок в очень большой матрице. Обычно соблюдается правило, что чем сложнее и “умнее” модель, тем больший размер имеют ее “матрицы с циферками”. Особенно в этом плане выделяются LLM: у Kimi-K3, например, 2,8 триллиона параметров. Обычно, чтобы использовать модель, нужноа) иметь ее веса на диске, откуда их будешь грузить
Устроил маленьким моделям проектный институт: слабой деление на разделы дало вчетверо, рой пять пунктов
Я тепломеханик, начальник отдела в проектной организации, в проектировании четырнадцать лет. Программистом не был ни дня, с нейросетями вожусь меньше года. Весной взялся вырастить из слабых локальных моделей рой, который окажется умнее самой сильной из них. Рой не поумнел. Зато по дороге я разложил шесть маленьких моделей по схеме, по которой работает любой проектный институт, и замерил, что из этой схемы держит нагрузку. Держит одно деление на разделы, и слабой модели оно дает больше, чем сильной.
ИИ‑модель Anthropic отправила в полицию Филадельфии ложное сообщение об убийстве
Модель искусственного интеллекта компании Anthropic отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. ИИ передал эту недостоверную информацию через общедоступную линию для приёма сообщений Департамента полиции Филадельфии 18 июля, однако в Anthropic обнаружили этот факт лишь 28 сентября.
Обучаем LLM по клику: платформа распределённого обучения на HGX
Привет, Хабр! Меня зовут Павел, я старший разработчик ML-платформы в Авито и последние полтора года занимаюсь MLOps. На прошедшей Kuber Conf от АОТ я выступал с докладом про нашу платформу распределённого обучения, а теперь решил сделать на его основе статью для вас. Если вам комфортнее воспринимать такие материалы в формате видео — держите.
RAG по 11 000 файлов: почему семантический поиск не находит по артикулу
Привет! Меня зовут Дмитрий, я работаю в компании Cortex IT и автоматизирую бизнес-процессы наших клиентов. Среди прочего мы строим RAG-ассистентов по внутренней документации.На одном из проектов было много нестандартной технической документации на оборудование, и с настройками по умолчанию поиск отдавал не те чанки. Пришлось разбираться, почему так происходит.
Вайбкодим плагины для open‑source видеоредактора
У меня есть open-source проект, который я поддерживаю долгое время, и всё это время несколько вещей мне не давали покоя. Во-первых, мой проект был таким монолитом
Математики бойкотируют новые ИИ‑открытия от компании OpenAI
Компания OpenAI представила решения ряда давних математических задач, полученные с помощью ещё не выпущенной передовой модели искусственного интеллекта. Публикация включает 722 документа, сгруппированных по 372 тематическим направлениям. Однако математическое сообщество бойкотирует эти документы.
Архитектура интеллектуального агента с нуля (AGI или не AGI?). Часть 1
Когда-то всё начиналось с одной строчки кода и вопроса: «А что, если он сам поймёт, что делать?»Я не строю сверхразум и не собираюсь перевернуть мир. Просто много лет в своей тихой лаборатории (читай: за обычным столом у компьютера) проектирую кусочки алгоритмов, как детали конструктора. Иногда они щёлкают и начинают жить — и это самый крутой момент.
Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM
Вот результат обработки искусственного документа нашим локальным Pii-Mask:{{PERSON_1}}, инженер. Номер в отраслевом реестре: Z-99-65432104. Маскер закрыл ФИО, но оставил номер. Здесь он вымышленный; в настоящем документе такой идентификатор может позволить найти человека в открытом реестре. Успешное завершение маскера этого не исключает.Перед передачей текста в модель мы ищем в нем известные идентификаторы документа. Список для этой проверки составляется по исходному материалу: если брать только найденные маскером сущности, пропущенный идентификатор не попадет в список для проверки.Что проверяем

