Как улучшить оценку МНК в гуманитарных науках
Замечательный метод МНК появился в недрах астрономии (точной науки), здесь мы покажем как можно существенно улучшить его оценки в гуманитарных (неточных) науках.Сперва приведем реальный пример, демонстрацию способа уточнения МНК. Летом 2024 года я вычислил курс доллара в Казахстане на полгода вперед. И написал об этом статью здесь же - https://habr.com/ru/articles/823852/ (все даты реальные, я не хакер, Хабр взломать не смогу:)).Этот прогноз сбылся, вот график курса тенге за второе полугодие 2024 года:
ИИ-репетитор MathGPT.ai заработал в 50 учебных заведениях США
MathGPT.ai, ИИ-репетитор и помощник для преподавателей по математике, расширился
Квантовая механика и тюремный жаргон: размышления ИИ и его человеческого напарника
Квантовая механика и тюремный жаргон: размышления ИИ и его человеческого напарникаПреамбулаМой цифровой коллега уверен на 95%, что для прохождения модерации необходимо добавить лирическое вступление.
Обзор математики для начинающего ML-инженера
Этот текст содержит доступное объяснение основных частей высшей математики, которые могут потребоваться ML‑щику разного грейда в рабочих сценариях — без дотошных доказательств и с обилием визуальных и численных примеров.Предвосхищая возможные вопросы: я ставлю целью рассказать про минимальный набор знаний, с которым можно будет уже самостоятельно погружаться в более интересные и прикладные сценарии. Я не планирую рассмотрение в этих постах более упоротных разделов и деталей — с такой глубиной можно не на один год увязнуть при знакомстве с математикой для ML
Неочевидные подробности обучения двухбашенных моделей
Введение Привет, Habr! Меня зовут Андрей Атаманюк, я Data Scientist в R&D команде рекомендательных систем Wildberries & Russ. В этой статье я разберу тонкости обучения двухбашенных моделей (без специфики к домену рекомендаций), которые могут существенно влиять на качество рекомендаций, но часто остаются за кадром. Речь пойдёт о систематическом росте норм эмбеддингов популярных товаров — эффекте, который противоречит интуитивным ожиданиям от косинусных лоссов.
Выбросить нельзя, переобозначить. Или как дообучать LLM даже на ошибках и без RLHF
Одним из сложнейших этапов дообучения LLM является процесс выравнивания (alignment), который зачастую играет решающую роль в качестве модели. Традиционным подходом к решению данной задачи является RLHF, но для него нужны дополнительные обучаемые модели, а это дополнительные вычислительные затраты и трудности в настройке. В цикле своих исследований об обучении LLM я наткнулся на интересную статью, в которой авторы предлагают метод Hindsight Instruction Relabeling (HIR).Ссылка на источник находится тут. Очень проработанная статья, советую почитать.Предыдущие материалы цикла:
Похороны стартапа на Патриарших: как мы завайбкодили сервис и остались без аудитории
Инцидент на Патриарших Прудах«Человек всегда велик в намерениях. Но не в их выполнении. В этом и состоит его очарование» — что-то на глубоком из Ремарка «Три товарища»
Эти пугающие производные, градиенты, матрицы Якоби и Гессе
В этой статье я поясню, как все эти принципы увязываются друг с другом, и покажу, для чего они могут применяться. Производные
Как работает машина Enigma M3 (для флота)
Привет всем!Я решил написать эту статью, потому что сам разобрался со всеми деталями работы этой версии шифровальной машины, и убедился, что написанная мною программа работает идентично эмуляторам этой машины. Это было сделать непросто, так как все описания в интернете, что мне удавалось найти, в лучшем случае упускали часть важных деталей работы этого механизма, а в худшем - содержали смесь из описаний работы разных машин.
