llm.
Как научить модель рассуждать, не переобучая её, меньше чем за 10$
ВведениеЭто статья обобщение моего исследования передачи знаний от большой модели с замороженными весами в малую модель, которую мы будем обучать через расширенный механизм кросс внимания или проще говоря через LLM модули. Оригинальное исследование доступно по ссылке: arxiv.org/abs/2502.08213 . Репозиторий с кодом и весами доступен на Hugging Face: LLM модули.
Исследование AI выявило ключевые факторы, лежащие в основе долгосрочных способностей LLM к рассуждениям
Систематическое исследование раскрывает методы, с помощью которых генерируются длинные цепочки мыслей моделей рассуждений. Результаты дают практические советы по оптимизации стратегий обучения. Команда IN.AI вместе с исследователями из Университета Цинхуа и Университета Карнеги-Меллона составила карту того, как модели AI развивают свою способность работать с длинными цепочками мыслей. Их систематическое исследование использовало контролируемую тонкую настройку (SFT) и обучение с подкреплением (RL) для выявления ключевых факторов, лежащих в основе этой способности.
Меньше надзора, больше эффективности: AI модели обобщают данные сами
Исследование Гонконгского университета и Калифорнийского университета в Беркли показало, что языковые модели лучше обобщают, если им позволить самостоятельно находить решения. Это касается как больших языковых моделей
Как ИИ войти в тестирование: методики разработки автотестов
Привет! Я Антон Бородин, техлид проекта внедрения ИИ в процессы тестирования в РСХБ-Интех, занимаюсь применением ML/AI технологий. В этой статье расскажу о том, как мы внедряли технологии искусственного интеллекта в тестирование, предложу методики разработки API и UI-автотестов, основанные на ИИ, — текущие гипотезы, которые мы используем в работе. И, конечно, покажу, пример использования LLM для генерации автотестов.
Тестирование с интеллектом: Пилотный проект внедрения ИИ в РСХБ-Интех
Привет! Я Антон Бородин, техлид проекта внедрения ИИ в процессы тестирования в РСХБ-Интех, занимаюсь применением ML/AI технологий. В этой статье расскажу о том, как мы внедряли технологии искусственного интеллекта в тестирование, предложу методики разработки API и UI-автотестов, основанные на ИИ, — текущие гипотезы, которые мы используем в работе. И, конечно, покажу, пример использования LLM для генерации автотестов.
Феномен DeepSeek: разбираем причины шума вокруг нейросети
Понедельник, 27 января, начался с крупнейшего однодневного падения
Проблемы языковых моделей при анализе длинных текстов: выводы исследования
В результате исследования, проведённого учёными из Мюнхенского университета Людвига-Максимилиана, Мюнхенского центра машинного обучения и Adobe Research, было установлено, что современные языковые модели искусственного интеллекта имеют ограничения при обработке и анализе больших объёмов текстовой информации.
