Общество мыслей: совещание внутри LLM
Общество мыслей: совещание внутри LLMВы наверняка слышали про Chain-of-Thought. "Пусть модель думает вслух, и она станет умнее" — звучит логично, правда? Добавляем "Let's think step by step" в промпт, модель генерирует больше токенов, качество растёт. Почему это работает — долгое время было неочевидно.Но вот что странно: DeepSeek-R1, QwQ-32B и модели серии OpenAI o (o1, o3) показывают результаты, которые невозможно объяснить просто "более длинными рассуждениями". Они решают задачи, на которых обычные модели с Chain-of-Thought спотыкаются. И дело не в размере модели и не в количестве токенов.Исследователи из Google Research и University of Chicago в статье
«Кошачья атака» на модель рассуждений показывает, насколько важна контекстная инженерия
Исследовательская группа обнаружила, что даже такие простые фразы, как «кошки спят большую часть своей жизни», могут существенно нарушить работу продвинутых моделей логического мышления, увеличив количество ошибок в три раза.
Математический «гений» Теренс Тао: ИИ всё ещё не может «почувствовать» ошибки в математике
Теренс Тао, которого многие называют математическим гением, утверждает, что искусственный интеллект всё ещё не обладает тем, что он называет «математическим чутьем».
