Практически любая деятельность человека в той или иной степени является результатом развития науки и нашего понимания ее законов. Инструменты, которыми человек пользуется во время своей деятельности, также являются продуктом понимания множества элементов самых разных наук. И речь идет не только о лабораторных или инженерных инструментах, но и о музыкальных. Если рассматривать фортепиано как сложную техническую систему, то в ее реализации заложена механика, акустика, материаловедение, термодинамика и множество других ветвей науки. И все это для достижения идеального звучания. Но, если данный инструмент столь сложен, влияет ли на его работу то, как человек с ним обращается? Долгие годы музыканты спорили о том, что характер касания к клавишам фортепиано влияет на результирующий звук. Одни уверены в правдивости данной теории, другие считают, что какое бы ни было касание, звук зависит исключительно от самого инструмента. Ученые из института NeuroPiano (Киото, Япония) провели исследование, которое наконец-то разрешило этот спор. Как именно ученые проверяли гипотезу, и каковы ее результаты? Ответы на эти вопросы мы найдем в докладе ученых.
Основа исследования
Деятели искусств издавна завораживали аудиторию, вызывая широкий спектр перцептивных переживаний благодаря своему мастерству — будь то живопись, музыка или другие формы творческого самовыражения. Способность тонко управлять нюансами восприятия имеет решающее значение для формирования разнообразных эмоциональных и эстетических откликов, являясь краеугольным камнем художественного восприятия и культурного наследия на протяжении веков. Понимание того, каким образом мастера своего дела достигают такой глубины выразительности, не только обогащает наше взаимодействие с искусством, но и способствует расширению знаний о человеческом восприятии, когнитивных процессах и моторном контроле.
В исполнительском искусстве, особенно в игре на фортепиано, уже более века ведутся дискуссии о том, способны ли опытные пианисты изменять тембр (или тональное качество) звуков с помощью тонко дифференцированных двигательных действий, хотя среди пианистов это широко распространенное убеждение. В то время как предыдущие исследования изучали связь между базовыми слуховыми восприятиями и соответствующими физическими движениями (темп и скорость движений, громкость и сила нажатия, а также ритм и временные корректировки), возможность управления более тонкими слуховыми характеристиками, такими как тембр внутри одного инструмента, остается недостаточно изученной. Ранее было показано, что слушатели способны различать тембры разных музыкальных инструментов на слух, однако неясно, в какой степени подобные различия можно различать в пределах одного и того же инструмента, когда речь идет о тонких тембральных нюансах. Более того, визуальные сигналы существенно влияют на восприятие музыкального исполнения, что ставит вопрос о том, насколько слушатели полагаются исключительно на слуховую информацию при восприятии едва заметных различий в отсутствие визуальных подсказок.
Для устранения этого пробела в понимании необходимы три ключевых направления эмпирических доказательств. Во-первых, слушатели, независимо от музыкальной подготовки, должны быть способны воспринимать тембральные намерения исполнителей при прослушивании фортепианных звуков. Во-вторых, пианисты должны последовательно модулировать определенные характеристики движений клавиш, чтобы изменять тембр. В-третьих, если два звука различаются избирательно по конкретному параметру движения клавиши, который считается связанным с определенным тембром, слушатели должны четко воспринимать соответствующие различия в тембре. Исторически такие исследования ограничивались техническими возможностями. Традиционные методы регистрации, такие как датчики MIDI (от Musical Instrument Digital Interface), обладают ограниченным пространственно-временным разрешением, фиксируя лишь ограниченное число базовых параметров движения клавиши и не учитывая сложные нюансы, которые могут влиять на тембр. Системы захвата движения обеспечивают несколько более высокое временное разрешение, однако все же не позволяют точно детализировать быстрые и тонкие движения, характерные для профессионального исполнения на фортепиано.
Чтобы преодолеть эти ограничения, была разработана инновационная система высокоточного сенсорного измерения, способная регистрировать движения клавиш фортепиано с исключительной временной (1 мс) и пространственной (0.01 мм) точностью, при этом без механического воздействия на клавиши (1A). Данная технология позволила провести комплексный анализ тонких моторных действий, используемых опытными пианистами, и их влияния на воспринимаемый тембр, открывая возможность изучения ранее не исследованных аспектов сенсомоторного исполнения. Путем сочетания психофизических методов оценки и детального анализа движений было исследовано, способны ли профессиональные пианисты, имеющие опыт побед на конкурсах, модулировать тембр посредством прикосновения, а также могут ли слушатели воспринимать эти нюансы в соответствии с намерениями исполнителя. С использованием подходов анализа данных было выделено отдельное множество характеристик движений клавиш, связанных с определенными тембральными качествами.
Подготовка к исследованию
Эксперимент №1
Исполнители
Цель данного эксперимента заключалась в определении того, какие характеристики движений клавиш пианисты изменяют для получения целевого тембра звуков при исполнении последовательности нот. В исследовании приняли участие 20 опытных пианистов (возраст 20–49 лет, 8 мужчин и 12 женщин). Средняя продолжительность профессиональной игры на фортепиано составила 25.5 ± 6.8 лет, а средняя ежедневная продолжительность практики в последние дни — 3.4 ± 1.5 часа. Все участники специализировались на исполнительском фортепианном искусстве в консерватории и имели награды на крупных профессиональных конкурсах пианистов. Кроме того, 15 из них также были лауреатами международных конкурсов. На момент участия в эксперименте все они активно выступали как концертирующие пианисты и ежедневно занимались на собственном инструменте.
Экспериментальная среда и измерительное оборудование
Изображение №1
Эксперимент проводился в звукоизолированном помещении с использованием концертного рояля (Shigeru KAWAI SK2) и микрофона для записи звука (NEUMANN MICROPHONE U87Ai). Движения клавиш регистрировались с помощью разработанной сенсорной системы «Hackkey», состоящей из 88 фотоприемников (LBR-127HLD), семи 12-битных интегральных аналого-цифровых преобразователей (ADS7953) и микропроцессора (STM32F446) (1A). Данная система измеряет движения клавиш на основе многоканальных бесконтактных оптических датчиков. Система Hackkey позволяет регистрировать вертикальное положение всех 88 клавиш фортепиано с временным разрешением 1 мс и пространственным разрешением 0.01 мм.
На основе кинематики движений клавиш были выделены 10 характеристик движений клавиш, как показано на 1C. Помимо этих характеристик, дополнительно были включены различия vel_escapement, escapement_timing и перекрытия между двумя руками в качестве показателей межручной синхронности. В частности, значения этих трех характеристик для нот, исполняемых левой рукой, вычитались из соответствующих значений нот, исполняемых правой рукой. Всего для дальнейшего анализа использовались 13 характеристик исполнения. Особое внимание уделялось движению клавиши в момент escapement — моменту, когда молоточек кратковременно отделяется от механизма клавиши непосредственно перед ударом по струне и, таким образом, критически влияет на формирование звука (1B).
Экспериментальное задание
Изображение №2
Участникам было предложено исполнить короткий фрагмент (такты 9–12) из № 1 «Hanon the Virtuoso Pianist in 60 Exercises» (партитура представлена выше). Данное задание было выбрано, поскольку оно состоит из простых ритмических, гармонических и фразировочных паттернов. Кроме того, оно изначально предназначено для тренировки пальцев, что означает, что сам фрагмент практически не содержит выразительности или эмоциональной окраски, что позволяет минимизировать индивидуальные различия в музыкальной интерпретации. Дополнительно, поскольку данное задание может быть выполнено без широкого растяжения руки, потенциальное влияние индивидуальных различий в опорно-двигательных характеристиках, таких как размер кисти или мышечная сила, на исполнение также может быть минимизировано. Перед началом эксперимента участники проходили ознакомительную сессию, чтобы привыкнуть к использовавшемуся в исследовании концертному роялю. Эта сессия позволяла пианистам свободно опробовать инструмент и адаптироваться к его механике и звуковым характеристикам, обеспечивая комфорт перед выполнением экспериментальных задач.
Участники сначала прослушивали MIDI-запись целевой мелодии без вариаций громкости и ритма между звуками и должны были воспроизвести ее в том же виде, что определялось как «механическое» исполнение в качестве базового уровня. Затем их просили исполнить ее с шестью наборами музыкальных выражений, включающих три различных абстрактных концепта, каждый из которых состоял из пары противоположных музыкальных характеристик: A) вес (легкий — тяжелый), B) ясность (четкий — размытый), C) яркость (яркий — темный). Каждому участнику было предписано сохранять постоянными темп и громкость и играть без использования педали. Это было сделано потому, что изменения темпа, громкости и использования педали потенциально могут влиять на восприятие тембра. Каждому участнику разрешалось играть многократно, и данные удачной попытки использовались для последующего офлайн-анализа. Также звук успешной попытки записывался и использовался в слуховом эксперименте.
Слушатели
Целями данного эксперимента были, во-первых, проверка того, могут ли слушатели воспринимать музыкальные выражения, задуманные пианистами, через тембр звука, и, во-вторых, определение того, какие характеристики движений клавиш связаны с оценками воспринимаемого тембра, предоставляемыми слушателями. Всего в эксперименте приняли участие 20 пианистов (18–37 лет; 9 мужчин и 11 женщин), не участвовавших в эксперименте по исполнению, и 20 не обученных музыке лиц (20–45 лет; 11 мужчин и 9 женщин), не имеющих опыта обучения игре на музыкальных инструментах, за исключением обязательного школьного музыкального образования («немузыканты»). Большинство немузыкантов (85%) слушали музыку ежедневно, а 10% предпочитали слушать классическую фортепианную музыку.
Экспериментальная среда
Слуховой эксперимент проводился с использованием портативного компьютера, а акустические стимулы предъявлялись через наушники (MDR-CD900ST). Уровень звукового давления был фиксирован на значении, признанном подходящим для всех слушателей на основании пилотного эксперимента, в котором участники прослушивали данные задания на разных уровнях громкости и оценивали, в какой степени они испытывали усталость после всего слухового эксперимента (то есть ухудшение выполнения со временем), а также насколько четко воспринимались звуки. Данный пилотный эксперимент был проведен для определения оптимального уровня звукового давления для основного слухового эксперимента. В нем приняли участие шесть профессиональных пианистов (не участвовавших в основном эксперименте), которые прослушивали экспериментальные задания на трех разных уровнях громкости (примерно 60, 70 и 80 дБ), предъявляемых в рандомизированном порядке. После выполнения полного набора заданий на каждом уровне участников просили оценить по семибалльной шкале Лайкерта: степень слуховой усталости и четкость акустических стимулов. На основании агрегированных ответов был выбран уровень громкости, который минимизировал субъективную усталость при максимальной воспринимаемой четкости. Эксперимент проводился в звукоизолированном помещении без внешнего шума/звука, в тех же условиях, что и основной эксперимент.
Аудиозаписи, полученные в эксперименте по исполнению, были преобразованы в аудиофайлы формата waveform и использованы в данном эксперименте. Источники звука, полученные от двух пианистов, были исключены, поскольку они значительно изменяли громкость звуков между попытками, несмотря на строгое требование этого не делать. Таким образом, в слуховом эксперименте были использованы данные 18 пианистов.
Процедура
Слушателям было предложено прослушивать записи фортепианного исполнения и оценивать уровень воспринимаемого музыкального выражения с использованием двухпунктовой семибалльной шкалы Лайкерта. Эксперимент состоял из трех сессий. В каждой сессии в рандомизированном порядке предъявлялись звуковые источники, соответствующие одному из трех абстрактных концептов (вес, ясность и яркость), а также механическое исполнение (всего 54 пробы: 3 выражения × 18 исполнителей). Слушателей просили оценивать уровень воспринимаемого музыкального выражения по шкалам, соответствующим заданному исполнителем выражению [то есть: вес (1: легкий – 7: тяжелый); ясность (1: четкий – 7: размытый); яркость (1: яркий – 7: темный)]. Стимулы предъявлялись в рандомизированном порядке.
Эксперимент №2
Для дополнительной проверки связи между характеристиками движений клавиш и воспринимаемым тембром, выявленной в предыдущих анализах, ученые провели дополнительный двухчастный эксперимент.
Исполнители
В эксперименте по исполнению участвовал профессиональный пианист, которому было предложено произвести два различных типа одиночных нажатий клавиш. Эти два типа нажатий характеризовались выраженным различием в ускорении в точке escapement клавиши, в то время как остальные характеристики — включая скорость клавиши в момент escapement, скорость и ускорение приглушения, длительность, а также шум при начале и при завершении звука — были приблизительно постоянными. В частности, пианисту было предписано изменять только ускорение в точке escapement, минимизируя изменения остальных переменных при исполнении одиночного звука. После каждого нажатия клавиши в реальном времени предоставлялась обратная связь по всем измеряемым характеристикам, что обеспечивало стабильность выполнения задания. Во время эксперимента регистрировались как движения клавиши, так и звук. Из примерно 1700 зарегистрированных нажатий клавиш была выделена пара типов нажатий, различающихся более чем на 12% по ускорению escapement, но при этом имеющих различия менее 4% по остальным измеряемым характеристикам.
Слушатели
Используя звуки, полученные для выбранной пары нажатий клавиш, исследователи провели слуховой эксперимент с участием 16 профессиональных пианистов, которые не участвовали в эксперименте по исполнению. В каждой пробе участники прослушивали два звука, предъявляемых в случайном порядке, и должны были указать, какой из них звучал более легким или какой воспринимался более четким. Каждый участник выполнил по 20 проб для каждого типа вопроса. В рамках апостериорного анализа была рассчитана доля проб, в которых звук, связанный с меньшим ускорением в точке escapement, оценивался как более легкий или более четкий. Если ускорение в точке escapement действительно влияет на восприятие тембра, эта доля должна статистически значимо отличаться от уровня случайного выбора (50%).
Анализ данных
Сначала оценки были агрегированы для каждого слушателя. Каждый слушатель прослушивал и оценивал звуковые записи каждого из 18 исполнителей по отдельности, в результате чего для записи каждого исполнителя получали по 20 оценок. Эти оценки усреднялись для получения одного итогового значения, характеризующего соответствующее исполнительское выражение. Полученные данные использовались для статистического анализа. Для оценки влияния различных факторов на рейтинговый балл применялась линейная смешанная модель (LME от linear mixed-effects) с фиксированными эффектами группы (пианисты и немузыканты), выражения (например, легкий, тяжелый или механический вариант исполнения), а также их взаимодействия, и со случайным интерсептом для идентификатора исполнителя (то есть sub1, sub2 и т. д.). Данный анализ выполнялся отдельно для каждого абстрактного концепта (то есть веса, ясности и яркости). Множественные сравнения проводились на основе оцененных предельных средних значений с использованием парного t-критерия и поправки Холма на множественные сравнения.
Изображение №3
Также был проведен линейный регрессионный анализ для изучения взаимосвязи между характеристиками движений клавиш и рейтинговыми оценками, полученными в слуховом эксперименте (схема выше).
Результаты эксперимента №1
Изображение №4
Выше представлены средние значения и вариабельность трех характеристик движений клавиш (4A: скорость в момент escapement и перекрытие; 4B: скорость и ускорение в момент приглушения, а также шум при начале звука) у разных пианистов при воспроизведении семи музыкальных выражений посредством изменения тембра. На 4A эллипсоиды, соответствующие различным выражениям, демонстрировали разделение друг от друга, тогда как на 4B такого разделения не наблюдалось. Это позволяет предположить, что некоторые характеристики движений клавиш являются общими параметрами, которые разные пианисты используют для формирования этих выражений через изменение тембра звука.
Изображение №5
Выше представлены средние значения рейтинговых оценок, полученные в группах пианистов и немузыкантов. Анализ данных проводился отдельно для каждого абстрактного концепта тембра. Линейная смешанная модель выявила значимые эффекты взаимодействия между факторами группы и выражения для всех концептов. В обеих группах звуковые записи, в которых исполнители передавали легкий, четкий и яркий тембр, получали значительно более низкие оценки (то есть воспринимались как более легкие, более четкие и более яркие), чем записи, в которых передавались тяжелый, размытый и темный тембр. Кроме того, механический тембр в большинстве случаев оценивался как промежуточный между двумя противоположными вариантами тембра для всех концептов у пианистов и для всех концептов у немузыкантов, за исключением концепта веса. Дополнительно было установлено, что пианисты оценивали легкий тембр как более легкий, чем немузыканты, тогда как тяжелый, размытый и темный тембр получали у пианистов более высокие оценки, чем у немузыкантов (то есть воспринимались как более тяжелые, более размытые и более темные). Эти результаты показывают, что как пианисты, так и немузыканты способны распознавать выражения, которые исполнитель намеревался передать через тембр звука, однако пианисты воспринимают эти различия более отчетливо.
Изображение №6
Затем был проведен линейный регрессионный анализ для изучения того, какие характеристики движений клавиш связаны с субъективными оценками слушателей (графики выше). Для слушателей-пианистов было установлено, что vel_escapement, acc_escapement, overlap, IKI и различие между руками по vel_escapement являются значимыми предикторами восприятия «веса». Кроме того, выявлены значимые различия между группами в оценках коэффициентов для acc_escapement, overlap, IKI и различия между руками по overlap, что указывает на различное влияние этих переменных на восприятие тяжести тембра у пианистов и немузыкантов. Для концепта ясности было показано, что слушатели-пианисты воспринимали звук как более «размытый», когда движения клавиш характеризовались меньшим vel_escapement, а также большими значениями acc_escapement, overlap и IKI. Немузыканты показали, что acc_mute и различие между руками по vel_escapement были связаны с воспринимаемой ясностью, однако значимых различий между группами по коэффициентам для всех переменных выявлено не было. Для концепта яркости было установлено, что меньшее vel_escapement, большее IKI и меньшее различие между руками по vel_escapement связаны с восприятием звука как более «темного» у пианистов, при этом значимых различий между группами по коэффициентам для всех переменных обнаружено не было. Эти результаты свидетельствуют о том, что оценки тембра фортепианных звуков со стороны слушателей согласованно варьируют с такими характеристиками движений клавиш, как vel_escapement, acc_escapement, overlap, IKI и различия между руками по vel_escapement.
Результаты эксперимента №2
Изображение №7
Эксперимент №2, направленный на валидацию, подтвердил связь между acc_escapement и восприятием тембра, в частности в отношении перцептивных концептов веса и ясности, выявленную в вышеупомянутом регрессионном анализе. В эксперименте по исполнению были выделены два типа нажатий клавиш на основе профилей их движений. Эти нажатия различались главным образом по параметру acc_escapement, тогда как остальные характеристики оставались близкими. На 7A представлены временные формы вертикального положения клавиши, скорости и ускорения для двух типов нажатий. Красная и синяя линии соответствуют нажатиям с низким и высоким ускорением соответственно. Несмотря на сходство общих траекторий движения, переходное ускорение в точке escapement демонстрировало выраженное различие. На 7B показаны относительные различия между двумя типами нажатий по характеристикам. Параметр acc_escapement был на 12.4% ниже в нажатии с низким ускорением.
В то же время все остальные измеряемые характеристики отличались менее чем на 3.5%. Примечательно, что различие по vel_escapement, которое в предыдущем анализе было определено как наиболее сильный предиктор тембра, составляло менее 1%. Эти результаты подтверждают, что два типа нажатий клавиш были избирательно различены исключительно по параметру acc_escapement. Для проверки того, влияет ли это избирательное различие на восприятие тембра, был проведен слуховой эксперимент с использованием звуков, полученных для двух типов нажатий. Шестнадцать профессиональных пианистов, не участвовавших в эксперименте по исполнению, прослушивали пары звуков в случайном порядке и должны были определить, какой из них звучит более легким или более четким. На 7C представлены результаты перцептивных оценок, то есть доля проб, в которых участники выбирали звук с низким ускорением как более легкий или более четкий. Для оценки того, превышают ли эти доли уровень случайного выбора (50%), была построена обобщенная линейная смешанная модель с биномиальным распределением и логит-связью. Зависимая переменная отражала, выбрал ли участник звук с низким ускорением (кодировалось как 1), а модель включала фиксированный интерсепт и случайный интерсепт для участника. Анализ показал, что указывает на то, что участники статистически значимо чаще, чем случайно, воспринимали звук с меньшим ускорением как более тяжелый и более четкий. В целом эти результаты демонстрируют, что даже тонкие различия в ускорении клавиши в точке escapement могут систематически влиять на восприятие тембра у опытных слушателей.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В рассмотренном нами сегодня труде ученые решили разрешить очень старый спор в кругах музыкантов. Многие музыканты утверждают, что характер касания по клавишам фортепиано может влиять на характер получаемого в результате звука. Другие же считают, что характер звука определяется исключительно механикой самого инструмента. Фактически, эпитеты, которыми музыканты часто описывают звучание (теплый, темный, яркий и т. д.) одними считаются результатом воздействия самого музыканта, а другими — лишь психологическим аспектом или изменениями громкости/ритма.
Используя специально разработанную бесконтактную сенсорную систему HackKey, ученые записали движения всех 88 клавиш фортепиано со скоростью 1000 кадров в секунду и с микроскопической пространственной точностью. Ученые попросили 20 профессиональных пианистов сыграть ноты, намеренно создавая контрастные тональные качества, включая яркие и темные, а также легкие и тяжелые звуки.
Результаты показали, что слушатели неизменно распознавали задуманные исполнителями тембры. Это было верно даже для людей без музыкального образования. Профессиональные пианисты в тестах на слух были особенно чувствительны к этим различиям.
Ученые обнаружили, что лишь небольшое количество чрезвычайно точных движений тесно связано с изменениями воспринимаемого тембра. К ним относятся мельчайшие вариации ускорения, ритма и синхронизации между руками. Особенно важным открытием стало то, что изменение лишь одной детали движения может разительно изменить то, как слушатели описывают звук. Это стало прямым доказательством того, что само прикосновение играет причинную роль в формировании тембра, а не просто сопровождает другие музыкальные эффекты, такие как громкость или темп. В исследовании эти тонкие жесты были описаны как часть общего двигательного навыка, развитого в течение многих лет углубленной фортепианной подготовки. По словам исследователей, это означает, что мастерство, стоящее за фортепианным звучанием, не является просто метафорическим или субъективным. Оно основано на измеримых физических действиях. Результаты подтверждают то, во что многие пианисты верили десятилетиями, а также предлагают более ясное понимание того, как умелые движения создают эмоциональные и эстетические переживания в музыке.
Авторы исследования считают, что эти открытия в конечном итоге могут преобразовать музыкальное образование, упростив обучение и визуализацию выразительных техник. Вместо того чтобы полагаться только на расплывчатые инструкции, такие как «играйте теплее» или «используйте более легкое прикосновение», будущие системы обучения смогут показывать ученикам точные физические движения, связанные с конкретными тональными качествами. Результаты также могут повлиять на реабилитацию, нейробиологию, робототехнику и взаимодействие человека с компьютером. Исследование подчеркивает, как продвинутый контроль движений может формировать само восприятие, предлагая подсказки о том, как мозг интегрирует движение и сенсорный опыт.
Немного рекламы
Спасибо, что остаетесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Maincubes Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 – 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB – от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки?
Автор: Dmytro_Kikot
