基于网格图特征的琵琶指法自动识别

在人工智能方法飞速发展的今天，对乐器的演奏指法的自动分析在乐曲的检索、鉴赏引导、演奏辅助学习等方面均具有重要意义。琵琶作为一种中国传统乐器，对其进行自动分析的已有工作大多集中于对琵琶声音的算法合成方面的探讨[1-3]，而在指法自动识别、分类方面涉及很少。在摩登7的工作中，提出了对琵琶不同指法所产生的声音具有明显区分度的网格图特征，用于对几种典型的琵琶演奏指法进行基于机器学习的自动识别。

2. 常用的琵琶演奏指法简介

琵琶演奏出的声音大多为包含丰富谐波的乐音类声音，也有部分特殊指法能够发出不体现明显谐波特性的噪音类声音。摩登7选取了4种乐音类演奏指法和3种噪音类演奏指法进行分析和自动识别。

4种乐音类指法为弹、轮指、泛音和扫弦。弹为琵琶演奏的最基本指法，即用右手食指拨弦。轮以右手食指为第1、中指第2、无名指第3、小指第4，依次向左前方弹出，而后大指为第5由反向挑进，得5声称1轮。泛音是左手虚按住1根弦同时右手弹该弦，音量大，且音质清脆明亮。扫弦为用右手食指依次快速弹4弦。

3种噪音类指法为绞弦、击板和摘。绞弦是中指将1弦推进去至右侧1根或几根弦下方，食指将右侧1根或几根弦身向左拉出压在左侧的1根推弦上，并用食指按住绞在一起的两根琴弦，取出中指，然后轮双弦。击板是用右手击打面板。摘是用右手拇指指肉触弦，中指弹奏。

摩登7以声谱图为基础，针对以上几种琵琶演奏指法提取了3种不同类型的网格图用于对琵琶指法的自动识别。

3. 以声频图为基础的琵琶音色网格图

摩登7使用的琵琶演奏声音样本来源于中国音乐学院构建的中国音乐数据库———CCMusic[4]。这个数据库的琵琶素材部分包含专业演奏者用多种琵琶演奏指法录制的声音样本，各指法一般录制两遍。

声谱图作为同时体现声音信号的时域、频域特征的综合的可视化表达方式，能够保留声音信号中的大多数信息，因此能够将数字图像处理方法引入到音频信号分析中。声谱图相似度可被用于音乐检索或音乐风格分析；而将声谱图作为图像，通过对其2维频谱的分析，可以对语音和音乐信号进行识别；多分辨率的声谱图也被用于伴奏音乐与歌唱人声的分离等[5-9]。摩登7使用声谱图作为基本信息来源，并在此基础上扩展为3种对不同指法的区分度更明显的网格图，从中提取特征进行指法的自动识别。琵琶声音样本分析与特征提取的流程图如图1所示。