Nat Commun速递:基础音乐感知在深度神经网络中的自发涌现
2024-01-18 17:10:44新闻中心

  音乐是全人类的一种文化共通性,其共同元素在世界各地都能找到,但这种共通性是怎么样产生的尚不清楚。已有研究表明:音乐选择性神经群不仅存在于接受过明确音乐训练的人身上,也存在于就没有接受过明确音乐训练的人身上。此外,据报道,即使是婴儿也有能力感知音乐的多种声学特征,如旋律对音高和节奏的变化保持不变,这一点与成人类似。然而,目前尚不清楚这些先天特征是如何出现的以及它们在音乐感知中发挥了什么作用。

  最近利用人工深度神经网络(DNN)进行的建模研究为大脑感官功能的发展原理提供了启示。特别是,有研究表明,类似大脑的感官输入功能编码可当作 DNNs 优化处理自然刺激的副产品而产生。例如,为对自然图像进行分类而训练的 DNN 模型的反应能够复制视觉皮层的反应,并可用于控制真实神经元的反应。在训练有素的自然图像分类网络中甚至还观察到了高级认知功能,即格式塔封闭效应和估计视觉场景中视觉项目数量的能力。此外,为音乐流派和单词分类而训练的 DNN 被证明可以复制人类听觉皮层的反应,这在某种程度上预示着这种任务优化为听觉皮层功能建模提供了一种可信的方法。

  图1:a)实验流程:在无音乐的自然声音检测中训练的深度神经网络对音乐的独特表征。b)用于检测输入数据中自然声音类别的深度神经网络架构。c 在没有音乐的情况下,对音乐相关类别(顶部,红条)和别的类别(底部,蓝条)进行训练的网络的性能。d 网络特征向量的 t-SNE 嵌入密度图。

  该研究使用模拟大脑听觉信息处理的人工深度神经网络,即使训练数据中不包含音乐,也能够最终靠经由自然声音训练,使人工神经网络自发地涌现出适应检测音乐的单元。音乐检测单元遵循在大脑中观察到的群体水应特征,以多个时间尺度对音乐的时间结构可以进行编码。这种区别来自于特征提取层中音乐选择单元的反应。音乐选择单元对音乐的时间结构非常敏感,这一点可在大脑中的音乐选择性神经群中观察到。

  图2:a)无音乐训练网络中各单元对音乐(红色)和非音乐(蓝色)刺激的平均反应直方图。b 音乐选择性单元对音乐(红色)和非音乐刺激的反应。插图:未训练网络中 MSI 值最高的 12.5% 单元对音乐和非音乐刺激的反应。c)音乐选择性单元对音乐(红色)和非音乐(蓝色)的响应,使用的是标准化振幅的训练数据集。d 使用音乐选择单元的响应(左)和线性分类器的性能(右)对音乐和非音乐进行二元分类。

  图3:使用未包含音乐训练的网络示意,b)与一般性网络相比,用随机标签训练的网络中 MSI 值最高的 12.5% 单元对音乐的响应。为了对两种情况做归一化处理,每个反应都除以每个网络对原始声音的平均反应。c)特定单元消减后的消融检验(ablation test)后的网络性能,去除表征音乐的单元对网络性能影响最大

  进一步的研究表明,音乐选择性可当作自然声音泛化的功能基础,揭示它是如何在不学习音乐的情况下涌现的。研究之后发现泛化过程对于音乐选择性的涌现至关重要,并且音乐选择性可当作自然声音泛化的功能基础,从而阐明其起源。这些发现表明,处理自然声音的进化适应可以为我们的音乐感提供最初的蓝图。综上所述,这些结果支持了一种可能性,即处理自然声音的进化压力促成了音乐通用模板的出现。

  原标题:《Nat. Commun.速递:基础音乐感知在深度神经网络中的自发涌现》

  本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。

Copyright © 2018 安博体育app全站下载 All Rights Reserved
网站地图 备案信息: 湘ICP备14017517