新闻动态

【导语】神经科学中，因缺乏衡量“艺术感”的尺子，大脑如何将舞蹈动作与旋律融合成“美”的体验成难题。不过，东京大学等机构研究者另辟蹊径，构建“懂舞蹈”的AI“EDGE”反向破译人脑神经活动，揭示大脑跨感官融合视听信息机制，还为“神经美学”应用带来可能。

·也许有一天，AI编舞师可以根据你的脑回路特(tè)征(zhēng)，为(wèi)你(nǐ)量(liàng)身(shēn)定(dìng)制(zhì)一(yī)支(zhī)最(zuì)能(néng)打(dǎ)动(dòng)你(nǐ)的(de)舞(wǔ)蹈(dǎo)。

当(dāng)我(wǒ)们(men)欣(xīn)赏(shǎng)一(yī)段(duàn)舞(wǔ)蹈(dǎo)时(shí)，大(dà)脑(nǎo)如(rú)何(hé)将(jiāng)视(shì)觉(jué)上(shàng)的动作与听觉上的旋律融合成一种名为“美”的体验？这是神经科学中最具挑战性的问题之一，原因在于科学家们缺乏一把能衡量“艺术感”的尺子。

随着人工智能（AI）技术的发展，这个困境有望被一种新的方法论所突破。在一项新研究中，研究者另辟蹊径，先构建了一个“懂舞蹈”的人工智能，然后用这个AI作为“解码器”，反向破译了人脑的神经活动。该研究于11月19日发表在《自然·通讯》（Nature Communications）杂志上，作者来自东京大学、大阪大学及日本信息通信研究机构（NICT）。

研究团队使用的这个名为“EDGE”的跨模态AI模型可以被想象成一位学(xué)习(xí)了(le)海(hǎi)量数据的“编舞师”。它不仅能“看懂”舞者的动作，还能“听懂”背景音乐的节奏和旋律。通过深度学习，这个AI的任务是根据过去的动作和当前的音乐，预测下一个最和谐、最自然的舞步。

研究者们提出了一个假设：如果这个AI为了生成优美的舞蹈而形成的内部表征（即它对“动作-音乐”关系的理解），恰好与人脑处理这些信息的方式不谋而合，那我们不就能用AI的“语言”来“翻译”大脑的活动了吗？

在实验中，研究人员首先邀请了专业舞者和舞蹈新手，让他们躺在功能性磁共振成像（fMRI）扫描仪中，观看了长达五小时的涵盖街舞、爵士舞等多种风格的真实舞蹈视频。同时，研究人员提取了AI模型中负责整合音乐和动作的跨模态特征，并将这些数学参数与fMRI成像数据进行比对。

结果显示，AI提取的“视听融合”特征，比单纯的“动作特征”或“音乐特征”能更准确地预测人类大脑的活动。这意味着我们的大脑在欣(xīn)赏(shǎng)舞蹈时，不是把视觉和听觉做简单的加法，而是在高级视觉区和联合皮层（如前额叶和顶叶）进行了一场复杂的跨感官神经活动，将动作与音乐融合成了一(yī)个(gè)整(zhěng)体(tǐ)的(de)体(tǐ)验(yàn)。

通(tōng)过(guò)AI“读(dú)心(xīn)术(shù)”，研(yán)究(jiū)还(hái)探(tàn)究(jiū)了(le)哪(nǎ)些(xiē)舞(wǔ)蹈(dǎo)概(gài)念(niàn)与(yǔ)哪(nǎ)些(xiē)区(qū)域的(de)大(dà)脑(nǎo)活(huó)动(dòng)相(xiāng)关。例(lì)如(rú)，充(chōng)满(mǎn)活力的舞蹈能显著激活大脑中与自我意识相关的“默认模式网络”，而被评价(jià)为(wèi)“无(wú)聊(liáo)”的(de)舞(wǔ)蹈(dǎo)则(zé)会(huì)抑(yì)制(zhì)这(zhè)些(xiē)区(qū)域的(de)活(huó)动(dòng)。这(zhè)或(huò)许(xǔ)解(jiě)释(shì)了(le)为(wèi)何(hé)引(yǐn)人(rén)入(rù)胜(shèng)的(de)艺(yì)术(shù)能(néng)让(ràng)我(wǒ)们(men)暂(zàn)时(shí)忘(wàng)记(jì)自我，而乏味的表演则让思绪飘忽不定。

这项研究不仅加深了我们对艺术审美的神经机制的理解，也为一种“神经美学”应用提供了可能：也许有一天，AI编舞师可以根据你的脑回路特征，为你量身定制一支最能打动你的舞蹈。

参考文献：

Yu Takagi, et al. Cross-modal deep generative models reveal the cortical representation of dancing. Nature Communications, 2025, 16 (9937).