近期，中國科學(xué)院自動(dòng)化研究所類腦智能研究中心類腦信息處理（BRAVE）研究組，在研究員張兆翔的帶領(lǐng)下，在借鑒生物神經(jīng)結(jié)構(gòu)、認(rèn)知機(jī)制與學(xué)習(xí)特性的神經(jīng)網(wǎng)絡(luò)建模與類人學(xué)習(xí)研究中取得了一系列突破性進(jìn)展。該研究組在“視聽模態(tài)的生成、融合”以及“智能體之間的知識(shí)遷移”取得了重大突破，系列成果發(fā)表在AAAI 2018上。

　　在“視聽模態(tài)的融合”問題中，該研究組提出了有效將聽覺信息融合在視頻描述生成框架中的特征融合策略，并取得了理想的效果； 在“視聽模態(tài)的生成”問題中，該研究組提出了一個(gè)跨模態(tài)循環(huán)對(duì)抗生成網(wǎng)絡(luò)、一個(gè)聯(lián)合對(duì)應(yīng)對(duì)抗損失函數(shù)和一個(gè)動(dòng)態(tài)多模態(tài)分類網(wǎng)絡(luò)，構(gòu)建出更有效的視聽跨模態(tài)相互生成模型；在“智能體之間的知識(shí)遷移”問題中，該研究組將一種新類型的知識(shí)——交叉樣本相似性引入到深度度量學(xué)習(xí)中，將知識(shí)形式化成一個(gè)教師和學(xué)生網(wǎng)絡(luò)間的排序匹配問題，將經(jīng)典的基于列的學(xué)習(xí)轉(zhuǎn)換成排序?qū)W習(xí)算法，這一方法可大幅提高學(xué)生網(wǎng)絡(luò)的性能，也可得到較傳統(tǒng)方法更好的遷移性能。

　　1.視聽模態(tài)的融合

　　視頻描述生成在很多領(lǐng)域中有著潛在應(yīng)用，比如人機(jī)交互、盲人輔助和視頻檢索。近些年來，受益于卷積神經(jīng)網(wǎng)絡(luò)CNN，遞歸神經(jīng)網(wǎng)絡(luò)和大規(guī)模的視頻描述數(shù)據(jù)集，視頻描述生成已經(jīng)取得比較理想的結(jié)果。

　　大多數(shù)視頻描述生成框架可以分為一個(gè)編碼器和一個(gè)解碼器，編碼器對(duì)視頻特征進(jìn)行編碼形成一個(gè)固定長度的視頻特征向量，解碼器基于該視頻特征生成對(duì)應(yīng)的視頻描述子。研究者們針對(duì)定長的視頻特征描述子提出了一些方法，比如對(duì)視頻幀進(jìn)行池化操作，下采樣固定長度的視頻幀，在遞歸網(wǎng)絡(luò)視頻特征編碼階段提取最后一個(gè)時(shí)刻的狀態(tài)表示。

　　雖然上述方法均可生成比較合理的視頻描述，但是這些模型的視頻特征編碼都只側(cè)重于視覺信息而忽略了音頻信息。該課題組認(rèn)為，忽視聲音模態(tài)會(huì)損害模型性能。比如，一個(gè)人躺在床上唱歌。大部分傳統(tǒng)的視頻描述生成方法只關(guān)注視覺信息而忽略聲音信息，可能會(huì)產(chǎn)生語義不完整的句子：“一個(gè)人躺在床上”。如果可以將音頻信息結(jié)合到模型中，就可以產(chǎn)生語義完整的句子“一個(gè)人躺在床上唱歌”。

　　那么如何更合理地利用視聽覺信息？課題組提出并分析了三種視聽覺特征深度融合框架（如圖1所示），第一種為將視聽覺信息簡(jiǎn)單并連在一起，第二種在視聽特征編碼階段共享LSTM內(nèi)部記憶單元，建立視聽模態(tài)間的短時(shí)依賴性，第三種在視聽特征編碼階段共享外部記憶單元，建立視聽模態(tài)的長時(shí)依賴性。

　　同時(shí)，為了處理聽覺模態(tài)缺失問題，課題組提出了一個(gè)動(dòng)態(tài)多模態(tài)特征融合框架（如圖2所示）。其核心模塊為由一個(gè)編碼器和一個(gè)解碼器組成的聽覺推理模型。聽覺推理模型具體為將視覺特征輸入編碼器進(jìn)行編碼，利用解碼器解碼出對(duì)應(yīng)的聽覺特征，通過在生成的聽覺特征與真實(shí)的聽覺特征之間增加L2范數(shù)約束來更新該模型參數(shù)，并實(shí)現(xiàn)視覺特征到聽覺特征的準(zhǔn)確映射。模型在MSR-VTT、MSVD數(shù)據(jù)集上取得了理想的效果。

　　2.視聽模態(tài)的生成

　　視聽模態(tài)是視頻中的兩個(gè)共生模態(tài)，包含相同和互補(bǔ)信息。利用共同信息可實(shí)現(xiàn)模態(tài)間的相互轉(zhuǎn)換。同時(shí)，互補(bǔ)信息可作為先驗(yàn)去輔助相關(guān)工作。因此，充分利用視聽模態(tài)間的共同和互補(bǔ)信息可以進(jìn)一步增強(qiáng)相關(guān)任務(wù)的性能。然而，由于環(huán)境干擾和傳感器故障等因素，其中的一個(gè)模態(tài)會(huì)受損或者缺失，從而帶來一些嚴(yán)重的問題，比如消音的影片或者模糊的屏幕。如果可以基于已知模態(tài)生成缺失模態(tài)，會(huì)給許多多媒體任務(wù)帶來好處。因此，課題組致力于創(chuàng)建有效的視聽跨模態(tài)相互生成模型。

　　傳統(tǒng)的跨模態(tài)相互生成方法主要存在以下幾個(gè)問題，一是模態(tài)間存在嚴(yán)重的結(jié)構(gòu)、維度和信息不對(duì)稱性，導(dǎo)致跨模態(tài)相互生成的質(zhì)量不理想。二是模態(tài)間的相互生成是獨(dú)立的，具有很大的不便性。三是其訓(xùn)練過程并不是端到端的。

　　為解決上述問題，課題組提出基于循環(huán)對(duì)抗生成網(wǎng)絡(luò)的跨模態(tài)相互生成模型（CMCGAN）。（如圖3所示）

　　該模型包含四個(gè)子網(wǎng)絡(luò)，分別為A-V（聽覺到視覺），V-A（視覺到聽覺），A-A（聽覺到聽覺）和V-V（視覺到視覺）子網(wǎng)絡(luò)。每個(gè)子網(wǎng)絡(luò)均由一個(gè)編碼器和一個(gè)解碼器組成。這四種子網(wǎng)絡(luò)以對(duì)稱的形式組成了兩種生成路徑，一種是V-A-V/A-V-A（視覺-聽覺-視覺/聽覺-視覺-聽覺），另一種為跨模態(tài)生成路徑A-A-V/V-V-A（聽覺-聽覺-視覺/視覺-視覺-聽覺）。

　　受益于CMCGAN，課題組同時(shí)也提出了一個(gè)動(dòng)態(tài)多模態(tài)分類網(wǎng)絡(luò)。若輸入有兩個(gè)模態(tài)，則首先將它們進(jìn)行融合然后輸入到后續(xù)的分類網(wǎng)絡(luò)中。若輸入只有一個(gè)模態(tài)，則可基于CMCGAN生成缺失模態(tài)，然后將已知模態(tài)和缺失模態(tài)輸入到后續(xù)的動(dòng)態(tài)多模態(tài)分類網(wǎng)絡(luò)中。在該研究中，研究組提出了一個(gè)跨模態(tài)循環(huán)對(duì)抗生成網(wǎng)絡(luò)去實(shí)現(xiàn)跨模態(tài)的視聽相互生成；提出了一個(gè)聯(lián)合對(duì)應(yīng)對(duì)抗損失函數(shù)將視聽相互生成集成在一個(gè)統(tǒng)一的框架中，該損失函數(shù)不僅可以區(qū)分圖像來自原始樣本集還是生成集，而且可以判斷（圖像，聲音）是否匹配；針對(duì)不同模態(tài)的輸入，提出了一個(gè)動(dòng)態(tài)多模態(tài)分類網(wǎng)絡(luò)。

　　3.智能體之間的知識(shí)遷移

　　度量學(xué)習(xí)是許多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)，包括人臉驗(yàn)證，行人再識(shí)別等。近年，基于度量損失函數(shù)指導(dǎo)的端到端深度度量學(xué)習(xí)取得了很大的成功。這些深度度量學(xué)習(xí)成功的關(guān)鍵因素是網(wǎng)絡(luò)結(jié)構(gòu)的強(qiáng)大。然而，隨著所需表征特征的增強(qiáng)，網(wǎng)絡(luò)結(jié)構(gòu)變的更深更寬從而帶來了嚴(yán)重的計(jì)算負(fù)擔(dān)。在現(xiàn)實(shí)世界的許多應(yīng)用如無人駕駛上，由于硬件資源的限制，使用這些網(wǎng)絡(luò)會(huì)導(dǎo)致系統(tǒng)產(chǎn)生嚴(yán)重的延時(shí)。為保證安全性，這些系統(tǒng)需要實(shí)時(shí)的響應(yīng)。因此，很難將的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)應(yīng)用到該研究的系統(tǒng)中。

　　為緩解該問題，研究者們提出了許多模型加速的方法，可簡(jiǎn)單分為三類：網(wǎng)絡(luò)剪枝，模型量化和知識(shí)遷移。網(wǎng)絡(luò)剪枝迭代地刪除對(duì)最后決策不太重要的神經(jīng)元或權(quán)值。模型量化通過降低網(wǎng)絡(luò)中權(quán)值和激活函數(shù)的表達(dá)準(zhǔn)確性來增加了網(wǎng)絡(luò)的吞吐量。知識(shí)遷移使用一個(gè)更大更強(qiáng)的老師網(wǎng)絡(luò)去指導(dǎo)一個(gè)小的學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)過程。在這些方法中，基于知識(shí)遷移的方法是實(shí)際價(jià)值的。跟其他需要定制硬件或者實(shí)現(xiàn)細(xì)節(jié)的方法相比，知識(shí)遷移在沒有額外開銷的情況下也可得到相當(dāng)?shù)哪Ｐ图铀傩阅堋?br />
　　知識(shí)蒸餾和它的變體是知識(shí)遷移領(lǐng)域的核心方法。盡管它們所使用的知識(shí)形式不同，但都只針對(duì)于單個(gè)樣本。也就是說，這些方法中的教師網(wǎng)絡(luò)不管在分類層還是中間特征層都只為每個(gè)樣本提供監(jiān)督信息。所有這些方法均忽略了另外一種有價(jià)值的度量——不同樣本之間的關(guān)系。這類知識(shí)同樣編碼了教師網(wǎng)絡(luò)中所嵌入的空間結(jié)構(gòu)。同時(shí)，該種知識(shí)所使用的實(shí)例水平的監(jiān)督信息符合度量學(xué)習(xí)的目標(biāo)。圖4展示了研究組的動(dòng)機(jī)。右上角展示了知識(shí)遷移后學(xué)生網(wǎng)絡(luò)可以更好的捕捉圖像相似性。數(shù)字0與6的相似性比數(shù)字3、4、5與6的相似性更大，因此等級(jí)更高。該研究中，課題組解決了以下幾個(gè)問題：將一種新類型的知識(shí)——交叉樣本相似性引入到深度度量學(xué)習(xí)中；將知識(shí)形式化成一個(gè)教師和學(xué)生網(wǎng)絡(luò)間的排序匹配問題，將經(jīng)典的基于列的學(xué)習(xí)轉(zhuǎn)換成排序?qū)W習(xí)算法并致力于解決它；在不同度量學(xué)習(xí)任務(wù)上測(cè)試該方法，均可極大地提高學(xué)生網(wǎng)絡(luò)的性能。另外，與目前的方法融合后可得到更好的遷移性能。