麻省理工學院媒體實驗室的研究人員已經開發出一種機器學習模型，它讓計算機離像人類一樣自然地解釋我們的情緒更近了一步。

在越來越多的“情感計算”領域，人們正在開發機器人和計算機來分析面部表情，解讀我們的情緒，并做出相應的反應。應用程序包括，例如，監控個人的健康，測量教室中學生的興趣，幫助診斷某些疾病的跡象，以及開發有用的機器人助手。

然而，這存在一個挑戰就是人們表達情感的方式完全不同，這取決于許多因素，在不同的文化背景、性別和年齡差別中都可以看到普遍的差異，但其他的差異則更為細微：一天中的某個時間段、你睡了多少覺，甚至你對交談對象的熟悉程度，都會導致你在特定時刻內表達情感的方式發生微妙的變化，例如如何表達快樂或悲傷。

人類的大腦能本能地捕捉到這些偏差，但機器卻在這方面掙扎著。深度學習技術是近年來發展起來的，目的是幫助機器抓住情感表達中的微妙之處，但它們在不同的人群中仍然不夠精確，也不能適應不同的人群。

媒體實驗室的研究人員已經開發出一種機器學習模式，這種模式在捕捉這些微小的面部表情變化方面要優于傳統系統，在訓練解讀數千張人臉圖像的同時，能更好地評估情緒。此外，通過使用一些額外的訓練數據，這個模型可以適應一個全新的人群，并且同樣有效。這個模式的目的是改進現有的情感計算技術。

媒體實驗室研究員奧吉·魯多維克(Oggi Rudovic)與其他作者于上星期的機器學習和數據挖掘會議中發表了一篇論文，在論文中，Oggi說：“對于監控我們的情緒來說，這是一種不引人注目的方式，如果你想讓機器人具有社會智能，你就必須讓它們智能且自然地對我們的情緒和感情做出反應，就像人類一樣。”

論文的共同作者是：第一作者Michael Feffer，一個電氣工程和計算機科學的本科生;Rosalind Picard，媒體藝術與科學教授，情感計算研究小組的創始主任。

個性化的“專家”

傳統的情感計算模型采用“一刀切”的概念。他們只訓練機器觀察一組面部表情的圖像，讓機器描述各種面部表情優化特征，比如微笑時嘴唇如何彎曲，并讓機器在一組全新的圖像中映射這些一般的特征優化。

相反，研究人員將一種名為“專家的混合”(MoE)的技術與模型個性化技術結合在一起，這種技術有助于從個體中挖掘出更細致的面部表情數據。Rudovic說，這是這兩種技術第一次結合在一起進行情感計算。

在MoEs中，許多神經網絡模型被稱為“專家”，它們被訓練成專門處理一個單獨的任務并產生一個輸出。研究人員還加入了一個“門控網絡”，計算出哪位“專家”能最好地檢測到受試者的潛在情緒。Feffer說：“基本上，這個門控網絡可以區分個體，并說‘這是能對給定圖像進行解讀的正確專家’。”

在他們的模型中，研究人員將每個“專家”與RECOLA數據庫中的18段視頻中的一段進行匹配，從而對MoEs進行了個性化處理， RECOLA數據庫是專門為情感計算應用程序設計的視頻聊天平臺，他們用9個實驗對象對模型進行訓練，并在另外9個實驗對象解讀中對機器進行評估，所有的視頻都被分解成單獨的幀。

每一個“專家”和門控網絡都在一個ResNet，一個用于對象分類的神經網絡的幫助下跟蹤每個人的面部表情。在這個過程中，模型根據效價(愉快或不愉快)和覺醒(興奮)的水平對每一幀進行評分，這兩個是通常用來編碼不同情緒狀態的指標。另外，六名人類專家同樣使用一樣的標準，從-1(低分)到1(高分)的范圍之間對每一幀的效價和覺醒進行評分。

然后，研究人員進行了進一步的模型個性化實驗，在實驗中，他們將實驗對象的剩余視頻幀輸入經過訓練的模型數據，然后在從未見過的視頻幀上測試模型。結果顯示，新群體的數據只有5%到10%，這個模型在很大程度上優于傳統模型——這意味著它在未被發現的圖像上獲得了更接近人類專家解讀的效價和喚醒。

Rudovic說，這顯示了模型在數據很少的情況下，從一個人群到另一個人群，或者從個人到另一個個人的適應能力。“這是關鍵，”他說。“當你有了新的人群，你就必須要有一種方法來解釋數據分布的變化(細微的面部變化)。”想象有一個模型集來分析一個文化人群中的面部表情，這個模型集需要適應不同的文化。如果不解釋這種數據轉移，這些模型將表現得沒那么好，但是，如果從一種新的文化人群中抽取一點樣本來適應我們的模型，這些模型可以做得更好，特別是在個人層面上。這就是模型個性化最重要的地方。

目前，用于這種情感計算研究的數據在膚色上并不是很多樣化，所以研究人員的訓練數據是有限的。但是，當得到這些數據時，該模型就可以用于更多樣化的人群。Feffer說，下一步是在“一個更大、文化更多樣化的數據集”上對模型進行培訓。

更好的人機交互

研究人員說，另一個目標是訓練這個模型，幫助計算機和機器人自動從少量變化的數據中學習，從而更自然地檢測我們的感覺，更好地滿足人類的需求。

例如，它可以在電腦或移動設備的背景下運行，跟蹤用戶基于視頻的對話，并在不同的環境下學習微妙的面部表情變化。“你可以讓智能手機應用程序或網站來學會解讀人們的感受，并為他們提供方法去應對壓力或痛苦，以及其他對他們的生活產生負面影響的東西，”Feffer說。

這也可能有助于監測，比如說，抑郁或癡呆，人們的面部表情會因為這些條件而發生微妙的變化。Rudovic說：“我們的面部表情能夠被被動地監控，我們就可以隨著時間的推移，使這些模型根據用戶進行個性化，和監控他們的表情每天有多少偏離面部表達平均水平的偏差，并把這個作為身心健康的晴雨表。”

Rudovic說，人機交互是一個很有前途的應用，比如用于個的人機器人或用于教育目的的機器人，機器人需要適應評估不同人的情緒狀態。例如，有一個版本就被用于幫助機器人更好地解讀自閉癥兒童的情緒。

英國貝爾法斯特女王大學(Queen 's University Belfast)心理學名譽教授、情感計算學者羅迪•考伊(Roddy Cowie)表示，麻省理工學院的研究“說明了我們在這一領域的真正位置”。他說：“我們正逐漸向這樣的系統靠攏，它可以粗略地識別人們的面部表情，從非常正面到非常負面，非常主動到非常被動。從直覺上看，一個人發出的情緒信號與另一個人發出的信號并不相同，因此，從很大程度上講，當情感識別被個性化時，它會表現得更好。”個性化的方法反映了另一個有趣的觀點，即培訓多個“專家”并匯總他們的判斷，比培訓一個超級“專家”更有效。兩個模式一起組成了一個令人滿意的套裝軟件。

本文來源前瞻網，轉載請注明來源！（圖片來源互聯網，版權歸原作者所有）