【導讀】以往的情緒分類研究由于數(shù)據(jù)的限制，只能局限于六種基本的情緒分類。好消息終于來了，Google最近發(fā)布迄今為止最強情緒分類數(shù)據(jù)集GoEmotions，情緒類別提升到28種，并且每個類別標簽的質(zhì)量都超高！

互聯(lián)網(wǎng)文化的興起，讓NLP研究員也是壓力山大，不光要搜集傳統(tǒng)的語料，新興的各種梗表達的微妙情緒也只能讓機器學習模型直呼看不懂。

情緒的表達在社交軟件上十分關(guān)鍵，影響著人們的交流方式和社交關(guān)系的塑造，在語言方面尤其如此，只要幾個詞就能表達各種各樣的微妙和復雜的情感。

因此，使機器能夠理解上下文和情感一直是研究界的一個長期目標，這反過來又將支持各種應用，包括情感聊天機器人、檢測負面情緒的網(wǎng)絡行為模型以及改善消費者的互動反饋。

在過去的十年里，NLP 研究界已經(jīng)為基于語言的情感分類提供了一些數(shù)據(jù)，大多數(shù)都是人工標注的，涵蓋了多個目標領(lǐng)域，如新聞標題、電影字幕、甚至童話故事，但規(guī)模往往相對較小，或者只關(guān)注于1992 年提出的六種基本情緒：憤怒（anger）、驚訝（surprise）、沮喪（disgust）、快樂（joy）、恐懼（fear）和悲傷（sadness）。

雖然這些情緒數(shù)據(jù)能夠?qū)η榫w進行初步、粗糙的分類，但這些數(shù)據(jù)集在建立時也強調(diào)需要在更廣泛的情緒集上建立一個大規(guī)模的數(shù)據(jù)集，以在更廣泛范圍促進未來潛在應用。

Google 最近就帶來了一個全新的情緒數(shù)據(jù)集GoEmotion，包含了58000個人工標注的Reddit 評論，并且將情緒分為28個類別。作為迄今為止標注最詳細的英語情感數(shù)據(jù)集，Google從心理學和數(shù)據(jù)適用性上設計了一個GoEmotion情感分類法。

和只有一種積極情緒（joy）的六種基本情緒相比，新的分類包括12種積極情緒、11種消極情緒、4種模棱兩可的情緒類別和1種中立情緒，能夠廣泛適用于需要微妙區(qū)分情緒表達的對話理解任務。

數(shù)據(jù)集的初衷是建立一個以對話數(shù)據(jù)為重點的大型數(shù)據(jù)集，其中情感是交流的關(guān)鍵組成部分。由于Reddit平臺提供了大量公開的內(nèi)容，包括用戶與用戶之間的直接對話，因此它也成為了情緒分析的絕佳場景和資源。

為了建立具有廣泛代表性的情感模型，研究人員采用了數(shù)據(jù)修復措施以確保數(shù)據(jù)集沒有改變通用性、情感特定性和語言偏見。

這一點尤其重要，因為Reddit的平臺也具有用戶群體的偏差，年輕的男性使用者居多，其中的評論也無法反映全球不同的人口的情緒表達。

并且Reddit 還有一些攻擊性的語言，為了解決這些問題，需要使用預先定義的攻擊性、少兒不宜、粗俗內(nèi)容以及宗教的術(shù)語來識別和過濾劣質(zhì)評論。

除此之外，Google還對數(shù)據(jù)進行了額外的過濾，如限制文本長度，并對數(shù)據(jù)集中所表達的情感和感受進行平衡，防止過度某些情感占比過多。

GoEmotion分類法在設計的時候主要考慮同時最大化三個目標：

1、最大限度地涵蓋Reddit數(shù)據(jù)中表達的情緒；

2、提供覆蓋最廣泛的情緒表達類型；

3、限制情緒類別的總體數(shù)量，并且不能互相重疊。

這種分類法能夠有效地理解數(shù)據(jù)驅(qū)動的精細情緒，同時也解決了某些情緒的潛在數(shù)據(jù)稀疏性。

建立整個分類體系是迭代過程，包含定義和細化情緒標簽。在數(shù)據(jù)標記階段，研究人員實際總共考慮了56種情緒類別。從這些樣本中，消除了那些被標注人員（rater）選擇得很少、與其他情緒相似并且相互作用程度較低的情緒、難以從文本中檢測到的情緒。

并且還額外增加了rater在數(shù)據(jù)標注過程中建議新增的情緒，這些情緒能夠很好地描述在評論數(shù)據(jù)中的情緒。

最后，研究人員對情感類別名稱進行了細化，以最大限度地提高可解釋性和相互關(guān)聯(lián)的一致性，在標簽的設置上，94%的樣本需要至少有兩個rater 同意至少一個情感標簽。

在實驗過程中可以發(fā)現(xiàn)，GoEmotion 的分類方法產(chǎn)生的情緒在數(shù)據(jù)中的分布并不是均勻的。正向情緒的出現(xiàn)頻率更高，這也讓研究人員意識到僅有六個基礎情緒類別是遠遠不夠的。

為了驗證分類的選擇是否與數(shù)據(jù)相匹配，研究人員進行了主保留成分分析（principal preserved component analysis, PPCA），這是一種通過提取情感判斷的線性組合來比較兩個數(shù)據(jù)集的方法，在兩組rater 之間顯示出最高的聯(lián)合可變性（joint variability）。它有助于發(fā)現(xiàn)rater 之間的情感維度是否高度一致。PPCA常被用來理解視頻和語音中情感識別的主要維度，也可以用它來理解文本中情感的主要維度。

通過實驗可以發(fā)現(xiàn)每個成分都是顯著的（所有維度的p值<1.5e-6），表明每個情緒都捕捉到數(shù)據(jù)的獨特部分。這可以說是一個巨大的提升，因為在以前的語言情感識別工作中，30個維度中大約只有12個維度被認為是有意義的。

研究人員還根據(jù)rater 的情緒判斷之間的相關(guān)性來研究定義情緒的聚類。采用這種方法，當兩種情緒經(jīng)常被rater 共同選擇時，這兩種情緒可以被聚類在一起。

研究結(jié)果發(fā)現(xiàn)，盡管GoEmotion 分類法中沒有預先定義情感（sentiment）的概念，但在情感（消極、積極和模棱兩可）方面相關(guān)的情緒能夠聚合在一起，表明了rater 的數(shù)據(jù)標注質(zhì)量很高，和數(shù)據(jù)標注的一致性。

例如，如果一個rater 選擇給一個評論的標簽是興奮（excited），那么另一個rater 也更有可能選擇一種相關(guān)的情緒，比如快樂（joy），而不是說選擇恐懼（fear）。

一個比較意外的情況是所有模棱兩可的情緒都能夠聚集在一起，并且它們與積極的情緒更緊密地結(jié)合在一起。

同樣地，在強度上相關(guān)的情緒，如joy和excitment、nervousness和fear、sadness和grief、annoyance和anger，也密切相關(guān)。

雖然GoEmotions提供了一組人類注釋的情感數(shù)據(jù)，但也存在一些額外的情感數(shù)據(jù)沒有包含在內(nèi)，其他數(shù)據(jù)集一般使用啟發(fā)式的方法來自動標記弱類型的情緒。

主流的啟發(fā)式方法使用與情緒相關(guān)的Twitter標簽作為情緒類別，無需人工參與就可以生成大量數(shù)據(jù)。但這種方法也受到多種限制：

1、Twitter上使用的語言與許多其他語言領(lǐng)域明顯不同，從而限制了數(shù)據(jù)的適用性；

2、標簽是人類產(chǎn)生的，直接使用時容易重復、重疊和其他分類不一致；

3、這種Twitter方法的特殊性限制了它在其他語言群體中的應用。

GoEmotion 提供了一種替代的、更容易使用的啟發(fā)式方法，將Emoji嵌入到用戶對話中，作為情感類別的代理（proxy）。這種方法可以應用于任何包含合理的Emoji的對話中，因為Emoji比Twitter標簽更標準化，更少稀疏，所以它們的不一致性更少。

需要注意的是兩種方法，無論是使用Twitter標簽還是emoj，都不是直接針對情感理解，而是針對對話的變體。

例如，在下面的對話中，

關(guān)鍵詞： 情緒 類別 情感