人臉表情識別的技術特征及其教育應用場景分析

人臉表情識別技術已成為近年來模式識別和人工智能相關領域的研究熱點問題之一。人臉表情在人類的內(nèi)心情感世界中起著傳遞媒介的作用，通過人臉表情識別可以獲得個體的各種即時情緒情感狀態(tài)，從而使個體的學習過程充滿各種即時性信息。如今，伴隨著“互聯(lián)網(wǎng)+教育”時代到來，人臉表情識別同樣也可以應用于教育領域中，強大的人臉表情識別技術支持使得課堂教學和在線教學更加有序高效。人臉表情識別技術應用于課堂教學和在線教學中，教師可通過觀察學生臉部表情變化及時了解學生的真實心理活動，進而能準確掌握學生對知識點的理解，并采取有效的手段來提高教學效果，使教學活動過程變得更加有趣和高效。

1 人臉表情識別的技術特征分析^[1]

1.1 產(chǎn)生與發(fā)展

人類語言可劃分為兩大類：自然語言與形體語言，人臉表情是形體語言中的一部分，一般是由人的眼部肌肉、口部肌肉與臉部肌肉等通過運動而形成。表情往往是人的情感變化可通過面部而觀察出的一種情緒表現(xiàn)，是人類情緒的一種客觀外顯行為。人臉表情識別廣泛應用于社會情感分析、醫(yī)療診斷、安全駕駛、交通出行、商業(yè)宣傳與刑事案件偵破等領域。人臉表情識別是在人臉表情的基礎之上進行的，人臉表情識別的發(fā)展可大致分為4個階段。第1階段可追溯到20 世紀70 年代，研究人員根據(jù)人臉的五官特征來識別不相同的人臉，采用基于幾何結構特征的算法和基于模板匹配的算法進行人臉識別。第2階段，Belhumeur 等人在人臉識別的實踐中加入Fisher準則，采用隱馬爾可夫法和基于Fisher 的線性判別法進行人臉識別的研究。第3 階段，人臉識別研究更加具有參考性和現(xiàn)實意義，Gabor 小波變換特征提取等算法的出現(xiàn)使得人臉識別的研究更加精準。第4階段，大數(shù)據(jù)時代的到來，人臉識別的數(shù)據(jù)庫不斷壯大，CNN 卷積神經(jīng)網(wǎng)絡等算法的涌現(xiàn)不斷地推動著人臉識別的發(fā)展。

1.2 技術特征

1.2.1 人臉表情識別的要素

在20 世紀70 年代中期，著名美國心理學家Ekman通過實驗將人臉面部表情劃分為6 類: 高興(Happy)、悲傷(Sad)、害怕(Fear)、生氣(Angry)、厭惡(Disgust)和驚訝(Surprise)^[1]。人臉表情可傳達人類的特定情感信息，比如高興通常指聽到好消息或者見到想見的人，一般會通過舒展眉頭、眼存笑意與嘴角上揚來表達?；诖?，人們不斷的優(yōu)化發(fā)展著人臉表情識別技術。在這個研究分析過程中，表情數(shù)據(jù)集是人臉表情識別研究中一個至關重要的環(huán)節(jié)。其中較為典型的有20 世紀90 年代Lyons等人建立的一個以日本女性為代表的表情數(shù)據(jù)集（JAFFE）。該數(shù)據(jù)集共收錄日本女性的213張圖像，其中包含10名日本女性在相同環(huán)境下做出的高興、悲傷、中性、厭惡、憤怒、恐懼以及驚訝這7 種表情，每一種表情大約包含30張圖像^[2]。具體圖像如圖1所示。

圖1 JAFFE表情數(shù)據(jù)集部分圖像

1.2.2 人臉表情識別的過程

人臉表情識別過程可劃分為3 步：圖像化、特征提取與表情識別。圖像化是面部表情分析的第一步，是對人臉進行圖像的取得與預先處理，首先對圖片或視頻中的人臉進行定位獲取，然后根據(jù)人的眼睛、鼻子和嘴巴等器官的特征來檢測面部，最后將檢測器檢測到的面部圖像進行預處理，即圖像歸一化處理。表情特征提取是表情分析過程中最為關鍵的一步，人臉圖像包含大量信息，所以進行人臉面部表情識別時需提取出人臉五官特征、紋理特征等相關信息，人臉面部表情特征提取方法主要分3種：基于全局的提取方法、基于局部的提取方法以及混合提取方法。面部表情分析過程的最后一步是進行表情識別。首先是采用基于模板的匹配方法、基于神經(jīng)網(wǎng)絡的方法、基于概率模型的方法以及基于支持向量機的方法等對面部表情進行分類。待面部表情分類完成后，再采用面部行為編碼系統(tǒng)與基于模板的分類兩種方法進行識別。人臉表情識別的整體過程如圖2 所示。

圖2 人臉表情分析過程

1.3 系統(tǒng)研發(fā)

人臉表情識別技術主要由三大系統(tǒng)組成：面部行為編碼系統(tǒng)(FACS)、臉部動畫參數(shù)(FAP) 與最大限度辨別面部肌肉運動編碼系統(tǒng)(MAX)。①面部行為編碼系統(tǒng)(FACS)。FACS 是著名的國際心理學家Ekman 根據(jù)人類面部解剖學的特點，將面部肌肉分解為幾個獨立且相關的運動單元AU，描述出不同面部肌肉運動和不同表情之間的對應關系。FACS 對現(xiàn)實生活中大部分人類的表情進行分類，并用面部運動描述了幾乎所有可能出現(xiàn)的面部表情，因而成為目前面部表情肌肉運動的權威參考標準。②臉部動畫參數(shù)(FAP)。FAP 用于3D 人臉識別，同時是MPEG-4 標準的一套標準參數(shù)，主要用于合成一種實時虛擬人臉表情動畫，它的主要編碼方案是基于關鍵特征點在人臉網(wǎng)絡中的位置來進行實施的。FAP 是一套完整的人類面部運動集合參數(shù)標準，它與人臉肌肉運動密切相關，在描述自然面部表情時效果極佳。③最大限度地辨別面部肌肉運動編碼系統(tǒng)(MAX)。MAX 將人臉區(qū)域劃分為幾個部分：額頭、鼻翼和鼻根、眼睛、臉頰以及嘴唇和下巴的區(qū)域，相應地對所列出的29 個面部運動單元進行編碼，每個編碼代表面部特定區(qū)域的活動，面部表情就是由這些特定區(qū)域的肌肉運動組合而構成。三大系統(tǒng)的特征比對如表1 所示。

2 人臉表情識別技術在教育中的應用場景分析

2.1 課堂教學

傳統(tǒng)課堂教學主要是一種教師“講”與學生“聽”的面對面教學形式。通過與學生面對面的互動交流，教師可以從學生的表情、神態(tài)以及語言中獲取到學生是否理解領會所學知識，同時也可進行表情與情感分析，及時調(diào)整教學節(jié)奏、調(diào)動課堂氣氛與調(diào)整教學策略。傳統(tǒng)的這種情感分析往往是基于教師實踐經(jīng)驗后的積累，面向的是學生群體的大部分，無法照顧到學生個體的個性化需求。借助于人臉表情識別技術的課堂教學應用，可對學生學習狀態(tài)做出及時反饋和調(diào)整，例如對教學內(nèi)容疑惑時，學生表情為眉頭緊皺、頭部傾斜；對教學內(nèi)容理解時，則表情為展眉愉悅、頭部上揚；對教學內(nèi)容厭惡時，表情為眉頭微皺、頭部低下等。人臉表情識別技術在面對面課堂教學中應用，便于教師對學生進行即時情感分析與教學反饋，顯著地提升教學的效果和質(zhì)量。課堂教學中學生的面部表情類型主要分析如表2所示。

2.2 在線教育

作為當今教育模式的主流之一，在線教育可實現(xiàn)師生之間遠程互動與課堂交流等教學活動，實現(xiàn)任何時間、任何地點的時空分離教學。但因為在線教育中教師無法將授課表情及時傳遞給學生，學生也無法將學習進度與情感及時反饋給老師，這種非面對面的單線教學模式極易造成教學情感缺失與人性化交流缺乏。人臉表情識別技術應用在在線教育中，可以彌補教學情感交流缺失，使師生發(fā)生有效教學交互，實現(xiàn)科學有效的在線教育、提高學習效率與教學效果。人臉表情識別技術應用于在線教育中，通過攝像頭采集學生上課時的人臉圖像或視頻，然后對其進行加工處理，再采用相對應的在線課堂狀態(tài)類型分類法對學生課堂狀態(tài)進行監(jiān)測，進而輔助教師順利進行在線課堂教學，提高在線課堂教學效率。

2.3 學校生活

互聯(lián)網(wǎng)時代的到來給人們的日常生活帶來極大便利。智慧校園、智慧教室、智慧課堂、以及智慧食堂等一系列教育與互聯(lián)網(wǎng)深度融合的教育應用場景應運而生。人臉表情識別技術所支持的系統(tǒng)的廣泛普及，不僅在學校生活的日常運作中節(jié)省人力與物力，而且使得各項工作高效且有序進行，甚至比之前人工實際操作所獲取的數(shù)據(jù)更加準確且具有代表性。人臉表情識別技術在學校生活中的廣泛應用將會促進學校向智慧化、數(shù)字化與信息化方向深入發(fā)展，進一步優(yōu)化學校管理、學校安防與教學管理等工作。

3 人臉表情識別技術的教育應用問題分析

3.1 課堂教學表情識別的應用與實踐定位不明確

應用于課堂教學中的人臉表情識別技術可幫助教師有效實時監(jiān)控學生課堂表情變化，利于教師與學生的情感交流。然而，當前人臉表情識別技術在課堂教學中的應用不容樂觀，仍存在應用實踐定位不明確問題。具體表現(xiàn)如下：①在人臉表情識別技術的實際應用中，教師過度使用該技術監(jiān)測學生課堂表情變化，而忽視課堂教學最本質(zhì)的意義——如何采取有效教學策略提高課堂教學交互活動。②教師并沒有充分利用人臉表情識別技術所帶來的優(yōu)勢與學生進行深層情感交流，而是一味地在意識別人臉的攝像頭是否準確地監(jiān)測到學生表情，違背人臉表情識別技術應用到教育場景的初衷。

3.2 在線教學表情識別的精準度有待于提升

在非面對面的在線教學中，人臉表情識別技術存在無法準確識別人臉、人臉識別錯誤等問題。產(chǎn)生上述問題的原因有如下幾點：①模糊圖像干擾。人臉圖像可能會受當時環(huán)境中的光照強度、鏡頭變焦、曝光度以及學生個人動作幅度過大等一些不穩(wěn)定因素干擾，造成圖像識別模糊甚至出現(xiàn)馬賽克等現(xiàn)象，導致無法準確識別人臉表情；②人臉角度問題。大部分學生在上課過程中很難保持一個固定不變的坐姿進行課堂活動，學生上課時的狀態(tài)可能存在抬頭聽課與側頭發(fā)呆等幾種情況，不同的人臉角度極容易造成所采集的面部信息部分缺失，以及設備所拍攝的圖像缺乏完整性等問題。

3.3 學校生活應用支持度不高

隨著智慧校園的興起，智能化的校園環(huán)境為師生與校內(nèi)工作人員提供諸多便利，其中人臉表情識別技術就是智慧校園中的一種智能化設備的應用體現(xiàn)，但是其在現(xiàn)實學校生活中應用的支持度并不高。究其原因，設備、技術以及物力人力成本的增加是最根本的原因。人臉表情識別技術引進到校園生活中，首先，學校必然會增加對相關設備與技術的投資，其次，學校會聘請相關技術人員駐校輔助學校人員，包括設備安裝與設備操作等工作，這也會增加對人力與物力的投資。

3.4 教育大數(shù)據(jù)隱私問題

人臉表情識別技術應用在學校的各個角落，包括寢室樓與圖書館門禁、智慧教室人臉簽到與課堂教學人臉表情監(jiān)控等幾種應用場景。其應用為學校日常生活帶來諸多便利，但人臉表情識別技術是一把雙刃劍，有其利也有其弊。人臉表情識別技術在實施過程中無疑會泄露學習者的個人信息，引發(fā)教育大數(shù)據(jù)隱私泄露等問題的爭論。教育大數(shù)據(jù)涵蓋學習者大量的信息，包括個人身份信息、學習資源信息與家庭成員信息等。學習者的各種信息被暴露在系統(tǒng)中，這不僅涉及隱私倫理等相關問題，更有可能對學習者的身心健康成長造成問題。

4 人臉表情識別技術的教育應用問題對策

4.1 識別應用的定位性要明確

要真正解決人臉表情識別技術在課堂教學中應用的實踐定位不明確的問題，具體措施如下：①調(diào)整教學策略。在人臉表情識別技術應用于課堂教學中，當獲取到學生表情后，教師應第一時間對其表情做出判斷，然后根據(jù)學生表情采取相應的教學策略進行教學，以便課堂教學效果達到最優(yōu)化。②進行情感交流。課堂教學中情感交流這一環(huán)節(jié)尤為重要，許多教師會因個人精力不足無法照顧到每個學生的情緒，忽視學生課堂的情感反饋，導致教學效果不佳。人臉表情識別技術在課堂教學中的應用充分解決這一大難題，教師應重視其技術應用反饋結果，進而加強與學生之間的情感交流。

4.2 識別應用的精準度要提升

要有效解決人臉表情識別技術在課堂教學中人臉圖像識別精準性不高等問題，需要改進人臉圖像采集設備以提高采集精準度并完善分析方法，具體解決方案如下：①提高采集精準度。首先，考慮外在因素影響，改進攝像機以及其他電子硬件設備，采用分辨率更高以及性能更好的攝像機進行人臉圖像捕捉，以便更加高效準確地捕捉與人臉相匹配的圖像。②考慮內(nèi)在因素影響，攝像機在課堂教學采集人臉圖像的同時可以選擇增加人臉圖像智能質(zhì)量評估環(huán)節(jié)，其宗旨是過濾人臉圖像識別過程中的模糊圖像、誤識圖像以及殘缺圖像，確保已識別出的人臉圖像是準確且完好無損的；③完善分析方法。視頻流表情分析極其容易受到自然環(huán)境光照強度以及人物自身臉部姿態(tài)等影響，因此在人臉表情圖像識別預處理環(huán)節(jié)要嚴格把關以確保人臉表情圖像獲取的準確性。

4.3 識別應用的支持度要深入

人臉表情識別技術在學校日常生活中的應用并不是很普遍，要實現(xiàn)人臉表情識別技術在學校生活中的廣泛應用，需要加強其對學校生活中應用的支持度。首先，需要解決資金問題。人臉表情識別技術的引入必然會耗費大量的人力與物力，學校需要有強大的資金扶持方可成功引入該技術。其次，制定意外情況發(fā)生的防治措施。避免意外情況帶來的種種挑戰(zhàn)，學校需安裝發(fā)電系統(tǒng)，以保證人臉表情識別技術的正常運行，避免停電等情況帶來的不必要損失?？傊四槺砬樽R別技術具有便捷、高效、低成本與高準確性等優(yōu)勢，學校需要加大其對日常生活應用的支持度。

4.4 識別應用的技術性要適度

對于教育大數(shù)據(jù)隱私泄露等問題的解決，要從技術本身入手，考慮技術應用的適度性原則。①支持技術創(chuàng)新。目前，人臉表情識別技術已廣泛應用在學校課堂教學中，相關技術人員應對人臉表情識別技術進行創(chuàng)新與研發(fā)，完善與優(yōu)化人臉表情分析方法，以便更好地迎接教育大數(shù)據(jù)所帶來的各種挑戰(zhàn)與困難。②技術應用適度。高度重視教育信息收集的防護工作，充分利用現(xiàn)代化技術實現(xiàn)數(shù)據(jù)的實時分析與在線監(jiān)控，提高人臉表情識別技術的安全應用水平。

參考文獻：

[1] 徐琳琳,張樹美,趙俊莉.基于圖像的面部表情識別方法綜述[J].計算機應用,2017,37(12):3509-3516+3546.

[2] 葉繼華,祝錦泰,江愛文,等.人臉表情識別綜述[J].數(shù)據(jù)采集與處理,2020,35(1):21-34.

[3] 阮靜.基于計算思維培養(yǎng)的人工智能課程設計實踐探究——以《人臉識別》一課為例[J].中國現(xiàn)代教育裝備,2021(22):18-20.

[4] 于洋.人臉識別醫(yī)療應用初步探討[J].中國信息化,2021(11):80-81.

[5] 董雷剛,崔曉微,趙陽光,等.基于人臉識別+Android技術的高校學生考勤系統(tǒng)設計[J].電腦知識與技術,2021,17(32):91-93.

[6] 黃振龍,吳林煌.基于Yolov5s和Dlib的視頻人臉識別[J].電腦知識與技術,2021,17(32):94-96.

[7] 張曼云,熊杰,蘇有為,等.基于嵌入式人工智能芯片的人臉識別安防報警方法[J].信息技術與信息化,2021(10):233-236.

[8] 周楠,周建設.基于深度學習的學生行為分析與教學效果評價[J].現(xiàn)代教育技術,2021,31(8):102-111.

[9] 張悅欣,付曉峰.結合卷積神經(jīng)網(wǎng)絡與OpenCV的人臉表情識別[J].電腦知識與技術,2021,17(5):183-185.

[10] 魏艷濤,雷芬,胡美佳,等.學生表情識別研究綜述[J].中國教育信息化,2020(21):48-55.

[11] 賈鸝宇,張朝暉,趙小燕,等.基于人工智能視頻處理的課堂學生狀態(tài)分析[J].現(xiàn)代教育技術,2019,29(12):82-88.

[12] 韓麗,李洋,周子佳,等.課堂環(huán)境中基于面部表情的教學效果分析[J].現(xiàn)代遠程教育研究,2017(4):97-103+112.

[13] 孫波,劉永娜,陳玖冰,等.智慧學習環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠程教育研究,2015(2):96-103.

（本文來源于《電子產(chǎn)品世界》雜志2023年3月期）