2019年美國國家教育測量委員會(National Council on Measurement in Education,以下簡稱NCME)峰會4月4-8日在風景如畫的多倫多召開。全球近1.4萬名教育行業(yè)的研究人員和教育專家齊集多倫多城市會議中心和費爾蒙德酒店,在5天內集中交流一年來行業(yè)在教育評測體系研究和教育評測實踐中的重要成果。

4月8日中午,NCME的一個重要交流匯報會-“評估和分類準確度的研究新方向”(New Directions in Scoring and Classification Accuracy)在酒店如期進行。乂學教育-松鼠AI作為中國教育行業(yè)人工智能評估與量化的代表也受邀參加了此次會議。SRI斯坦福國際研究院的教育研究員Yuning Xu作為松鼠AI合作項目組的核心成員,向與會者做了主題為”在線學習所需的集成專家評估與診斷分類模型”(Integrating Expert Review and Diagnostic Classification Models for Online Assessments)的研究報告,詳細介紹了松鼠AI利用Q矩陣和其上的DINA模型建立認知診斷測量系統(tǒng)的核心過程,并提供了仿真研究的具體結果。

美國國家教育測量委員會(National Council on Measurement in Education 以下簡稱NCME)是美國全國性的教育測評行業(yè)協(xié)會。該委員會定期發(fā)布美國教育行業(yè)指導性文件和質量標準。NCME對于美國教育行業(yè)評測標準具有重大影響力,其制定的《教育與心理測量標準》,明確了各類考試應該達到的信度、效度、公平性等方面的標準。中國人所熟知的考試機構-美國教育考試服務中心(Educational Testing Service,簡稱ETS)就是按照NCMS制定的教育評測標準設計其所屬的托福、GRE、GMAT、托業(yè)和SAT等全球知名的語言和學術能力評估考試的。

2019年NCME峰會的主題是“與公眾交流教育評測” (Communicating with the Public about Educational Measurement.)。在這個主題下,“公眾”被定義為是各種各樣的和教育相關的受眾,其中包括普通民眾,家長,教育工作者,教育政策制定者,關注教育的新聞界和各個年齡層的學生,而受眾溝通中和學生的直接溝通尤為受會議重視。

在互聯(lián)網(wǎng)顛覆和改造教育行業(yè)的今天,個性化教育成為學生的普遍需求。如何精確測評學生的知識水平,診斷知識結構中的問題,成為了個性化教育必不可少的基礎。傳統(tǒng)的潛在特質模型和因子分析模型所能夠達到的精度已經不能滿足互聯(lián)網(wǎng)教育的要求。取而代之的是認知診斷模型等新型的教育評測模型。

松鼠AI在國內的K12教育環(huán)節(jié)已經全面地進行了新型評測模型的應用,涵蓋了數(shù)學、物理、化學、英語和語文等多個核心學科,通過設計完善的知識圖譜和精準的知識點,并對知識點之間的關聯(lián)與依賴關系加以準確勾勒,形成了面向整個知識體系的人工智能評測方法論。這套科學方法論為“評估->學習->再評估”的循環(huán)提升流程構建了堅實的基礎。

在松鼠AI的這套評測方法中,研究人員把知識圖譜和測試內容分為“知識點”(knowledge Point)和“要素”(item)兩個核心對象。知識點描述知識圖譜中的一個基本知識單元。“要素”描述評測中的一個評測基本內容,比如一道測試題。在一個標準化測試中,即包含多個知識點,也包含多個要素,兩者是交叉關聯(lián)的。如一個知識點有可能在多道考題中被使用,同樣一道考題內會使用多個知識點。

松鼠AI的評測分析方法最終希望找出知識點和要素的不同組合對于評測準確度的影響,如簡單要素(包含少量知識點)與復雜要素(包含眾多知識點)對于評測準確度的影響等等。

在介紹交流中,徐研究員談到了項目組在線性方程、根號和平行四邊形等知識領域,針對相應的知識點通過教育專家設計的考試內容進行評測實驗,希望建立知識點和要素之間的分類預測模型。

在使用認知診斷DINA模型和雙重Q學習矩陣建模后,研究人員提煉出具有共性的四種“認知模式”(skill),并構成了要素和認知模式的函數(shù)模型,最終完成了邊際認知模式分類的精確度驗證。

通過這一模型的建立,人工智能系統(tǒng)可以構建各個知識領域有關知識點、評測要素和認知模式的數(shù)學模型,將這三者有機地結合在一起,幫助教學與評測人員全面了解知識點與評測內容的關聯(lián)關系,并可以全面描述學生對于知識的掌握與技巧使用的熟練程度。這就為提升“評估->學習->再評估”的效率創(chuàng)造了良好的條件。

松鼠AI與斯坦福國際研究院(SRI)在兩年前成立了人工智能聯(lián)合實驗室,松鼠AI與SRI聯(lián)合實驗室專注于利用SRI在人工智能和教育技術方面的獨特優(yōu)勢。聯(lián)合實驗室目前在三個關鍵領域進行合作研究:1)核心自適應教育模型和技術 2)自然語言處理和語義分析,以實現(xiàn)虛擬個性化學習助理(VPA)功能,用基于對話的界面來診斷學生錯因和吸取教練和學生對人工智能的反饋。 3)多模式綜合行為分析(MIBA)研究,使松鼠AI能夠在智適應學習環(huán)境中理解學生的情感和心理狀態(tài),并更好地預測學生行為,以及為人類教練的干預,補救和支持的機會提供信號,或者通過系統(tǒng)對學生進行提醒、推薦和放松。

目前松鼠AI已經把這種評測方法應用于中國的中學教育評測中,取得了相當好的反饋。我們期待松鼠AI能夠進一步擴展人工智能的應用范圍,為中國教育行業(yè)走人人工智能時代提供強大的推動力。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。