對(duì)于英語(yǔ)學(xué)習(xí)者來(lái)說(shuō)，機(jī)器自動(dòng)批改作文技術(shù)已經(jīng)不再陌生，而全球人工智能專家們正在攻克更具挑戰(zhàn)性的堡壘——中文作文批改。

　　12月初，第六屆中文語(yǔ)法錯(cuò)誤自動(dòng)診斷大賽（Chinese Grammatical Error Diagnosis，以下簡(jiǎn)稱CGED）公布最終成績(jī)，作為首次參賽的隊(duì)伍，有道AI自然語(yǔ)言處理（NLP）團(tuán)隊(duì)在比賽中的語(yǔ)法糾錯(cuò)Top3賽道斬獲冠軍，并且在另外兩個(gè)賽道（語(yǔ)法糾錯(cuò)Top1、錯(cuò)誤定位）位列前三，這也標(biāo)志著有道AI在中文作文批改上取得的又一重大進(jìn)展。

　　CGED大賽已經(jīng)走到第六年，比賽的方式是由計(jì)算機(jī)自動(dòng)對(duì)外國(guó)人寫作的中文句子進(jìn)行錯(cuò)誤的檢測(cè)和糾錯(cuò)，分為檢測(cè)是否有錯(cuò)誤、錯(cuò)誤位置、錯(cuò)誤類型、糾錯(cuò)等共計(jì)6個(gè)賽道。來(lái)自國(guó)內(nèi)外14支團(tuán)隊(duì)參與了今年的比賽。

　　英文語(yǔ)法錯(cuò)誤診斷：有道已實(shí)現(xiàn)全面產(chǎn)品落地

　　AI作文批改技術(shù)在英語(yǔ)學(xué)習(xí)上的應(yīng)用，網(wǎng)易有道早已實(shí)現(xiàn)落地。

　　2020年年中，網(wǎng)易有道將AI作文批改功能正式落地于網(wǎng)易有道詞典App，隨后在有道精品課初中英語(yǔ)秋季系統(tǒng)班中成功應(yīng)用，用戶反饋良好。

　　近日，網(wǎng)易有道推出“有道寫作”，將原有內(nèi)嵌在網(wǎng)易有道詞典App的AI作文批改功能，延伸至網(wǎng)頁(yè)瀏覽器、Word插件、PC詞典等端口，滿足用戶的多場(chǎng)景使用需求。

　　AI作文批改受益于有道在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯任務(wù)上的多年數(shù)據(jù)積累和快速更迭的深度學(xué)習(xí)技術(shù)，使用了基于Transformer架構(gòu)的核心引擎，能夠?qū)τ脩舻挠⒄Z(yǔ)作文進(jìn)行評(píng)分、評(píng)語(yǔ)和糾錯(cuò)，有效解決了不同年齡段英語(yǔ)學(xué)習(xí)者的自助學(xué)習(xí)的需求。

　　中文難于英文：語(yǔ)文作文批改面臨更高技術(shù)壁壘

　　相比于英文，中文語(yǔ)法糾錯(cuò)任務(wù)的研究還較為早期，無(wú)論是任務(wù)本身的特點(diǎn)，還是數(shù)據(jù)的積累都與英文有較大的差異。

　　一方面，中文字符連寫，傳統(tǒng)的語(yǔ)義理解及分析的方法基本上都需要依賴于分詞等前置處理模塊，而存在錯(cuò)誤的文本會(huì)放大語(yǔ)言的歧義性，帶來(lái)基礎(chǔ)模塊識(shí)別質(zhì)量的下降；另一方面，中文的語(yǔ)法不像英文有較為嚴(yán)格的規(guī)則，相對(duì)更為隨意和復(fù)雜，不容易通過(guò)定義規(guī)則來(lái)處理。和英語(yǔ)語(yǔ)法糾錯(cuò)任務(wù)相比，比賽方能夠提供的中文訓(xùn)練數(shù)據(jù)是非常有限的，因此很難直接使用較為復(fù)雜的深度學(xué)習(xí)模型充分學(xué)習(xí)建模。

　　盡管有道AI團(tuán)隊(duì)在智能批改糾錯(cuò)方面有較長(zhǎng)時(shí)間的積累，該任務(wù)對(duì)技術(shù)團(tuán)隊(duì)來(lái)說(shuō)仍然是不小的挑戰(zhàn)。”

　　“人工智能只有通過(guò)積累足量的語(yǔ)料后，才可以理解復(fù)雜度高的語(yǔ)法錯(cuò)誤，進(jìn)而才能作為產(chǎn)品功能落地�！本W(wǎng)易有道首席科學(xué)家段亦濤表示，網(wǎng)易有道在教育和學(xué)習(xí)場(chǎng)景之下深耕多年，在OCR（光學(xué)字符識(shí)別）、NMT（神經(jīng)網(wǎng)絡(luò)翻譯）、語(yǔ)音識(shí)別技術(shù)等方面都已經(jīng)有良好的技術(shù)落地成果，且用戶口碑和體驗(yàn)一直好評(píng)不斷。

　　機(jī)器批改作文：Precision（精確率）在工程實(shí)踐中更具意義

　　值得注意的是，有道AI團(tuán)隊(duì)在本次比賽中的語(yǔ)法糾錯(cuò)項(xiàng)目中，在CorrectionTop3和CorrectionTop1綜合指標(biāo)（F1）分別獲得第1和第3名的情況下，對(duì)應(yīng)的Precision（精確率）要明顯高于其他參賽隊(duì)伍。這在教育實(shí)踐場(chǎng)景當(dāng)中對(duì)用戶體驗(yàn)更為重要。

　　比賽綜合指標(biāo)F1兼顧了Precision與Recall（召回率），作為模型精確率與召回率的一種調(diào)和平均。前者代表參賽系統(tǒng)給出的所有修改片段中，片段被正確修改的比例；后者代表在所有需要被正確修改的片段中，參賽系統(tǒng)修改的片段占的比例。

　　有道在Precision上的絕對(duì)領(lǐng)先，是源于有道AI寫作助手的設(shè)計(jì)理念：錯(cuò)誤的修改建議將誤導(dǎo)用戶進(jìn)行不正確的修改，從而大大影響用戶的體驗(yàn)。而且，在用戶本身缺乏辨別能力的業(yè)務(wù)場(chǎng)景（如：低齡兒童的教育業(yè)務(wù)）中，該問(wèn)題還會(huì)被進(jìn)一步放大。

　　因此，在英文語(yǔ)法糾錯(cuò)任務(wù)（如：CoNLL-2014和BEA-2019英文語(yǔ)法糾錯(cuò)任務(wù)）中，通常會(huì)采用F0.5作為評(píng)價(jià)指標(biāo)。該指標(biāo)的計(jì)算方法與F1指標(biāo)類似，區(qū)別在于相比于Recall，該指標(biāo)賦予了Precision更高的權(quán)重。

　　在CGED獲獎(jiǎng)之前，網(wǎng)易有道曾試水了第七屆NLPCC中的“中文語(yǔ)法錯(cuò)誤修正”共享任務(wù)比賽，斬獲冠軍。在技術(shù)優(yōu)勢(shì)積累、K12業(yè)務(wù)拓展的加持下，網(wǎng)易有道在語(yǔ)文作文修改領(lǐng)域的技術(shù)升級(jí)進(jìn)展飛速。

　　目前，網(wǎng)易有道的產(chǎn)品矩陣中已經(jīng)布局了不少針對(duì)CSL（以中文為第二語(yǔ)言）學(xué)習(xí)者的課程和應(yīng)用。段亦濤表示，除了設(shè)計(jì)面向中文學(xué)習(xí)者的學(xué)習(xí)工具，未來(lái)網(wǎng)易有道還可以與中小學(xué)校合作，實(shí)現(xiàn)輔助老師進(jìn)行作文批改等功能，進(jìn)一步擴(kuò)大有道AI技術(shù)在K12業(yè)務(wù)上的應(yīng)用場(chǎng)景。