999精品,丝袜综合,大陆老熟妇性,中国老女人AV,亚洲精品国产第一区二区三区

如何將人類知識(shí)注入預(yù)訓(xùn)練模型，讓知識(shí)和數(shù)據(jù)有機(jī)融合，一直是AI研究中的難題。

近日，達(dá)摩院首次利用半監(jiān)督學(xué)習(xí)將標(biāo)注的人類知識(shí)注入預(yù)訓(xùn)練對話模型，在MultiWOZ2.1等三個(gè)國際主流對話數(shù)據(jù)集中均實(shí)現(xiàn)了最佳效果，提升幅度明顯，為知識(shí)和數(shù)據(jù)融合探索出新路徑。

達(dá)摩院新模型在三大國際數(shù)據(jù)集上的表現(xiàn)

01

什么是預(yù)訓(xùn)練模型

預(yù)訓(xùn)練模型是AI近年來重要的發(fā)展趨勢，其打破了傳統(tǒng)模型通用性差的制約，可做到舉一反三，解決多種任務(wù)。

常見的預(yù)訓(xùn)練模型有預(yù)訓(xùn)練語言模型，可以出題讓AI寫高考作文；預(yù)訓(xùn)練多模態(tài)模型，可以給到文字讓AI生成圖片。

而預(yù)訓(xùn)練對話模型還需要考慮對話過程中的策略，如：對話輪次、上下文情境、對話人員的角色等，以便理解對方意圖并做出恰當(dāng)回復(fù)。

打個(gè)比方，在凌晨時(shí)分提問AI“明天天氣如何”，AI根據(jù)理解作出的回答通常是當(dāng)日天亮后的天氣，而非客觀事實(shí)上的“明天”。

對話特有的屬性總結(jié)

經(jīng)過快速發(fā)展，業(yè)內(nèi)已成功構(gòu)建出萬億參數(shù)的大模型。但不少研究者認(rèn)為，數(shù)據(jù)量只是一方面，如果能將人類知識(shí)有機(jī)注入預(yù)訓(xùn)練模型，AI有望像人類一樣思考。

不過，這并不容易。由于知識(shí)數(shù)量級遠(yuǎn)小于無標(biāo)注數(shù)據(jù)，簡單混合容易導(dǎo)致知識(shí)被淹沒，或者出現(xiàn)嚴(yán)重的過擬合。

02

AI模型的基本訓(xùn)練方法

目前，預(yù)訓(xùn)練模型的主流訓(xùn)練方法還是以有監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)為主，半監(jiān)督學(xué)習(xí)更多是配合有監(jiān)督學(xué)習(xí)，用于減少數(shù)據(jù)標(biāo)注、降低成本等場景。

有監(jiān)督預(yù)訓(xùn)練：存在有標(biāo)數(shù)據(jù)進(jìn)行指導(dǎo)，所學(xué)出的特征對某些相關(guān)下游任務(wù)更加適配，但是卻嚴(yán)重依賴人工標(biāo)注；

自監(jiān)督預(yù)訓(xùn)練：可不再受到人工標(biāo)注的局限，利用海量無標(biāo)數(shù)據(jù)進(jìn)行學(xué)習(xí)，但學(xué)習(xí)成果更多是普適的語義表示。

半監(jiān)督預(yù)訓(xùn)練：從遷移學(xué)習(xí)的角度來看，可以認(rèn)為是一個(gè)前兩種范式的自然延伸，可以充分利用有限的標(biāo)注知識(shí)和大量的無標(biāo)數(shù)據(jù)。

此次，達(dá)摩院研究人員將半監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)進(jìn)行融合，在預(yù)訓(xùn)練對話模型中實(shí)現(xiàn)了這一創(chuàng)新工作，相關(guān)論文已被AAAI2022接收。

半監(jiān)督使用示意圖

03

達(dá)摩院的半監(jiān)督預(yù)訓(xùn)練建模方案

構(gòu)建知識(shí)庫：

達(dá)摩院構(gòu)建了目前最大的對話動(dòng)作標(biāo)簽知識(shí)庫，用于刻畫對話策略，總量達(dá)97萬輪次；

SPACE 1.0模型：

此外，達(dá)摩院還設(shè)計(jì)了新型預(yù)訓(xùn)練對話模型SPACE 1.0，采用 encoder+decoder 架構(gòu)，預(yù)訓(xùn)練的目標(biāo)既包含了傳統(tǒng)的建模對話理解和對話生成的自監(jiān)督 loss，也包含了建模對話策略的半監(jiān)督 loss。

達(dá)摩院使用的半監(jiān)督訓(xùn)練方法

新模型在斯坦福 In-Car，劍橋MultiWOZ2.0和亞馬遜 MultiWOZ2.1這三個(gè)國際主流對話數(shù)據(jù)集上均實(shí)現(xiàn)了SOTA（最佳效果），部分提升超過5%，幅度較大。

在具體案例中，新模型能夠更準(zhǔn)確預(yù)測出對話動(dòng)作，能夠更好和人類進(jìn)行對話，避免答非所問。

一輪完整的對話過程

達(dá)摩院資深算法專家李永彬表示，這項(xiàng)工作還只是起步，如何將更多的人類標(biāo)注知識(shí)通過半監(jiān)督的方式注入到預(yù)訓(xùn)練模型中、如何讓模型自動(dòng)選擇合適的知識(shí)、如何更好評價(jià)知識(shí)注入的效果，還需要體系化的探索和創(chuàng)新。

目前，SPACE 1.0模型已應(yīng)用于阿里云智能客服等產(chǎn)品，對外輸出服務(wù)客戶。據(jù)艾瑞咨詢最近發(fā)布的《2022年中國對話式AI行業(yè)發(fā)展白皮書》，阿里云智能客服已領(lǐng)跑中國對話式AI行業(yè)。