【必一運(yùn)動(dòng)bsport體育科技消息】9月5日,天眼查App信息顯示,華為技術(shù)有限公司申請(qǐng)的“AI模型的運(yùn)行方法、裝置、程序產(chǎn)品和存儲(chǔ)介質(zhì)”專(zhuān)利已正式公布。該專(zhuān)利于當(dāng)日公開(kāi),旨在優(yōu)化人工智能模型在異構(gòu)計(jì)算環(huán)境下的運(yùn)行效率,減少因數(shù)據(jù)搬運(yùn)導(dǎo)致的處理延遲。

根據(jù)專(zhuān)利摘要,該技術(shù)屬于機(jī)器學(xué)習(xí)領(lǐng)域,主要應(yīng)用于包含處理器與計(jì)算卡協(xié)同工作的主機(jī)系統(tǒng)。在AI模型訓(xùn)練或推理過(guò)程中,輸入數(shù)據(jù)通常分批處理。當(dāng)系統(tǒng)處理第二組數(shù)據(jù)時(shí),若其包含前一批數(shù)據(jù)中未出現(xiàn)的新數(shù)據(jù),傳統(tǒng)架構(gòu)需臨時(shí)從主機(jī)內(nèi)存調(diào)取相關(guān)嵌入向量(Embedding Vector),易造成計(jì)算卡等待,影響整體效率。
華為此次公布的方案提出了一種前瞻性的數(shù)據(jù)預(yù)取機(jī)制。具體而言,主機(jī)的處理器會(huì)先分析相鄰兩組輸入數(shù)據(jù)的差異,識(shí)別出在第二數(shù)據(jù)組中出現(xiàn)但未存在于第一數(shù)據(jù)組中的“第一數(shù)據(jù)”。隨后,系統(tǒng)提前將這部分新增數(shù)據(jù)對(duì)應(yīng)的嵌入向量預(yù)取至處理器本地的第一內(nèi)存,并生成相應(yīng)的向量信息。
關(guān)鍵在于,在計(jì)算卡處理第二組數(shù)據(jù)的同時(shí),系統(tǒng)可根據(jù)預(yù)生成的向量信息,將所需嵌入向量從主機(jī)端的第一內(nèi)存快速預(yù)取至計(jì)算卡自帶的第二內(nèi)存中。這一操作實(shí)現(xiàn)了數(shù)據(jù)搬運(yùn)與計(jì)算過(guò)程的并行化,有效避免了計(jì)算資源的空閑等待,從而顯著降低整體處理延時(shí)。
版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載
-必一運(yùn)動(dòng)bsport體育提交信息后,業(yè)務(wù)人員將盡快與您聯(lián)系
Copyright ? 2024 必一·運(yùn)動(dòng)(B-Sports)官方網(wǎng)站滬ICP備06053922號(hào)-1
首頁(yè)
必一運(yùn)動(dòng)
用微信掃一掃,關(guān)注我們?nèi)〉寐?lián)系