麻豆国产在线尤物_麻豆文化传媒AV免费在线观看_麻豆精品免费观看_国产激情无码一区二区视频麻豆_麻豆福利视频

　　【必一運(yùn)動(dòng)bsport體育科技消息】9月5日，天眼查App信息顯示，華為技術(shù)有限公司申請(qǐng)的“AI模型的運(yùn)行方法、裝置、程序產(chǎn)品和存儲(chǔ)介質(zhì)”專(zhuān)利已正式公布。該專(zhuān)利于當(dāng)日公開(kāi)，旨在優(yōu)化人工智能模型在異構(gòu)計(jì)算環(huán)境下的運(yùn)行效率，減少因數(shù)據(jù)搬運(yùn)導(dǎo)致的處理延遲。

　　根據(jù)專(zhuān)利摘要，該技術(shù)屬于機(jī)器學(xué)習(xí)領(lǐng)域，主要應(yīng)用于包含處理器與計(jì)算卡協(xié)同工作的主機(jī)系統(tǒng)。在AI模型訓(xùn)練或推理過(guò)程中，輸入數(shù)據(jù)通常分批處理。當(dāng)系統(tǒng)處理第二組數(shù)據(jù)時(shí)，若其包含前一批數(shù)據(jù)中未出現(xiàn)的新數(shù)據(jù)，傳統(tǒng)架構(gòu)需臨時(shí)從主機(jī)內(nèi)存調(diào)取相關(guān)嵌入向量（Embedding Vector），易造成計(jì)算卡等待，影響整體效率。

　　華為此次公布的方案提出了一種前瞻性的數(shù)據(jù)預(yù)取機(jī)制。具體而言，主機(jī)的處理器會(huì)先分析相鄰兩組輸入數(shù)據(jù)的差異，識(shí)別出在第二數(shù)據(jù)組中出現(xiàn)但未存在于第一數(shù)據(jù)組中的“第一數(shù)據(jù)”。隨后，系統(tǒng)提前將這部分新增數(shù)據(jù)對(duì)應(yīng)的嵌入向量預(yù)取至處理器本地的第一內(nèi)存，并生成相應(yīng)的向量信息。

　　關(guān)鍵在于，在計(jì)算卡處理第二組數(shù)據(jù)的同時(shí)，系統(tǒng)可根據(jù)預(yù)生成的向量信息，將所需嵌入向量從主機(jī)端的第一內(nèi)存快速預(yù)取至計(jì)算卡自帶的第二內(nèi)存中。這一操作實(shí)現(xiàn)了數(shù)據(jù)搬運(yùn)與計(jì)算過(guò)程的并行化，有效避免了計(jì)算資源的空閑等待，從而顯著降低整體處理延時(shí)。

版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載