云創(chuàng)大數(shù)據(jù)cVector向量計(jì)算一體機(jī)自推出以來(lái),收獲行業(yè)好評(píng)不斷,多家企事業(yè)單位向云創(chuàng)大數(shù)據(jù)表達(dá)了合作意向。為了讓更多單位體驗(yàn)并感受cVector向量計(jì)算一體機(jī)的不俗實(shí)力和創(chuàng)新特性,現(xiàn)正式將cVector向量計(jì)算一體機(jī)進(jìn)行開(kāi)放。
在開(kāi)放測(cè)試中,用戶可選擇“隨機(jī)生成”和“隨機(jī)選取”兩種方式,基于5億、1億、5千萬(wàn)、1千萬(wàn)數(shù)據(jù)量,即可體驗(yàn)在極短的時(shí)間內(nèi),cVector向量計(jì)算一體機(jī)如何高效、快速完成比對(duì)。歡迎用電腦訪問(wèn)http://xl.cstor.cn體驗(yàn)!
cVector向量計(jì)算一體機(jī)是一種面向億級(jí)以上向量計(jì)算場(chǎng)景的高性能向量存儲(chǔ)、計(jì)算一體化平臺(tái),采用并行計(jì)算架構(gòu),融合高密度混合服務(wù)硬件,實(shí)現(xiàn)對(duì)大規(guī)模向量數(shù)據(jù)的計(jì)算和比對(duì),相較于通過(guò)GPU、向量數(shù)據(jù)庫(kù)進(jìn)行向量計(jì)算,cVector向量計(jì)算一體機(jī)在入庫(kù)效率、計(jì)算性能方面優(yōu)勢(shì)突出,可廣泛應(yīng)用于人工智能大模型、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域。
cVector向量計(jì)算一體機(jī)通過(guò)發(fā)揮高性能硬件、向量加速算法和并行計(jì)算算法的合力,致力于滿足億級(jí)乃至百億千億向量規(guī)模的大模型推理應(yīng)用向量計(jì)算需求。
cVector向量計(jì)算一體機(jī)
cVector向量計(jì)算一體機(jī)的使用方式與向量數(shù)據(jù)庫(kù)基本一致,支持批量、追加入庫(kù),支持向量間歐式距離、余弦距離等向量計(jì)算,支持網(wǎng)頁(yè)、命令調(diào)用、Python庫(kù)等方法,但在向量的入庫(kù)和比對(duì)計(jì)算上具有驚人的性能。
cVector向量計(jì)算一體機(jī)架構(gòu)圖
近期, cVector向量計(jì)算一體機(jī)接受了工信部直屬的國(guó)家一級(jí)科研事業(yè)單位中國(guó)軟件評(píng)測(cè)中心的鑒定測(cè)試。中國(guó)軟件評(píng)測(cè)中心對(duì)比測(cè)試了cVector向量計(jì)算一體機(jī)與3款主流向量數(shù)據(jù)庫(kù)在入庫(kù)速度、查詢速度、準(zhǔn)確性等維度的性能對(duì)比。
在入庫(kù)性能方面,同樣入庫(kù)3000萬(wàn)條256 維向量數(shù)據(jù),在向量數(shù)據(jù)庫(kù)中最快的是A,入庫(kù)速度是4851.97s,cVector向量計(jì)算一體機(jī)是1202.91s,入庫(kù)速度約是向量數(shù)據(jù)庫(kù)A的4倍,向量數(shù)據(jù)庫(kù)C的50倍,向量數(shù)據(jù)庫(kù)B的113倍;當(dāng)入庫(kù)數(shù)據(jù)達(dá)到1億條時(shí),向量數(shù)據(jù)庫(kù)A的入庫(kù)速度是17295.49s,cVector向量計(jì)算一體機(jī)是4484.55s,入庫(kù)速度約是前者的3.9倍。
入庫(kù)性能比對(duì)
在查詢性能方面,同樣查詢1億條256 維向量數(shù)據(jù),向量數(shù)據(jù)庫(kù)A的查詢速度是512.8s,cVector向量計(jì)算一體機(jī)是0.27s,查詢速度是前者的1899倍,而其他兩家測(cè)試向量數(shù)據(jù)庫(kù)由于數(shù)據(jù)量太大無(wú)法入庫(kù)比較。
查詢性能對(duì)比
在準(zhǔn)確性方面,cVector 向量計(jì)算一體機(jī)、向量數(shù)據(jù)庫(kù)A、向量數(shù)據(jù)庫(kù)B和向量數(shù)據(jù)庫(kù)C的數(shù)據(jù)準(zhǔn)確度一致,通過(guò)了中國(guó)軟件評(píng)測(cè)中心(工業(yè)和信息化部軟件與集成電路促進(jìn)中心)單項(xiàng)性能測(cè)試。
cVector向量計(jì)算一體機(jī)在億級(jí)乃至百億千億向量規(guī)模的的入庫(kù)和查詢等方面具有顯著的性能優(yōu)勢(shì),可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量,并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本,助力類ChatGPT等人工智能企業(yè)以更優(yōu)的性價(jià)比解決算力不足的問(wèn)題。
在具體應(yīng)用方面,對(duì)于生成式AI相關(guān)企業(yè),cVector向量計(jì)算一體機(jī)主要面向大模型推理應(yīng)用,能夠在下述大模型推理環(huán)節(jié)發(fā)揮顯著作用:
①提高生成式AI的輸出準(zhǔn)確性。由于大模型的輸出結(jié)果是根據(jù)概率推理而成,所以會(huì)出現(xiàn)“一本正經(jīng)說(shuō)胡話”的情形。可以將可信來(lái)源的數(shù)據(jù)轉(zhuǎn)化成向量數(shù)據(jù)存儲(chǔ)在向量計(jì)算一體機(jī)中,校準(zhǔn)大模型推理輸出的結(jié)果,從而使大模型輸出的結(jié)果更加準(zhǔn)確。
②提升大模型理解互聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)的能力。大模型基于歷史數(shù)據(jù)訓(xùn)練而成,所以“只知道過(guò)去,不知道現(xiàn)在”。如果使用向量計(jì)算一體機(jī)存儲(chǔ)海量實(shí)時(shí)數(shù)據(jù)所轉(zhuǎn)化成的向量數(shù)據(jù),可以幫助大模型理解掌握實(shí)時(shí)情況。
③提升大模型對(duì)用戶的服務(wù)質(zhì)量。向量計(jì)算一體機(jī)可以允許用戶上傳更多的數(shù)據(jù),讓大模型掌握用戶個(gè)性化的背景資料,更好地學(xué)習(xí)理解用戶請(qǐng)求,更好地結(jié)合用戶的實(shí)際情況回答問(wèn)題。
④減輕大模型的訪問(wèn)壓力。用戶所提的大部分問(wèn)題都是相似的常見(jiàn)問(wèn)題,向量計(jì)算一體機(jī)可以緩存大量熱點(diǎn)問(wèn)題,不需要經(jīng)過(guò)大模型推理即可返回結(jié)果,從而大幅減少算力成本。
⑤幫助生成式AI過(guò)濾敏感內(nèi)容。怎么防止生成式AI說(shuō)錯(cuò)話一直是一個(gè)挑戰(zhàn)性問(wèn)題,而向量計(jì)算一體機(jī)可以存放敏感內(nèi)容所對(duì)應(yīng)的向量數(shù)據(jù),在用戶提出請(qǐng)求時(shí)加以判斷,盡可能防止AI對(duì)敏感問(wèn)題做出不恰當(dāng)?shù)幕貞?yīng)。
cVector向量計(jì)算一體機(jī)能夠廣泛應(yīng)用于人工智能領(lǐng)域中生成式AI的推理應(yīng)用場(chǎng)景,為各類生成式AI企業(yè)提供高性價(jià)比的產(chǎn)品和解決方案,大幅增加大模型平臺(tái)的競(jìng)爭(zhēng)力,歡迎各大企事業(yè)單位試用。
聯(lián)系方式:
單先生 13770311887(微信同號(hào))