cVector向量計(jì)算一體機(jī)是一種面向億級以上向量計(jì)算場景的高性能向量存儲、計(jì)算一體化平臺，采用并行計(jì)算架構(gòu)，融合高密度混合服務(wù)硬件，實(shí)現(xiàn)對大規(guī)模向量數(shù)據(jù)的計(jì)算和比對，相較于通過GPU、向量數(shù)據(jù)庫進(jìn)行向量計(jì)算，cVector向量計(jì)算一體機(jī)在入庫效率、計(jì)算性能方面優(yōu)勢突出，可廣泛應(yīng)用于人工智能大模型、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域。
產(chǎn)品介紹
產(chǎn)品架構(gòu)
cVector向量計(jì)算一體機(jī)基于大數(shù)據(jù)分布式實(shí)時(shí)計(jì)算框架，結(jié)合定制化高密度計(jì)算硬件，實(shí)現(xiàn)大規(guī)模AI任務(wù)的分發(fā)與計(jì)算結(jié)果匯聚，保證計(jì)算任務(wù)執(zhí)行的高效和穩(wěn)定。其采用全量計(jì)算的方式，基于特征向量計(jì)算算法以及分布式集群處理資源調(diào)度技術(shù)，實(shí)現(xiàn)了海量特征庫條件下1：N對比任務(wù)的高效分解與并行處理，可將單個(gè)任務(wù)響應(yīng)效率提升到0.1秒級。對于通過向量數(shù)據(jù)庫軟件需要幾千個(gè)時(shí)鐘周期的向量計(jì)算，該一體機(jī)只需很少的時(shí)鐘周期即可完成。
產(chǎn)品特性
測試證明
以下是中國軟件評測中心對cVector向量計(jì)算一體機(jī)與3款主流向量數(shù)據(jù)庫在入庫速度、查詢速度、準(zhǔn)確性等維度進(jìn)行的性能測試對比。
準(zhǔn)確性
在“cVector 向量計(jì)算一體機(jī) V1.0”、向量數(shù)據(jù)庫A、向量數(shù)據(jù)庫B和向量數(shù)據(jù)庫C中存儲相同的 1000 萬條的 256 維向量數(shù)據(jù)，分別查詢與目標(biāo)向量的歐氏距離最短的 10 條向量，對比結(jié)果顯示各自返回的 10 條向量與目標(biāo)向量的距離值均相同。
測試結(jié)論
“向量計(jì)算數(shù)據(jù)庫驗(yàn)證平臺 V1.0”性能效率符合《向量計(jì)算數(shù)據(jù)庫驗(yàn)證平臺測試需求V1.0》的相關(guān)要求，在現(xiàn)場測試過程中，系統(tǒng)運(yùn)行穩(wěn)定，通過了中國軟件評測中心（工業(yè)和信息化部軟件與集成電路促進(jìn)中心）的單項(xiàng)性能測試?！?/p>
根據(jù)測試報(bào)告結(jié)果，cVector向量計(jì)算一體機(jī)在千萬級特別是億級以上規(guī)模的入庫和查詢等方面具有顯著的性能優(yōu)勢，可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量，并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本，幫助類ChatGPT等人工智能企業(yè)以更優(yōu)的性價(jià)比解決算力不足的問題。
技術(shù)規(guī)格
應(yīng)用場景
基于硬件的cVector向量計(jì)算一體機(jī)，實(shí)現(xiàn)了高效的向量數(shù)據(jù)存儲、索引和比對，與向量數(shù)據(jù)庫相比，cVector向量計(jì)算一體機(jī)入庫速度和查詢速度更快，處理規(guī)模更大，檢索結(jié)果更為精準(zhǔn)，可廣泛用于大語言模型、自然語言理解、大規(guī)模人臉識別等多種場景。
大語言模型支撐
cVector向量計(jì)算一體機(jī)將數(shù)據(jù)轉(zhuǎn)化為向量進(jìn)行保存與搜索，為大語言模型的訓(xùn)練和推理提供高效的相似性搜索能力，具備短時(shí)記憶和定向等功能，在不進(jìn)行推理的情況下直接返回結(jié)果，幫助大模型減輕訪問壓力、提升實(shí)時(shí)理解數(shù)據(jù)能力、提高輸出準(zhǔn)確性、提升服務(wù)質(zhì)量、過濾敏感內(nèi)容等，有助于解決當(dāng)前同等投入規(guī)模情況下，僅依靠GPU不足以支撐大模型推理所需算力的難題。
文本相似度計(jì)算
cVector向量計(jì)算一體機(jī)根據(jù)向量的相似度排序返回與檢索對象相近的結(jié)果，支持基于文本的快速比對。針對千萬級甚至上億量級的文本數(shù)據(jù)庫，結(jié)果返回速率達(dá)到0.1秒級，可廣泛應(yīng)用于資料查詢、專利搜索、電子病歷檢索、法律文獻(xiàn)檢索、學(xué)術(shù)文獻(xiàn)檢索、論文查重等多種場景。
圖像視頻檢索
cVector向量計(jì)算一體機(jī)能夠支持多種深度學(xué)習(xí)模型，具備對海量圖片和視頻的高性能分析檢索能力，通過訓(xùn)練可以精準(zhǔn)地提取圖片、視頻中的特征并進(jìn)行分類、打標(biāo)簽等應(yīng)用，從而輕松實(shí)現(xiàn)圖片檢索、圖片去重、視頻去重、以圖搜圖等功能。
音頻數(shù)據(jù)處理
cVector向量計(jì)算一體機(jī)支持對相關(guān)音頻切片進(jìn)行向量化處理并通過向量距離的計(jì)算，判斷其表達(dá)的含義，實(shí)現(xiàn)對語音、音樂等音頻數(shù)據(jù)的處理，可廣泛應(yīng)用于語音識別、語音驗(yàn)證、智能翻譯、會議轉(zhuǎn)錄等多個(gè)場景。
智能問答
cVector向量計(jì)算一體機(jī)支持快速入庫和存儲自然語言處理語義分析模型的語義特征向量數(shù)據(jù)，支持快速比對問題庫的向量和提問問題的語義特征向量，通過向量特征的匹配實(shí)現(xiàn)智能問答，支持智能客服、智能語音助手、醫(yī)療輔助問答等應(yīng)用場景。
個(gè)性化推薦
cVector向量計(jì)算一體機(jī)能夠?yàn)橘徫锞W(wǎng)站、視頻網(wǎng)站、新聞網(wǎng)站的推薦系統(tǒng)進(jìn)行賦能，將購物網(wǎng)站、視頻網(wǎng)站和新聞網(wǎng)站的海量數(shù)據(jù)轉(zhuǎn)化為向量后進(jìn)行快速比對，實(shí)時(shí)分析用戶的偏好和行為模式，精準(zhǔn)地為用戶推薦個(gè)性化的商品、視頻和新聞內(nèi)容，提供更加智能和準(zhǔn)確的推薦服務(wù)。
