3 月 11 日，龍?zhí)ь^之日，零一萬物宣布成功研發(fā)其基于全導(dǎo)航圖技術(shù)打造的新型向量數(shù)據(jù)庫“笛卡爾（Descartes）”，并包攬權(quán)威榜單 ANN-Benchmarks 的 6 項數(shù)據(jù)集評測第一名。

這標(biāo)志著向量數(shù)據(jù)庫排行榜的頭號交椅再次易主。

笛卡爾包攬 6 項第一

向量數(shù)據(jù)庫，又被稱為 AI 時代的信息檢索技術(shù)，是檢索增強生成（Retrieval-Augmented Generation, RAG）內(nèi)核技術(shù)之一。

ANN-Benchmarks 是當(dāng)下業(yè)界最權(quán)威的向量數(shù)據(jù)庫性能測試工具，它可以展示不同算法在不同真實數(shù)據(jù)集下的表現(xiàn)。

在 ANN-Benchmarks 離線測試中，零一萬物笛卡爾（Descartes）向量數(shù)據(jù)庫登頂 6 份數(shù)據(jù)集評測第一名，比之前榜單上同業(yè)第一名有顯著性能提升，部分?jǐn)?shù)據(jù)集上的性能提升甚至超過 2 倍以上。

由圖可見，零一萬物向量數(shù)據(jù)庫在 6 份評測數(shù)據(jù)集中都位于最高，曲線位置越偏右上角意味著算法性能越好，笛卡爾包攬 6 項第一。

此前，榜單里六個數(shù)據(jù)集的榜首分屬于兩家廠商，而笛卡爾的包攬結(jié)束了這種“分庭抗禮”的局面，成為了大一統(tǒng)的“新王”。

關(guān)于零一萬物

零一萬物，是 2023 年初由李開復(fù)創(chuàng)辦的 AI 公司。零一萬物已經(jīng)獲得數(shù)輪融資，估值已超 10 億美元，躋身 AI 2.0 獨角獸行列。

大家對李開復(fù)也并不陌生。計算機科學(xué)家出身，他的職業(yè)生涯起步于硅谷，先后任職于微軟、谷歌等，后來創(chuàng)立了創(chuàng)新工場，以投資 AI 為人熟知。

零一萬物聚集的技術(shù)團(tuán)隊實力彪悍。團(tuán)隊成員涉及大模型技術(shù)、人工智能算法、自然語言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。聯(lián)創(chuàng)團(tuán)隊成員包含前阿里巴巴副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁，算法和產(chǎn)品團(tuán)隊背景均來自國內(nèi)外大廠。

2023 年 11 月，零一萬物曾發(fā)布首款開源中英雙語大模型“Yi”。

背后的技術(shù)揭秘

回歸本次主題。RAG 向量檢索主要解決兩大問題：一，分別是通過建立某種索引結(jié)構(gòu)，減少檢索考察的候選集。二、降低單個向量計算的復(fù)雜度。

對于第一個問題，零一萬物團(tuán)隊給出量大策略：

全導(dǎo)航圖技術(shù)。零一萬物研發(fā)的全局多層縮略圖導(dǎo)航技術(shù)，圖上坐標(biāo)系導(dǎo)航，既能保證精度，又能裁剪大量無關(guān)向量。

自適應(yīng)鄰居選擇策略，填補業(yè)界空白。零一萬物自研的自適應(yīng)鄰居選擇新策略，使每個節(jié)點可以根據(jù)自身及鄰居的分布特征動態(tài)地選取最佳鄰居邊，更快收斂接近目標(biāo)向量，從而讓 RAG 向量檢索性能提高 15%-30%。

對于“降低單個向量計算的復(fù)雜度”的問題，零一萬物采用了兩級量化方案增強 RAG。

通過用兩級量化降低計算復(fù)雜度，同時列式存儲充分利用 SIMD 的并發(fā)能力，進(jìn)一步發(fā)揮硬件能力，相比傳統(tǒng) PQ 查表，性能得到大幅提升到 2-3 倍。

還有索引結(jié)構(gòu)優(yōu)化、連通性保障等全棧向量技術(shù)方案提高笛卡爾向量數(shù)據(jù)庫的性能。

解決大模型當(dāng)下缺陷

對大模型應(yīng)用開發(fā)者來說，向量數(shù)據(jù)庫是非常重要的基礎(chǔ)設(shè)施，在一定程度上影響著大模型的性能表現(xiàn)。

比如，向量數(shù)據(jù)庫能精準(zhǔn)解決大模型當(dāng)前階段下的重要問題：

實時信息：大模型無法反應(yīng)最新的信息。向量數(shù)據(jù)庫采用輕量化更新機制，可以快速補充最新信息。

隱私保護(hù)：用戶的安全隱私數(shù)據(jù)有泄密風(fēng)險。向量數(shù)據(jù)通過在推理階段扮演信息傳遞的中間載體，破解了隱私保護(hù)的難關(guān)。

幻覺矯正：大模型常推理失真或產(chǎn)生幻覺。向量數(shù)據(jù)庫提供的豐富知識參照，有效矯正和減輕此類問題。

推理高效：大模型推理成本高，向量數(shù)據(jù)庫能夠作為一種緩存機制，避免每一次查詢請求都需要重新執(zhí)行復(fù)雜的推理計算，節(jié)省計算資源。

伴隨 AI 熱風(fēng)，向量數(shù)據(jù)庫創(chuàng)業(yè)公司也異軍突起。比如，2023 年，OpenAI 的向量數(shù)據(jù)庫合作方 Pinecone 完成了 B 輪 1.38 億美元融資，國內(nèi)初創(chuàng)企業(yè) Fabarta ArcNeural 也完成了上億元 Pre-A 輪融資。

笛卡爾將在近期亮相AI產(chǎn)品中

關(guān)于數(shù)據(jù)的重要性，有個十分形象的比喻：信息時代的數(shù)據(jù)，就是工業(yè)時代的石油。未來，向量數(shù)據(jù)庫，將成為決定大模型天花板的關(guān)鍵要素。

零一萬物笛卡爾向量數(shù)據(jù)庫目前聚焦于高性能向量數(shù)據(jù)庫，在實際應(yīng)用場景中具備超高精度、超高性能核心優(yōu)勢。

超高精度：基于多層縮略圖和坐標(biāo)系實現(xiàn)層間導(dǎo)航和圖上方位導(dǎo)航，以及圖連通性保障，實現(xiàn)精度大于 99%，相同性能下，精度大幅領(lǐng)先業(yè)內(nèi)水平。

超高性能：高效的邊選擇和裁剪技術(shù)，千萬數(shù)據(jù)庫 ms 響應(yīng)。

具體來說，高性能向量數(shù)據(jù)庫可以幫助企業(yè)客戶構(gòu)建私域知識庫、智能客服系統(tǒng)；在自動駕駛領(lǐng)域，使用高性能向量數(shù)據(jù)庫可來加速自動駕駛模型訓(xùn)練等。

零一萬物表示，笛卡爾向量數(shù)據(jù)庫將用在近期即將正式亮相的 AI 產(chǎn)品中，未來也將結(jié)合工具提供給開發(fā)者。