將網站同步到 Pinecone 或 Qdrant,並僅重新嵌入已變更的區塊
Aurelix 開發了「網站到知識庫同步」(Website to Knowledge Base Sync),這是一款付費工具,旨在有效率地更新用於檢索增強生成(RAG)專案的向量資料庫。此服務透過識別並應用網站內容的細微變更,而非要求對整個網站進行全面重新索引,解決了 RAG 系統中資訊過時的常見挑戰。
該工具的核心機制圍繞著為內容片段或「區塊」生成唯一識別碼。每個 chunk_id 都源自頁面 URL、標題路徑以及區塊標準化文字的雜湊值。關鍵在於,區塊邊界是由內容而非固定偏移量決定。這種設計確保編輯單一段落通常只會改變其特定區塊的 ID,而頁面上其他未變更的區塊則保留其原始 ID,從而避免不必要的重新嵌入。
在隨後的同步執行期間,系統會重新檢查網站,並僅識別那些 ID 已變更(表示內容為新增或已編輯)或 ID 不再存在(表示內容已刪除,主要是由於 404/410 錯誤)的區塊。這種選擇性方法使工具能夠生成精確的「更新插入」(update/insert)和「刪除」操作清單。然後,這些操作會應用於支援的向量資料庫,例如 Pinecone 或 Qdrant,或提供給使用者手動應用。
這種有針對性的更新與傳統的全面重新爬取形成對比,後者可能因重新處理大量未變更的資料而效率低下且成本高昂。透過僅關注實際的內容修改,「Website to Knowledge Base Sync」旨在保持 RAG 索引的新鮮度,同時可能降低計算開銷。然而,嵌入和資料庫成本會轉嫁到使用者自己的 OpenAI、Pinecone 或 Qdrant 帳戶。
分享這篇文章
相關文章
6 則
我建立了一個開源工具,讓 AI 編碼代理程式能夠跨開發人員協作
We previously covered an open-source tool for AI coding agents, which shares a similar spirit of developer-focused innovation.

越南旅客現可掃描NETS二維碼於新加坡付款

微信支付海外電子錢包交易量增長84%

BPC 將 SmartVista 與華為結合,推動支付現代化

