将网站同步到 Pinecone 或 Qdrant,并仅重新嵌入已更改的块
Aurelix 开发了“网站到知识库同步”(Website to Knowledge Base Sync),这是一款付费工具,旨在高效更新用于检索增强生成(RAG)项目的向量数据库。该服务通过识别并应用网站内容的细微更改,而非要求对整个网站进行全面重新索引,解决了 RAG 系统中信息过时的常见挑战。
该工具的核心机制围绕着为内容片段或“块”生成唯一标识符。每个 chunk_id 都源自页面 URL、标题路径以及块标准化文本的哈希值。关键在于,块边界是由内容而非固定偏移量决定。这种设计确保编辑单个段落通常只会改变其特定块的 ID,而页面上其他未更改的块则保留其原始 ID,从而避免不必要的重新嵌入。
在随后的同步运行期间,系统会重新检查网站,并仅识别那些 ID 已更改(表示内容为新增或已编辑)或 ID 不再存在(表示内容已删除,主要是由于 404/410 错误)的块。这种选择性方法使工具能够生成精确的“更新插入”(update/insert)和“删除”操作清单。然后,这些操作会应用于支持的向量数据库,例如 Pinecone 或 Qdrant,或提供给用户手动应用。
这种有针对性的更新与传统的全面重新抓取形成对比,后者可能因重新处理大量未更改的数据而效率低下且成本高昂。通过仅关注实际的修改,“Website to Knowledge Base Sync”旨在保持 RAG 索引的新鲜度,同时可能降低计算开销。然而,嵌入和数据库成本会转嫁到用户自己的 OpenAI、Pinecone 或 Qdrant 账户。
分享这篇文章
相关文章
6 则
我构建了一个开源工具,让 AI 编码代理能够跨开发人员协作
We previously covered an open-source tool for AI coding agents, which shares a similar spirit of developer-focused innovation.

越南旅客现可扫描NETS二维码在新加坡付款

微信支付海外电子钱包交易量增长84%

BPC 将 SmartVista 与华为结合,推动支付现代化

