RAG 面试笔记:检索与索引
梳理时效性召回、向量与关键词混合检索、版本过滤和增量索引等 RAG 基础问题。
强时效性内容,比如公告,新规则,新文档,新信息,需要优先召回。用户提问的时候先把近期更新鲜的数据召回。关键查询需要进行关键词的精确匹配。
实现向量+关键词联合检索,比如在遇到召回准确率较低,Top-K命中率较低的情况下,就需要从单一的向量检索基础上进行扩展。如果一个文档存在新版本和旧版本同时存在的情况,需要把召回的旧版本进行过滤,或者查到旧版本的时候在业务上自动补充查询最新版本的内容。
向量数据库有增量构建和实时索引能力,分片并行写入。在文档信息更新之后做自动测试,比如自动生成提问,验证是否可以成功召回。
什么是全量索引?