此功能处于技术预览阶段，可能会在未来的版本中更改或删除。Elastic 将努力修复任何问题，但技术预览版中的功能不受正式 GA 功能的支持 SLA 的约束。
本概述重点介绍语义重排序的高级概念和用例。有关如何在 Elasticsearch 中设置和使用语义重排序的完整实现细节，请参阅搜索 API 文档中的参考文档。
重排序器提高了早期检索机制结果的相关性。语义重排序器使用机器学习模型根据搜索结果与查询的语义相似性对它们重新排序。
语义重排序需要相对较大且复杂的机器学习模型，并实时响应查询。这种技术适用于少量 top-k 结果集，作为流水线中的最后步骤之一。这是一种强大的技术，可以提高搜索相关性，并且同样适用于关键字、语义或混合检索算法。
接下来的部分将详细介绍语义重排序的优势、用例和使用的模型类型。最后几节包括如何在 Elasticsearch 中实现语义重排序的实用高级概述以及完整参考文档的链接。
用例
语义重排序支持多种用例：
词汇（BM25）检索结果重排序
- 通过向任何词汇/BM25 检索流水线添加简单的 API 调用，即可实现开箱即用的语义搜索。
- 在现有索引之上添加语义搜索功能，无需重新索引，非常适合快速改进。
- 适用于具有复杂现有索引的环境。
语义检索结果重排序
- 使用更强大的模型改进来自使用 ELSER 稀疏向量嵌入或密集向量嵌入的语义检索器的结果。
- 使用倒数秩融合 (RRF) 在混合检索之上添加细化层。
一般应用
- 支持自动和透明分块，无需在索引时进行预分块。
- 在检索增强生成 (RAG) 用例或其他涉及语言模型 (LLM) 输入的场景中，提供对文档相关性的显式控制。
现在我们已经概述了语义重排序的价值，我们将探讨支持此过程的特定模型以及它们之间的区别。
交叉编码器和双编码器模型
在高级别，语义重排序使用两种模型类型：交叉编码器和双编码器。
在此版本中，Elasticsearch 仅支持交叉编码器进行语义重排序。
交叉编码器模型可以被认为是更强大的多合一解决方案，因为它生成查询感知的文档表示。它将查询和文档文本作为单个连接的输入。
双编码器模型将文档或查询文本作为输入。文档和查询嵌入是单独计算的，因此它们彼此不了解。
要计算排名分数，需要进行外部操作。这通常涉及计算查询和文档嵌入之间的点积或余弦相似度。
简而言之，交叉编码器提供高精度，但资源密集型更高。双编码器速度更快，成本效益更高，但精度较低。
在未来版本中，Elasticsearch 也将支持双编码器。如果您对交叉编码器和双编码器之间的实际差异进行更详细的分析感兴趣，请取消切换下一节。
Elasticsearch 中的语义重排序
在 Elasticsearch 中，语义重排序器是使用 Elasticsearch 推理 API 和检索器实现的。
要在 Elasticsearch 中使用语义重排序，您需要：
选择并配置重排序模型。您有以下选项：
通过推理 API 的 Elasticsearch 服务使用 Elastic Rerank 交叉编码器模型。
使用 Cohere Rerank 推理端点创建重排序端点。
使用 Google Vertex AI 推理端点创建重排序端点。
使用 Eland 从 Hugging Face 上传模型到 Elasticsearch。使用 Eland 加载模型时，您需要使用 text_similarity NLP 任务类型。然后使用 rerank 端点类型设置 Elasticsearch 服务推理端点。
请参阅 Elastic NLP 模型参考，了解 Elasticsearch 支持的用于语义重排序的第三方文本相似性模型列表。
使用 Elasticsearch 推理 API 创建重排序端点。推理 API 创建一个推理端点，并将您选择的机器学习模型配置为执行重排序任务。
在搜索请求中定义 text_similarity_reranker 检索器。检索器语法可以轻松地在单个 API 调用中配置搜索结果的检索和重排序。
示例搜索请求与语义重排序器
以下示例显示了一个使用语义重排序器的搜索请求，该请求根据文档与查询的语义相似性对top-k文档重新排序。
POST _search
{
"retriever": {
"text_similarity_reranker": {
"retriever": {
"standard": {
"query": {
"match": {
"text": "How often does the moon hide the sun?" // 查询语句，用于初始检索
}
}
}
},
"field": "text", // 用于重排序的文本字段
"inference_id": "elastic-rerank", // 推理模型的ID，这里使用了Elastic的重排序模型
"inference_text": "How often does the moon hide the sun?", // 传递给推理模型的文本，通常与查询语句相同
"rank_window_size": 100, // 重排序窗口大小，指定对前100个结果进行重排序
"min_score": 0.5 // 最小分数阈值，低于此分数的文档将被过滤掉
}
}
}
- 阅读检索器参考文档以了解语法和实现细节
- 了解更多关于检索器抽象的信息
- 了解更多关于 Elastic 推理 API 的信息
- 查看我们关于将 Cohere 与 Elasticsearch 结合使用的 Python 笔记本