概述
bge-large 是由 BAAI（北京智源人工智能研究院） 开发的嵌入模型。
该模型旨在将文本映射为低维稠密向量，可广泛应用于以下任务：
此外，该模型还可以用于向量数据库（例如在大语言模型应用中）。
模型参数
- 模型架构：BERT
- 参数量：334M
- 量化：F16
- 模型大小：671MB
- 许可协议：MIT License
模型特点
- 适用场景广泛：支持从文本到向量的高效映射，适用于各种嵌入相关任务。
- 兼容向量数据库：为需要高效存储和查询的 LLM 应用提供支持。
使用方法
1. 拉取模型到本地
运行以下命令将模型拉取到本地磁盘：
ollama pull bge-large
2. 嵌入模型应用
bge-large 可以生成低维稠密向量，用于语义相关任务。可以通过 REST API、Python 或其他编程语言调用。
1. 使用 REST API
curl http://localhost:11434/api/embeddings -d '{
"model": "bge-large",
"prompt": "Map this text to a dense vector for semantic search: The quick brown fox jumps over the lazy dog"
}'
2. 使用 Python 库
ollama.embeddings(model='bge-large', prompt='Map this text to a dense vector for semantic search: The quick brown fox jumps over the lazy dog')
参考文献
@misc{bge_embedding,
title={C-Pack: Packaged Resources To Advance General Chinese Embedding},
author={Shitao Xiao and Zheng Liu and Peitian Zhang and Niklas Muennighoff},
year={2023},
eprint={2309.07597},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
总结
bge-large 模型具有以下优势：
- 多任务支持：支持检索、分类、聚类和语义搜索等任务。
- 强泛化能力：能够高效生成低维稠密向量，适配各种文本嵌入任务。
- 轻量高效：参数量为 334M，量化为 F16，模型大小为 671MB。
该模型适用于需要处理中文语义相关任务的场景，并兼容向量数据库。