作者:Jay Shah
日期:2024 年 12 月 4 日
像所有组织一样,Elastic 需要处理不断增长的信息和数据量,这使得我们的团队更难保持信息更新,也让员工更难从相关资源中找到答案。
作为一家领先的搜索 AI 公司,我们以客户为先的方法始于“零号客户”——我们自己。当我们的员工需要一种更好的方式来查找完成工作所需的信息时,我们知道我们可以使用自己的技术来实现这一愿景。
时至今日,我们已经推出了内部生成式 AI 助手 ElasticGPT,它可以帮助员工快速找到相关信息并提高工作效率。它运行在 Elastic Search AI Platform 上,并使用我们的向量数据库、Elastic Cloud 部署、Elasticsearch、Elastic Observability 和企业连接器。它还通过检索增强生成 (RAG) 技术使用我们的专有数据,为答案添加上下文和相关性。
AI 之旅的起点
Elastic 的 IT 团队在加速技术计划方面发挥着基础性作用。在过去的 18 个月中,重点一直放在在整个组织中启用生成式 AI 技术以提高员工效率。这包括几个自主开发的生成式 AI 工具和功能,以及添加到我们企业产品中的新兴创新。
在整个过程中,多个业务部门共同确定了使用生成式 AI 改善员工体验的机会,但随着我们在这个领域的不断发展,也出现了一些问题,其中包括:
- Elasticsearch 如何与生成式 AI 结合,使员工更容易在我们的企业数据源和系统中查找信息?
- 我们如何在维护安全性和机密性的同时,将私有公司信息与大型语言模型 (LLM) 的强大功能结合起来,以生成相关结果?
- 我们能否构建一个可扩展的解决方案,作为多个用例的平台,同时让我们能够灵活地使用多个 LLM?我们如何通过在整个组织中以托管服务的形式提供这项服务来促进特定领域的创新?
- 我们如何通过引入自助式工作流程来解决耗时且冗余的请求,从而提高各个团队的效率?
- 我们如何通过优化支出、管理风险和减少工具蔓延来避免技术债务?
我们的核心目标很简单:使用 Elastic Search AI Platform 构建一个内部的、私有的和安全的生成式 AI 工具,使所有 Elastic 员工都能受益于信息检索和知识发现。
考虑到我们就是 Elastic,我们知道 Elasticsearch 的产品功能将如何补充我们想要实现的 AI 功能。即便如此,眼前的挑战是集中精力研究最具影响力的用例,定义我们的数据战略,并始终专注于我们的核心愿景。
构建我们的数据战略
我们的目标是构建一个使所有 Elastic 员工受益的解决方案,因此我们知道我们需要从检查哪些数据源将进入我们的最小可行产品 (MVP) 开始。我们将其缩小到两个标准:1) 数据源应包含使所有员工受益的详细信息,以及 2) 数据需要是最新的,以便在输出中检索相关的实时信息。我们的 MVP 最终确定了两个数据源:
- Confluence 数据:我们的内部 Confluence 站点 Elastic Wiki 是一个全面的内部资源,涵盖与 Elastic 相关的所有内容,包括有关我们的产品、团队、技术、流程、政策和公司文化的详细信息。
- ServiceNow 数据:我们使用 ServiceNow 知识文章来帮助解决各种主题的问题,例如政策、使用说明、故障排除技巧以及向 IT 和 HR 等团队请求支持。
确定这两个数据源很简单,但治理并非易事。为什么?与大多数拥有 PB 级数据的组织一样,我们在不同位置拥有大量信息,并且我们对数据的准确性没有信心。解决这个多维问题至关重要,以确保响应的质量不会受到“脏”或“嘈杂”数据的不利影响。
为了应对数据挑战,我们开发了一个循序渐进的框架:
- 步骤 1:捕获和组织数据。这需要清点我们的数据源,组织我们的信息,并定义如何以及在何处使用这些数据。
- 步骤 2:确保数据的准确性和相关性。我们必须定义哪些信息是可靠的,因此我们构建了数据标准,将信息分类为“过时”(例如,一段时间未更新的信息、没有所有者的工件),并提出了存档或更新这些过时信息的计划。这对于确保我们基于 RAG 的方法和架构的成功至关重要。RAG 可以通过主动跨数据源检索最新和最相关的信息来回答查询,从而管理冲突信息。关注我们的数据质量使我们能够确保查询答案的可靠性和可信性。
- 步骤 3:为未来做好准备。虽然我们计划从两个数据源开始,但我们知道随着时间的推移,数据源会增加。及早建立我们的数据治理框架将有助于我们随着规模的扩大而更快地发展。
提示:投资构建正确的数据战略和治理对于确保数据的质量和相关性至关重要,从而获得更准确和可靠的输出。明确定义的数据战略还可以帮助管理数据隐私和合规性,这对于维护用户信任和遵守法规要求至关重要。当您扩展工具或生成式 AI 程序时,这一点至关重要,因为它为您将要或不会纳入的功能提供了框架。
一旦我们在核心团队和利益相关者之间达成一致,我们就开始构建我们的概念验证,这将使我们能够根据我们的源代码宗旨“Progress, SIMPLE Perfection”进行试验、迭代和快速行动。
认识 ElasticGPT
ElasticGPT——我们基于 RAG 框架构建的生成式 AI 员工助手——旨在帮助 Elastic 员工从自然语言查询中检索相关信息,并提供有效的方法来总结日常任务的信息。凭借两个主要的专有数据源以及来自我们内部工具(Confluence 和 ServiceNow)的公司范围的信息,用户可以轻松找到答案,而不必在多个来源中搜索信息。
过去,像 John 这样的人会花费他(通常还有其他人)的时间试图快速找到信息。
过去的状态:Elastic 员工效率低下
但现在,John 使用 ElasticGPT 进行自助服务并查找信息。
Elasticsearch 解决方案简介查询
借助 ElasticGPT,像 John 这样的人现在可以快速访问信息和答案,而无需花费太多时间查找信息或联系多个 Elastic 员工,从而节省他和其他人专注于更具战略意义的工作的时间。
ElasticGPT 背后的技术
ElasticGPT 由构建在 Elastic Search AI Platform 上的多种产品和功能提供支持。这包括 Elasticsearch、向量数据库、语义搜索、企业连接器、Elastic Observability、应用程序性能监控 (APM) 和 Kibana。这些功能中的每一个都在开发和监控 ElasticGPT 中发挥着特殊作用,并使我们能够使用 RAG 技术来构建一个可靠且准确的解决方案,以安全地使用机密和专有数据。Elastic Search AI Platform 上的这些功能现在被称为 Elastic AI 生态系统。
我们企业产品中的每个 Search AI Platform 功能在构建此解决方案中都发挥着至关重要的作用:
- Elastic Cloud:我们的 IT 组织使用 Google Cloud Platform (GCP) 和 Microsoft Azure 服务来支持现有基础设施。我们在 GCP 上使用 Elastic Cloud 来构建 ElasticGPT。
- 企业连接器:我们使用托管连接器将数据源(Confluence 和用于 ServiceNow 的 BigQuery)提取到 Elastic 中。
- Elasticsearch:使用 Elasticsearch 作为向量数据库,我们可以通过“分块”过程轻松分解数据,以帮助生成式 AI 处理大量数据并提供有效的响应。借助语义搜索和向量搜索,我们可以有效地检索与对话上下文最相关的答案。借助 Elasticsearch 的存储功能,我们可以实时存储所有对话和相关元数据,例如时间戳和用户反馈。
- Elastic Observability:使用我们的 Elastic Observability 堆栈,我们实施了 APM 来跟踪 ElasticGPT 的性能和运行状况。这包括捕获响应时间、错误率和资源利用率,以帮助我们识别和解决影响用户体验的瓶颈。
- 信息安全:为了确保我们的数据安全并符合我们的安全策略,我们实施了强大的安全措施,包括所有 Elastic 员工的 SSO 身份验证。
- Kibana:通过访问 APM 的真实用户监控 (RUM) 数据,我们可以收集指标——例如用户参与度、总对话次数、失败次数、报告的聊天次数、模型使用情况和其他关键详细信息——来跟踪 ElasticGPT 的使用情况、性能和其他 KPI。
在构建 ElasticGPT 时,我们使用了 Microsoft Azure OpenAI 订阅将 LLM(例如 GPT-4o 和 GPT-4o-mini)集成到我们的解决方案中。Elasticsearch 检索查询上下文,然后将其传递给这些 LLM,使它们能够生成高度相关且可读的文本答案。Elasticsearch 还使存储每次交互的附加上下文变得很容易,包括使用的特定 LLM 模型、对话线程、源引用和用户反馈。
通过在 Kubernetes 上进行部署,我们能够利用基于需求的自动扩展、零停机部署以及通过 Elastic Observability 进行的全面监控来确保可扩展性和可靠性。
改变我们的工作方式
在 ElasticGPT 的第一阶段,全球的 Elastic 员工正在使用生成式 AI 体验来查找相关信息。自推出以来的前 90 天,我们使用 ElasticGPT 成功回答了近 1 万个查询,并且根据聊天反馈获得了 99% 的满意度。ElasticGPT 的业务影响通常取决于具体情况。然而,在整个组织中,Elastic 员工都能够通过这种自助服务体验来提高效率。这不仅有助于减少整个组织中冗余的问题或请求,还可以减少共享服务团队(例如 HR 和 IT)的支持票数量。
在许多用例中,员工将此工具作为其日常工作流程的一部分,以总结信息、分析数据集、生成草稿并激发他们的创造力。以下是我们从整个组织的早期使用中看到的一些具体用例:
- 产品支持:新员工使用 ElasticGPT 了解我们的产品和功能,而现有员工则可以了解 Elastic 的创新速度,尤其是新版本和发布。
在市场营销团队工作时,我开始使用 ElasticGPT 来验证编写内容时特定产品功能的技术能力。
——产品营销
- 人力资源、IT、法务和公司信息:用户可以提出诸如“我如何请求访问特定工具?”、“我在哪里可以找到我的福利信息?”、“我们的差旅和费用政策是什么?”或“我们十二月的节日聚会在什么时候?”之类的问题。
我的团队中有人结婚了,需要更改她的姓氏。我使用 ElasticGPT 查找了如何使用她的姓名更改来更新她的 Elastic 福利。
——法律运营
- 销售运营:我们销售组织的用户正在使用 ElasticGPT 来查找和更好地了解我们的销售动向、流程和关键联系人。用户可以找到行动手册,并在何时与辅助团队互动以及哪些资源可用方面做出明智的决策。支持销售团队(例如交易案头或订单运营)也使用 ElasticGPT 来完成内部流程。
我经常看到针对特定目标细分市场的新销售动向。使用 ElasticGPT 了解最新最好的材料非常容易。
——客户经理
- 分析:我们已经看到多个 ElasticGPT 聊天,其中团队使用 ElasticGPT 来总结大型文章或数据集。
我们还观察到启用 ElasticGPT 时的飞轮效应。当员工在回复中遇到过时的信息时,他们会采取行动更新或通知内容所有者。这会自然地改进我们的知识库,使我们能够使用更多更新的信息,并使 ElasticGPT 更可靠。
下一步是什么?
在我们评估生成式 AI 路线图的下一步,特别是 ElasticGPT 时,我们正从以下几个方面进行思考:
- 扩展我们的知识库:我们正在寻求向我们的知识库添加增量数据源,以提供对更广泛信息的访问。
- 使用托管 API 服务进行扩展:基于我们的“中心着陆点”方法,我们希望使我们的业务组更容易开始使用生成式 AI。我们正在开发一项托管 API 服务,团队可以使用该服务在此领域进行试验。
- 构建特定功能的体验:我们计划添加专门的内部模型,以支持特定功能的用例,例如在财务和法律领域使用我们 Elastic 推理 API 的不同模型。这允许访问针对特定功能的微调模型和开箱即用的选项,确保灵活性和精确性以满足不同的业务需求。
- 纳入自动化:我们计划看看如何将代理工作流自动化纳入手动和例行任务中,并使用预定义的目标。
在您的工作流程中拥抱生成式 AI
正在考虑为您的工作场所构建生成式 AI 工具?成功的发布需要规划和准备。在您开始构建之前,您的组织应定义一套关于如何以及在何处安全使用生成式 AI 工具的指南和框架。这些指南概述了重要原则,例如确保保护敏感数据以及考虑所创建材料的版权等方面。
生成式 AI 工具可以是强大的资产,但它们也带来了一系列新的风险,应予以考虑。预先建立您的指南、数据战略和框架将有助于您围绕您将要做什么以及您不会做什么进行讨论。换句话说,您将能够定义哪些功能和数据源将在您的构建范围内,以及如何使用这些输出。
使用我们的 AI Playground 可以轻松开始使用 Elastic 的生成式 AI 功能。您可以使用 LLM 解锁强大的生成式 AI 功能,并可免费试用 14 天。测试提取您的数据,构建概念验证,并测试 Elastic 的机器学习和 RAG 功能。实时、大规模地在任何云(或多云)中部署任何数据。
深入了解如何在您的组织中实施生成式 AI 或在 AI Playground 中开始使用。
此博文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。
在此博文中,我们可能已经使用或引用了第三方生成式 AI 工具,这些工具由其各自的所有者拥有和运营。Elastic 对第三方工具没有任何控制权,我们对其内容、操作或使用概不负责,也不对因您使用此类工具而可能造成的任何损失或损害负责。使用 AI 工具处理个人、敏感或机密信息时请务必小心。您提交的任何数据都可能用于 AI 培训或其他目的。我们不保证您提供的信息将得到安全或保密。您在使用任何生成式 AI 工具之前,应熟悉其隐私惯例和使用条款。
Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。