SpringAI 接入 Ollama 使用记录

default

SpringAI

支持的内容

Spring AI 目前支持将输入和输出处理为语言、图像和音频的模型。

图 0

结构化输出 json

AI 模型的输出传统上以字符串的形式出现,即使您要求回复为 JSON 格式,结果也不是 100% 准确的。

这种复杂性导致了一个专业领域的出现,涉及创建提示以产生预期输出,然后将生成的简单字符串转换为用于应用程序集成的可用数据结构。

图 1

将手头的数据加入到模型中

有三种技术可用于自定义 AI 模型以融合手头的数据。

微调模型

这种传统的机器学习技术涉及定制模型并更改其内部权重。 然而,对于机器学习专家来说,这是一个具有挑战性的过程,并且由于其规模,对于 GPT 等模型来说,这是一个极其资源密集型的过程。此外,某些型号可能不提供此选项。

RAG(检索增强生成)

更实用的替代方案是将数据嵌入提供给模型的提示中。鉴于模型的标记限制,需要技术在模型的上下文窗口中呈现相关数据。 这种方法通俗地称为“填充提示”。 Spring AI 库可帮助您实现基于“填充提示”技术(也称为检索增强生成 (RAG))的解决方案。

图 2

工具调用

此技术允许注册将大型语言模型连接到外部系统 API 的工具(用户定义服务)。 Spring AI 极大地简化了您需要编写的代码以支持工具调用。

搭建 SpringAI 项目

Gear(夕照)的博客。记录开发、生活,以及一些不足为道的思考……