大语言模型 - 分配需求¶
本文档概述了 AgentHeaven 架构中大语言模型组件的分配需求。
1. 概述¶
大语言模型组件为各种语言模型提供统一的接口。
2. 分配需求¶
2.1 功能需求¶
ID |
需求 |
实现细节 |
优先级 |
|---|---|---|---|
FR-03 |
统一LLM接口 |
实现与提供商无关的LLM调用 |
高 |
FR-04 |
统一KV接口 |
缓存LLM响应 |
高 |
FR-09 |
多语言提示引擎 |
使用LLM执行提示 |
高 |
NFR-01 |
性能 |
优化LLM调用延迟 |
高 |
2.2 跨组件依赖¶
组件 |
描述 |
|---|---|
提示词 |
用于模板渲染 |
缓存 |
用于存储LLM交互 |
知识库基础 |
用于知识增强生成 |
3. 实现说明¶
[在此添加实现说明]
4. 待解决问题¶
[列出任何未解决的问题或疑问]
拓展阅读¶
提示: 有关 AgentHeaven 中 LLM 系统的更多信息,请参见:
主指南(Python) - LLM - 在 Python 中的 LLM 实现与用法
配置 - LLM - LLM 配置选项与设置
CLI 指南 - LLM 推理 - 命令行 LLM 推理工具
CLI 指南 - LLM 会话 - 命令行 LLM 会话管理
提示: 有关 AgentHeaven 架构的更多信息,请参见: