集思乐的本地化AI训练方案包括3个部分,LLMS模型服务器、NAS和调用端,LLMS服务器提供模型处理,NAS安装dify或类似工具,存储训练样本,最终提供给各类调用终端,整个过程无需连接互联网,不存在数据外泄的可能。

Dify是一款生成式 AI 应用创新引擎,可以提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力,轻松构建和运营生成式 AI 原生应用,提供强大的工作流、知识库、数据库等能力。RuyiNAS的应用模块预置了Dify。

RuyiNAS作为存储设备,可以存储AI训练所需的数据和模型,在加装特定显卡后也可以作为边缘计算设备,进行推理应用。

整个架构的优势在于,可以将AI训练的过程和数据全部本地化,保证数据的安全性和隐私性,同时也可以减少数据传输的延迟和成本,提高AI训练的效率和质量。

然而,这个架构也存在一些不足。

首先,具备一定的技术水平和资源投入才能掌握dify的使用。其次,RuyiNAS的存储容量和计算能力也会对AI训练的规模和效率产生一定的限制。