紫鸾大模型一体机

紫鸾大模型一体机是一款“硬件+软件+服务”一体化的AIGC解决方案,提供大模型一站式服务平台,能够结合用户实践场景,快速构建大模型服务和AI应用,提升用户人工智能项目的开发和运行效率,进而驱动价值的创新和增长。一体机底层GPU算力满足国产化建设需求,依托云原生技术将节点资源统一管理、统一调度,并在软件层面提供稳定可靠的基础模型及框架,加速AI应用落地一站式极简的交付运维大幅降低了AIGC的使用门槛。
功能特性
  • 全栈大模型OS
  • 模型使能
  • AI应用开发

大模型一体机-功能特性-全栈大模型.png


  • 基于容器和K8S技术,对GPU算力和高性能存储等底层资源进行合理调度,为平台运行提供一致的、高可用的服务能力。模型服务能力简单易用。

  • 模型仓库服务,提供AIGC大模型托管能力,内置多种LLM模型与SD框架,支持客户自定义上传,在仓库中一键即可部署使用,团队成员也可便捷共享协作。

  • 模型微调服务,提高在专属业务场景的模型效果,支持私域数据集管理和LoRA微调,训练过程可视化,可持续监督损失函数观察训练效果。

  • 模型评测服务,统一评估模型指标,帮助用户基于私域场景需求找到模型最优选。



  


Snipaste_2024-11-08_15-27-05.png


  • 模型推理:支持模型管理、模型API管理、模型超参配置、生产级运维和模型验证等能力,提供丰富的可视化工具和交互式操作界面,加速客户模型验证和投产过程

  • RAG检索增强生成:支持Query重写、多种Embedding词嵌入模型及Rerank重排序模型选择,用户私域数据一键拖拽上传、向量化存储,为大模型提供长期记忆,增强推理生成结果的准确性和即时性,也帮助企业更好地管理和利用自有模型使能数据,提供全新的、基于私域数据资产的竞争优势。

  • 提示词工程:一体机中内置多场景提示词模板,并支持用户自定义提示词并持续优化,用提示词+提示词模版与大模型交互,以加强模型调用精准度和有效性,进而提升大模型内容输出质量 。


  


大模型功能3图片1new.png


  • 应用开发:提供一站式AI应用开发能力,支持低代码AI应用开发、AI Agent智能体开发、工具插件调用以及AI工作流编排,组合使用大模型、API、工具插件和脚本等节点,可有效降低编码成本,快速开发多种类型的AI应用,拖拽编排即可实现基于大模型能力应用的快速发布落地。

  • 应用商店:预置电子公文、智能助手、紫鸾智答等通用AI智能应用,并支持用户上传第三方以及基于一体机自行开发的AI应用,均可一键发布到应用商店,以服务化方式为租户提供AI应用能力。

  • 应用运维:应用部署后,支持包括启停、升级/回滚、弹性伸缩、组件监控运维等全生命周期的管理能力。让应用运行得更健康、更专业,解决应用。

  


应用场景
企业

可在企业智能办公领域可以自动化处理大量重复性和繁杂性的工作,提供如智能公文、智能问答、自动生成报告等能力,提高员工工作效率,让员工有更多时间专注于创新和策略性工作,并且在与业务结合上有极大探索空间,如园区智能安防、工业企业动力定位、智能巡检、船舶调度系统等


金融

助力金融业务创新,提升服务效率和客户体验。一体机可用于构建金融机构智能客服与自助服务、知识管理、欺诈检测与预防、客户画像与精准化营销等通用金融场景应用,以及银行业的智能化网点安防场景,保险业的自动核保和风险评估场景


教育

高效赋能教育联合创新,面向学生可提供科普知识问答,面向教师可辅助教案编写、作业批改、活动策划;同时可支持校企联合开发实战模拟场景,方便人工智能/计算机相关专业的学生进行AI开发学习。


医疗

聚焦医学语言方向,可基于知识库+提示词工程实现医学知识问答、医学语言生成,快速实现医疗AI应用开发,如面向医生提智能诊断助手,辅助诊断并给予治疗建议,面向患者提供自助式的健康咨询,诊前辅助导诊就诊,诊后帮助健康管理


政务

利用大模型推理实现政务咨询类便民应用,是政务服务与人工智能技术相结合的一项重要创新,可基于一体机内置大模型+向量数据库技术,形成本地化的政务大模型知识库,实现线上业务办理指引、办事大厅业务智能化咨询及办理等政务场景应用


产品规格
  • 软件规格
  • 硬件规格

容器

云容器引擎服务,包括K8S集群部署与管理,K8S节点、存储、GPU、网络插件等组件的管理

资源管理

模型自动实例化、资源应用查看、集群及节点管理、存储管理、插件管理

模型仓库

预置多款LLM模型和SD框架,支持模型文件、模型版本管理

模型管理

内置模型一键式部署、模型实例生命周期管理、对话验证、API管理

提示词工程

提示词模板管理、提示词API服务

知识库

知识库实例生命周期管理、知识管理、知识向量化、知识文件预览及切片可视化、召回测试、知识库API服务、对话问答

开发者平台

AI音乐开发低代码、API应用开发零代码、工具插件、AI工作流

业务复用

内置模板、组件工具

流程引擎

图形化流程图设计、流程处理、开放流程引擎接口

多端支持

支持移动应用、PC应用开发

应用管理

应用管理、框架管理、系统管理、发布管理

用户角色管理

用户管理、角色管理、项目管理

一键巡检

系统一键巡检

维保服务

三年维保


CPU

2*UniServer R6300 G6 8系

内存

8*64GB 内存模块

GPU

8*32GB GPU模块(CTO&BTO)

系统盘

2*960GB SSD通用硬盘

数据盘

2*480GB SSD通用硬盘,2*1.92TB SSD通用硬盘,2*600GB HDD通用硬盘

网卡

14端口千兆电接口网卡,2*2端口万兆光接口网卡

维保服务

三年维保