一、询价采购编号:X2025034
二、询价人:苏州大学采购与招投标管理中心
地址:江苏省苏州市东环路50号凌云楼904室
邮编:215021 传真:0512-67165076
联系人:罗老师 电话:0512-67504198,67504359
电子邮箱:lrb998@suda.edu.cn
技术联系人:李老师 电话:13913594030
三、货物名称、数量及主要技术指标等要求
算力管理一体化平台 1套
1.要求本次配置包含4张 4090D GPU卡及配套授权。
2.资源总览
2.1系统具备数据可视化及信息整合呈现能力,要求系统支持查看总览页,总览页需清晰展示算力池相关信息,包括但不限于算力资源总量、已使用量、剩余量等,并通过页面效果展示显卡已占用、未占用或者健康状况;能够展示统计模型服务调用情况,包括热门调用榜和失败调用榜、调用服务名称、调用次数;支持查看最近日期的操作日志。
3.模型仓库
3.1平台预置国际国内的开源大语言模型数量不低于6个,来降低模型准备周期,参数量级至少要覆盖7B、8B、14B、32B、70B、671B;我单位认为不同类型大模型适用不同业务场景,要求平台支持多种主流开源大模型管理,支持的模型类型包括但不限于:LLama系列、Qwen系列、DeepSeek-R1蒸馏系列模型、DeepSeek-R1-671B模型。
3.2简单易用的模型上传管理功能,便于后续模型管理。支持从平台外部导入和从训练任务导入2种方式上传模型。
4.模型训练
4.1要求该系统全力支持新建用户自定义的私有数据集,特别是用于微调的数据集和用于二次预训练的数据集。要求支持上传、新建用户自定义的私有数据集,包括用于微调的数据集和用于二次预训练的数据集。用户在我的数据集页面,点击创建可进入创建页面,支持填写数据集名称、数据集描述、所属算力池、版本描述。平台要具备兼容性与灵活性,支持从本地导入JSON、JSONL、CSV格式数据集,也支持从指定存储路径导入数据集,确保各类数据资源都能顺利融入到业务流程之中。
4.2要求平台支持新建配比数据集,此配比数据集能够与私有数据集同步进行训练,有效防止在训练过程中出现灾难性遗忘现象,平台要具备兼容性与灵活性,支持从本地导入JSON、JSONL、CSV格式数据集,也支持从指定存储路径导入数据集,确保各类数据资源都能顺利融入到业务流程之中。预置开源数据集数量不少于6个,预置开源数据集涵盖微调数据集和二次预训练数据集,降低用户数据准备周期。
4.3因我校有大量推理业务,希望收集用户推理请求来优化大模型应用效果,优化AI应用体验。要求平台支持启用数据回流,保存大模型运行过程中的用户请求和模型数据。(需提供产品相关功能截图证明)
4.4要求系统支持数据集多版本管理,使用户能对不同阶段、不同调整的数据集版本进行有效梳理与调用。同时,支持全面查看数据集信息,包含数据集数据量、数据集大小、创建时间等,方便用户精准把握数据集特征。数据预览功能不可或缺,要求既能查看数据集内容摘要,从宏观上了解数据集概况,又能针对微调数据集查看详细的数据详情,为训练准备提供细致洞察。此外平台需支持一键训练操作,当用户确认数据集后,点击即可快速跳转到模型训练页面,即刻开启微调训练任务,极大提升训练流程的便捷性与效率,助力业务快速推进。
4.5为了实现训练故障回溯和提高问题定位效率,要求平台支持查看训练任务的训练日志和组件日志,并支持通过自定义日期时间过滤筛选。
.4.6要求支持可视化管理训练Checkpoint,根据时间线查看checkpoint,支持设置按频率周期性定时保存训练任务的checkpoint,并持久化驻留到本地ssd中,不影响训练性能,在恢复训练时可以快速拉起实现断点续训。(需提供产品相关功能截图证明)
5.模型调优
要求平台支持创建模型压缩任务,支持选择GPU资源处理量化任务,支持大语言模型进行int4量化压缩,并提供对齐语数据集功能,实现业务感知量化,使得在保障垂直领域有化模型参数精度的情况下,大幅降低模型推理时的显存消耗,降低推理成本。(需提供产品相关功能截图证明)
6.模型加密
要求支持创建模型加密任务,可以选择大语言模型进行动态加密,通过结构加密、权重加密、算子加密机制,使得加密后的模型可以实现“部署即安全”的效果,防止泄露被盗用。(需提供产品相关功能截图证明)
7.模型推理
7.1要求平台支持创建模型服务,支持选择模型类型和模型版本,支持指定算力池和单实例算力,支持指定网关和访问入口,支持指定实例数量,支持单实例部署、多实例模型服务;支持设置温度、多样性、重复惩罚,支持设置自定义系统prompt。
7.2要求平台支持创建大模型服务时选择单实例算力分配方式,包括整卡分配和自由切分。自由切分支持通过制定主机和GPU,并按算力百分比和显存大小分配算力,显存支持GiB单位,最小粒度为0.25GB。整卡切分支持选择算力规格。(需提供产品相关功能截图证明)
7.3要求支持在页面表单中创建自定义模型服务,支持选择模型名称和模型挂在路径。(需提供产品相关功能截图证明)
7.4要求支持查看自定义服务列表,支持查看自定义服务详情、监控和日志。
7.5要求支持查看模型服务列表,支持重新启动、编辑、查看监控、查看日志、在线体验、删除操作。支持查看推理服务的服务详情,支持查看业务调用、QPS、吞吐、首字符时延、GPU显存使用率、GPU使用率、CPU使用率、内存使用率监控趋势图,并支持通过日期时间过滤;支持查看模型服务的推理服务日志和组件日志,并支持通过日期时间过滤筛选。
7.6要求通过统一的云原生网关对外提供模型服务API,以及支持通过域名访问模型服务。
8算力池管理
8.1要求平台支持统一管理GPU异构裸金属算力集群,支持纳管不同品牌GPU,包括支持英伟达GPU卡、支持不少于两个品牌的国产卡。
8.2支持添加算力池,指定算力池类型,指定关联集群和存储节点。
8.3支持算力池启用vGPU功能,用于创建训练、量化、大模型服务、自定义模型服务时选择vGPU资源。(需提供产品相关功能截图证明)
9平台管理
9.1要求支持主流开源大模型管理,要求国际国内的开源大语言模型数量不低于6个,参数量级至少要覆盖7B、8B、14B、32B、70B、671B,支持的模型类型包括但不限于:LLama系列、Qwen系列、DeepSeek-R1蒸馏系列模型、DeepSeek-R1-671B模型。
.9.2要求平台支持镜像配置功能,在镜像配置页面,单击上传按钮,可进入镜像上传页面,选择本地PC对应的镜像文件,单击“确定”进行上传。支持上传训练镜像、推理镜像、压缩镜像、加密镜像。支持查看镜像列表,支持根据镜像类型筛选,支持根据镜像名称检索镜像配置,支持删除镜像配置。
9.3要求支持自定义镜像管理,支持创建、导入自定义镜像,支持查看自定义镜像列表,支持部署和查看镜像说明。支持查看镜像说明,删除自定义镜像。
9.4要求支持平台存储配置,支持配置外置存储类型包括外置文件存储和LocalStorage;其中外置存储支持标准NFS协议第三方存储对接作为平台存储使用。
9.5要求支持查看告警记录,包括实时告警和历史告警,支持查看告警详情。支持根据告警对象搜索,支持根据日期时间筛选,根据等级、对象类型、所属算力池过滤。
9.6要求提供操作审计,支持查看任务详情,支持根据审计对象搜索,支持根据日期时间筛选,根据状态行为过滤。
10.质保期:整套系统质保期不少于1年。
四、询价采购文件价格:人民币300元(相关缴纳事宜详见附件),售后不退。
五、报价截止时间:2025年8月13日14:00。
六、有兴趣并符合资格条件的供应商,请务必认真阅读《苏州大学网上询价采购仪器设备报价须知》,在接受其所有条款要求的基础上按要求进行报价。
七、报价文件递交:顺丰快递邮寄,请充分考虑快递送达时间,避免错过时间。
——————————————
询价采购编号:X2025034
成交供应商:苏州观微电子科技有限公司,成交价为17.298万元人民币。
