“合作前我提出了三点问题:研发生产环境的构建、模型训练并行化、缩短训练数据的准备时间。最终速石都很好地解决了。”
1ML基础架构组件繁多,构建过程复杂易出错,标准化需要高度专业的人力投入;
2并行化计算依赖基础架构层的软硬件框架,传统模式下资源管理和计算并行需要大量手工调试工作;
3模型开发依赖的高质量数据,需要大量的人工清洗、标注和格式转换工作。
大语言模型
基于Pytorch、TensorFlow、MXNet、Transformer框架的机器学习训练项目
1快速构建机器学习环境,提高10倍人效;
2支持应用工作流优化,可大规模并行计算,提升效率60%以上;
3采用专业平台和服务后,数据准备用时从2个月缩短到2周以内。
1机器学习环境可支持配置节点、GPU资源池管理、ML作业调度等功能;
2平台可针对应用进行工作流优化;
3专业数据平台可提供数据管理和清洗能力,并提供百万级众包资源与专家服务。