学件技术研究及其在华为ModelArts系统中的落地应用

成果编号：39390

价格：面议

完成单位：南京大学

单位类别：985系统院所、211系统院所

完成时间：2022年

成熟程度：批量生产阶段

服务产业领域：电子信息

我要对接关注发送消息

发布人：南京大学技术转移中心在线

发送消息

学件范式是指在保护开发者与用户数据隐私前提下，将机器学习开发者的优质模型提交到学件市场中用于分享或售卖，并对学件市场中已有的机器学习模型进行有效查找并复用，以适用于当前用户新的机器学习任务。学件范式的流程主要包括三个部分：为开发者模型设计有效的学件规约，包括语义规约与统计规约，并保护开发者的数据隐私；并基于相关规约技术，根据用户当前的任务需求，在保护用户隐私的前提下对学件市场进行学件查搜；学件复用技术，使用少量的监督数据复用学件，使学件更加适应用户任务，提升学件在用户任务的精度。本次项目主要在学件规约和学件查搜，并以学件复用技术作为挑战目标。本项目与华为合作，研究学件范式在华为ModelArts产品上的应用。本项目的研究成果在华为公有云的实际场景中验收，涵盖销量预测、目标检测等常见场景，突破了传统AI开发过程强依赖于算法工程师的限制，提升了华为AI模型库的可复用性，能够直接利用已有模型解决新任务。具体来说，本项目直接支撑了华为的ModelArts Pilot产品，基于学件思想，提出了基于规约的面向AI模型库的模型查搜与复用机制，利用已有模型资产，快速解决人工智能模型研发问题，开创了人工智能落地新范式。项目成果在华为2022年HC (Huawei Connect)大会期间专文报道。

78 次浏览分享到

成果介绍

科技计划：

成果形式：新技术、新工艺、新产品

合作方式：技术转让、技术咨询

参与活动：第二届江苏产学研合作对接大会 2023年高校院所服务苏北五市产学研合作对接活动

专利情况：未申请专利

成果简介

成果概况

创新要点

“学件”范式由周志华教授在2016年原创提出并探索发展。世界上有许多机器学习开发者愿意分享自己的模型，这些模型可以被提交给一个“学件市场”，今后再有新用户需要解决机器学习任务时，可以先到学件市场去获得有帮助的模型，而不必从头开始。学件的关键是“部分复用他人模型、不必从头开始”。为此，“学件”包含两个部分：一是训练好的模型，另一个部分是模型的规约，它能够对模型进行刻画，使得未来的用户能够从大量的模型中找到对自己有用的模型加以复用，并且模型开发者和用户都无需向学件市场泄露自有数据。学件范式为许多机器学习中的重要问题提供了系统性解决方案。例如，用户仅需少量数据识别有帮助的学件并适配调优，不再需要大量训练样本；用户基于开发者提供的优质模型可以获得专家级结果；开发者无需分享训练数据，避免了数据泄露；并且随着学件市场规模增加，天然在进行终身学习，避免了灾难性遗忘问题。具体而言，本项目的技术创新在于(1)面向销量预测、目标检测场景，为每个模型进行高效的规约构造，使其可以被充分识别并不暴露原始数据；(2)基于规约根据用户需求准确匹配市场中的模型；(3)复用模型使其适应新的用户任务。

主要技术指标

(1) 在规约构造方面，项目已经达成：提出的学件规约构造算法，在销量预测开源数据集场景验收学件规约构造算法，学件规约构造效率达到200~600秒，并在ModelArts的生鲜电商销量预测和快消品零售销量预测业务场景业务中达到同样的规约构造效率。此外，项目已达成在开源数据与ModelArts销量预测业务上构造效率提升10倍的挑战目标。 (2) 在学件查搜方面，项目已经达成：在销量预测开源数据场景评估查搜准确率和用户数据减少量，达到使用全量无标记数据，相比于学件市场中学件准确率平均值，在用户数据上的准确率提升5%以上；且使用10%数据查搜到的学件，对比使用全量数据查搜到的学件，学件准确率下降在10%以内。并在ModelArts的生鲜电商销量预测和快消品零售销量预测业务场景业务中达到同样的学件规约查搜能力。 (3) 在学件复用方面，项目已经达成：提供模型复用算法，在ModelArts的生鲜电商销量预测和快消品零售销量预测业务场景中，准确率提升5%以上, 并进一步节省20%的监督数据；且在ModelArts的物体检测业务场景中，提升精度约3%以上，并进一步节省20%的监督数据。

其他说明

完成人信息

姓名：对接成功后可查看

所在部门：对接成功后可查看

职务：对接成功后可查看

职称：对接成功后可查看

手机：对接成功后可查看

E-mail：对接成功后可查看

电话：对接成功后可查看

传真：对接成功后可查看

邮编：对接成功后可查看

通讯地址：对接成功后可查看

联系人信息