海康威视申请模型蒸馏专利，提高模型在多场景的泛化能力lg...

摘要：金融界2024年1月6日消息，据国家知识产权局公告，杭州海康威视数字技术股份有限公司申请一项名为“一种模型蒸馏方法、装置、存储介质和电子设备“，公开号CN117350365A，申请日期为2023年9月。专利摘要显示，本申请公开了一种模型蒸馏方法、装置、存储介质和电子设备，包括：利用通识模型对不同领域的存量数据样本进行识别；利用目标任务的训练样本集训练生成教师模型；利用通识模型对训练样本集中的训练样本进行识别；确定与训练样本语义相关的存量数据样本构成初筛样本集；为初筛样本集和训练样本集中的样本确定各实例的实例特征；在初筛样本集中选择其实例特征与训练样本的实例特征的相似程度在指定范围内的存量数据样本，构成搜索样本集；将搜索样本集和训练样本集作为蒸馏样本集，利用教师模型进行蒸馏训练，得到蒸馏后的学生模型。应用本申请，能够对训练样本域进行扩张，再基于扩张后多领域的样本进行蒸馏处理，从而提高模型在多场景的泛化能力。