北银金科申请银行业大语言模型训练方法专利，能够理解银行频繁使用的金额、理财产品名称、办理流程等专业词汇lg...

摘要：金融界2023年12月14日消息，据国家知识产权局公告，北银金融科技有限责任公司申请一项名为“一种银行业大语言模型训练方法“，公开号CN117217289A，申请日期为2023年10月。专利摘要显示，本发明提供的一种银行业大语言模型训练方法，所述训练方法包括：步骤S1：构建模型训练数据集；步骤S2：基于银行词表训练模型分词器；步骤S3：基于llama预训练模型增量训练，构建大模型底座；步骤S4：使用提示工程进行指令微调；步骤S5：强化学习微调大模型。基于具体银行的业务、知识、数据去训练大语言模型。能够理解银行频繁使用的金额、理财产品名称、办理流程等专业词汇；使用客服对话数据及银行内部知识库做指令训练，使得模型具备客服问答、检索式知识问答等能力；面对不断发展的业务具备快速迭代能力。