腾讯公司取得文本数据推理专利，可降低推理多条文本数据所消耗的GPU资源lg...

摘要：金融界2024年1月8日消息，据国家知识产权局公告，腾讯科技（深圳）有限公司取得一项名为“一种文本数据的推理方法、装置、存储介质和电子设备“，授权公告号CN116822632B，申请日期为2023年8月。专利摘要显示，本申请公开一种文本数据的推理方法、装置、存储介质和电子设备，本申请可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，该方法中，获取N个文本数据各自对应的初始令牌序列，N为大于1的整数，每个初始令牌序列中的一个令牌表征：相应文本数据中的一个字符；将N个初始令牌序列拼接为拼接令牌序列；基于注意力机制，对拼接令牌序列进行推理处理，获得N个回复令牌序列，N个回复令牌序列用于生成N个文本数据各自的回复数据，每个回复令牌序列中的起始令牌是：在拼接令牌序列中，针对属于同一初始令牌序列的各个令牌进行推理处理获得的。本方案可降低推理多条文本数据所消耗的GPU资源，提升设备对多条文本数据的推理性能。