要闻 | 中译语通正式发布“格物”大模型,刷新CLUE两项任务榜单

2022年11月，中译语通科技股份有限公司发布“格物”大模型，在国内自然语言理解领域最为权威的CLUE榜单中，刷新了大规模知识图谱问答KgCLUE1.0和命名实体任务两个榜单，夺得这两个榜单的第一名。“格物”，意为探究事物道理，也代表着中译语通在人工智能技术研究领域从未止步的探索与坚持。

CLUE是国内“自然语言理解领域”公认的最具权威性的测评基准（www.cluebenchmarks.com），吸引了腾讯、华为、阿里等众多行业领先企业和研究机构参与评测，榜单排名竞争激烈，是业内自然语言理解团队的必争之地。

中译语通在KgCLUE1.0大规模知识图谱问答任务中取得第一名

中译语通在CLUE命名实体任务中取得第一名

“格物”大模型是中译语通2021年启动研发的多语言、多模态大模型技术，是面向多语言智能处理和应用的基础底座。“格物”大模型包括多语言预训练模型、多模态预训练模型、多语言机器翻译超大模型等多种模型，本次刷新CLUE榜单排名的是“格物-多语言预训练模型”，代表中译语通在大模型技术领域取得了行业领先水平。

“格物-多语言预训练模型” 利用中译语通大规模多语种语言资源优势，采用基于知识对照信息嵌入的多语言预训练方法，实现大规模多语言非对齐未标注数据、双语对齐句对和跨语言知识数据的多轮双向驱动和融合，训练出支持上百种语言的多语言预训练大模型，模型规模涵盖轻量级、中型和大型（百亿级）等多种参数尺度，同时创新性的将多语言、多任务、多场景整合到可插拔、灵活扩展的统一下游任务框架中，支持自然语言理解、自然语言生成、知识图谱等多场景学习任务。

同期，中译语通还发布了“格物-多语言机器翻译超大模型”，该模型采用基于新型混合专家（MoE）的大规模预训练方法，创新提出星环状注意力的MoE，突破模型容量与多语言制约，实现单一模型下的多语言机器翻译，达到千亿级参数的超大规模，从根本上提升了低资源多语种机器翻译的基础性能。该项目入围2021年工信部新一代人工智能产业创新重点任务揭榜，技术成果入选中国人工智能产业发展联盟《2022大规模预训练模型优秀应用案例》。

此外，中译语通正在进一步研发“格物-多模态预训练模型”，该模型采用海量的文本-图像对数据，通过 Vision Transformer、CLIP（Contrastive Language-Image Pre-training，基于对比文本-图像对的预训练方法），将图像和文本统一建模，实现多语言跨模态语义对齐，并采用深度扩散网络，训练得到超过百亿参数规模的图文生成模型。该模型预计将在2023年一季度正式发布。

中译语通是一家全球领先的大数据和人工智能公司。拥有自主研发的机器翻译、科研数据分析、金融科技和数字城市大脑等先进技术，为全球政府与企业级用户提供全方位的领先大数据与人工智能场景化应用解决方案。