AI for Data
OpenAI开源MultiLangBench,评测COBOL等低资源语言编程能力
📋总体概括
OpenAI近日发布文章,介绍其在低资源编程语言编码能力上的进展,并开源了名为MultiLangBench的多语言编程评测框架。低资源语言指可用代码与文档远少于Python、JavaScript的编程语言,如COBOL、Fortran等,这类语言在企业遗留系统中仍广泛使用,但大模型的编码能力评估长期缺乏系统基准。该框架的发布为衡量和提升模型在这些语言上的表现提供了工具,也反映出评测体系正从主流语言向长尾语言扩展。
⚡关键信息
- ▸OpenAI开源MultiLangBench多语言编程评测框架
- ▸聚焦低资源语言:代码与文档远少于Python、JavaScript的语言
- ▸低资源语言示例包括COBOL、Fortran、Visual Basic等
- ▸低资源语言在企业遗留系统中仍被广泛使用,此前缺乏系统评测基准
🔥犀利点评
大模型卷完Python、卷完前端,终于有人认真看COBOL这些老古董了。别小看这件事——全球银行和保险核心系统里躺着天文数字的Fortran和COBOL代码,会写主流行语言的模型一抓一大把,能把五十年前的遗留系统读懂改好的才是真稀缺。MultiLangBench开源只是第一步,关键看后续分数,低资源语言的训练语料天然稀薄,能不能真提上去,比发个榜单难多了。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 微博-数据库关键词 阅读全文 →