全球数字财富领导者

马斯克最新预告!Grok1.5增强版下周上线,Grok2 将超过当前的AI?

2024-03-30 00:29:29
格隆汇
格隆汇
关注
0
0
获赞
粉丝
喜欢 0 0收藏举报
— 分享 —
摘要:推理性能暴涨,支持128k长上下文

马斯克的大模型Grok,即将推出最新进化版——Grok1.5

而这距离Grok 1 开源仅仅才过去 10 天。

美东时间周五,马斯克宣布,xAI公司最新的Grok-1.5将于下周在他的社交媒体平台X上推出。

他表示,Grok 2 应该在所有指标上都超过当前的 AI,现在正在训练中。

此前一天,xAI宣布Grok-1.5将在未来几天内提供给X上的早期测试人员和现有的Grok用户。

据介绍,Grok-1.5 推理能力大升级,支持128k上下文长度。

其中最显著的改进之一是推理性能大幅提升它在编码和数学相关任务中的能力全面超越Grok-1、Mistral Large、Claude2。

在测试中,Grok-1.5在数学基准上取得50.6%的得分,在GSM8K基准上获得了90%,这两个数学基准涵盖了从小学到高中的各种竞赛问题。

从数据来看,Grok-1.5在GSM8K上提升到90,MATH上上升到50.6%。

在评估代码生成和解决问题能力的HumanEval基准测试中,Grok-1.5获得了74.1%的高分,超过了Claude 2的70%、Claude 3 Sonnet的73%、Gemini Pro 1.5的71.9%以及GPT-4的67%。

Grok-1.5 的另一个新功能是,能够在其上下文窗口内处理多达 128K token的长上下文。

这使得 Grok 的内存容量增加到以前上下文长度的 16 倍,使其能够利用更长的文档中的信息。

此外,新模型还可以处理更长、更复杂的提示,同时在其上下文窗口扩展时仍保持其指令跟随能力。

在NIAH评估中,Grok-1.5 展示了强大的检索能力,可检索长度达 128K 字节的上下文中的嵌入文本,并取得了完美的检索结果。

xAI 表示,Grok-1.5 构建在基于 JAX、Rust 和 Kubernetes 的自定义分布式训练框架之上。该训练堆栈允许开发团队能够以最小的精力,构建想法原型并大规模训练新架构。

为挑战OpenAI的ChatGPT,马斯克于去年创立了xAI,并在去年底推出第一版聊天机器人Grok1。

本月早些时候,马斯克在起诉OpenAIde 几天后,宣布xAI将开源Grok。

 xAI 表示,开源版大模型Grok-1是一个拥有 3140 亿个参数混合专家模型,远超OpenAI GPT-3.5的1750亿。

这也是,目前参数量最大的开源大语言模型。

值得一提的是,距离Grok-1开源不到半个月的时间,马斯克又火速放出进化版Grok-1.5。

这搞大模型的速度,马斯克也是出奇的快啊。

眼下,AI大模型竞赛逐渐白热化,大家伙儿眼看着都“杀红了眼”。

敬告读者:本文为转载发布,不代表本网站赞同其观点和对其真实性负责。FX168财经仅提供信息发布平台,文章或有细微删改。
go