跳至正文
ittechwire

来源清晰的科技新闻

  1. 首页
  2. 人工智能

人工智能

Meta发布Muse Spark Open模型权重,Apple提供支持使其可在Mac Studio上运行

Meta公开了一款参数量为816B、面向编程和智能体的多模态模型的权重,并称该模型可在两台M5 Ultra Mac Studio上本地运行,其许可证包含有限的商业条款。

ittechwire 编辑部阅读约 4 分钟来源: 4AI 译文 · 原文语言:English
2022款Mac Studio台式电脑正面,该机型早于Meta指定用于运行该模型的M5 Ultra Mac Studio。
Yasu (talk) · CC BY-SA 3.0

要点

  1. 1Meta发布了Muse Spark Open的模型权重,并称其为迄今为止能力最强的美国开放权重模型;相关性能说法来自Meta。
  2. 2据Meta介绍,这款原生多模态模型总参数量为816B,激活参数为42B,上下文窗口为1M token,面向编程和智能体工作。
  3. 3Meta称,这是同类模型中首个可借助MLX在两台Apple M5 Ultra Mac Studio上运行的模型;CNBC报道的配置为2至4台机器。
  4. 4该模型可通过多家托管API提供商以及包括Hugging Face在内的下载平台获取,依据带有有限商业条款的Muse Model License发布。
  5. 5记者们强调了较高的硬件需求:TechCrunch援引Engadget称至少需要1 terabyte(TB)内存,CNBC称256GB版M5 Ultra Mac Studio售价为$10,799起。

报道全文

Meta周四公开发布了Muse Spark Open的模型权重,并称其为迄今为止美国开发者推出的能力最强的开放权重模型。据该公司介绍,该模型原生支持多模态,总参数量为816B,其中激活参数为42B,上下文窗口为1M token。Meta表示,该模型专为编程和智能体用途设计,在长时任务、高要求的软件工程以及跨多个步骤的推理方面表现出色。CNBC报道称,该模型采用混合专家(mixture-of-experts)架构。TechCrunch指出,Meta自己的评估结果声称其优于其他热门开放权重模型;这些性能说法来自Meta,相关报道中尚未得到独立验证。

此次发布的核心之一是在Apple硬件上本地运行。Meta表示,Muse Spark Open是同类模型中首个能够借助当前版本的Apple MLX框架,在由两台搭载M5 Ultra芯片的Mac Studio组成的桌面配置上运行的模型。该公司解释称,每台机器的集成GPU最多可调用512 GB统一内存,因此两台机器即可容纳完整模型,并给出了1.2 TB/s的内存带宽数据。Meta称,已使用其Muse Code工具测试了设备端智能体工作流,包括为开源Mastodon应用Ice Cubes交付修复和新功能,以及操作DaVinci Resolve视频编辑软件挑选素材并将其裁切为竖屏画面。The Verge和CNBC报道称,Apple也发布了有关MLX的技术资料;据CNBC介绍,这些资料涉及如何将开放模型拆分到多台机器上运行。

除Mac之外,Meta表示,该模型还可通过Together AI、OpenRouter、Groq、Fireworks AI、Baseten、Modal和Nebius等托管API提供商使用,模型权重则可从Hugging Face、Amazon SageMaker AI、Microsoft Foundry Models和Google Cloud Model Garden下载。该公司列出的受支持推理引擎包括vLLM、SGLang、llama.cpp、TensorRT-LLM和MLX,并针对NVIDIA、AMD、Intel和Apple的芯片进行了优化。Meta还称,SGLang中的定制Helion GPU内核在NVIDIA和AMD GPU上带来1.03-3.95×的内核级加速,并在AMD MI350上实现3%的端到端性能提升。模型权重依据Muse Model License发布;Meta表示,该许可证包含有限的商业条款,使许多开发者能够免费使用该模型。在安全方面,Meta称该模型经过了额外的安全后训练,并达到了其Meta Superintelligence Scaling Framework规定的发布门槛,完整的评估报告仍有待发布。

记者们指出,本地使用对硬件要求很高。TechCrunch援引Engadget的报道称,在本地运行该模型需要至少1 terabyte(TB)的内存。CNBC报道称,用户可将2至4台Mac Studio连接使用;配备256GB内存的M5 Ultra Mac Studio目前起售价为$10,799,而价格更高的512GB配置预计将于本月晚些时候推出。Meta首席人工智能官Alexandr Wang对CNBC表示,许多性能强大的开放权重模型体积过大,大多数个人电脑无法运行,但Mac Studio所提供的内存使运行Muse Spark Open变得切实可行。

此次发布也标志着两家长期不和的公司展开了公开合作。据The Verge和CNBC报道,Meta首席执行官Mark Zuckerberg在X上对Apple及其新任首席执行官John Ternus表示感谢,Ternus则回应称赞该模型在台式机上运行效率之高。CNBC称,这项工作是双方数月合作的成果,两家公司的代表均拒绝透露这是否会带来更深入的合作关系。CNBC还指出,Meta近来优先发展专有模型,而Muse Spark Open不如其专有模型Muse Wonder先进。Wang对该媒体表示:“这些并不是我们开发或发布过的能力最强的模型”,并补充说,他预计开发者会先小规模试用该模型,然后再扩大使用范围。

为何重要

此次发布使一款超大型开放权重模型得以在本地桌面硬件上运行,而不再仅限于云服务;这表明Meta仍在持续投入开放模型,尽管已非其首要重点;同时也体现了与Apple之间一次不同寻常的公开合作。不过,从目前报道的成本和内存要求来看,本地使用仍超出大多数个人用户的能力范围。

时间线

  1. · 发布于

话题#Meta#Muse Spark Open#开放权重模型#Apple#MLX#AI编程

来源

本报道基于以下来源。如需完整背景,请阅读原文。

  1. 1Meta · 一手来源Introducing Muse Spark Open, The Most Capable US Open-Weight Model to Dateresearch.meta.ai
  2. 2TechCrunch · 新闻报道Meta launches an open-weight AI model that runs on Macstechcrunch.com
  3. 3The Verge · 新闻报道Meta and Apple team up to make Muse AI models run better on Macswww.theverge.com
  4. 4CNBC · 新闻报道Apple and Meta team up to make Muse AI model run on Mac computerswww.cnbc.com