当前位置:首页 >风报闻 >全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施

“打开水龙头前,全球千我们不需要知道水是首发N生设施从哪条河里来的。同理,无问未来我们用各种AI应用时,芯穹芯片也不会知道它调用了哪些基座模型,发布用到了哪种加速卡的规模算力——这就是最好的AI Native 基础设施。”


7月4日,异构在2024年世界机器智能大会AI基础设施论坛上,混训无问芯穹联合创始人兼CEO夏立雪发布了全球首个千卡规模异构芯片混训平台,平台千卡异构混合训练集群算力利用率最高达到了97.6%。筑基同时,态格夏立雪宣布无问芯穹Infini-AI云平台已集成大模型异构千卡混训能力,局的基础是全球千全球首个可进行单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,首发N生设施支持包括AMD、无问华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。7月起,通过试训申请的客户,已可在Infini-AI上一键发起700亿参数规模的大模型训练。

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施 

就在4个月前,无问芯穹Infini-AI大模型开发与支持云平台宣布首次公测,已有智谱AI、月之暗面、生数科技等大模型公司客户在Infini-AI上稳定使用异构算力,还有20余家AI Native应用创业公司在Infini-AI上持续调用各种预置模型API,使用无问芯穹提供的工具链开发自身业务模型。此次发布全球首个可进行千卡规模异构芯片混训的平台,不仅是无问芯穹在异构计算优化与集群系统设计方面的深厚底蕴和卓越工艺的实力体现,同时也是无问芯穹秉承“MxN”中间层生态理念的关键成果。

 

【打破异构芯片“生态竖井”,让异构芯片转化为大算力】

 

作为大模型生命周期中不可或缺的两个阶段,训练和推理均需要强大的计算资源支撑。然而,与国际上模型层与芯片层“相对集中”的格局相比,中国的模型层与芯片层更加“百花齐放”。然而,大量的异构芯片也形成了“生态竖井”,不同硬件生态系统封闭且互不兼容,给算力的使用方带来一系列工艺挑战。

 

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施 

据不完全统计,宣布拥有千卡规模的中国算力集群已不少于100个,出于诸多缘由,比如过度依赖单一硬件平台可能会使企业面临供应链风险,又比如国产芯片的性能快速提升为集群方提供了多种选择,绝大部分集群已经或正在从同构转向异构。“生态竖井”的存在让大多数企业和开发者对此望而却步,即便算力集群众多,也难以实现有效的整合与利用,这无疑是对算力资源的浪费。“生态竖井”不仅成为构建AI Native基础设施的最大难点,也是当前大模型行业面临“算力荒”的关键原因。

 

构建适应多模型与多芯片格局的AI Native基础设施,无问芯穹的底层解法是,提供高效整合异构算力资源的好用算力平台,以及支持软硬件联合优化与加速的中间件,让异构芯片真正转化为大算力。这一系列研、产进展背后,是无问芯穹研发团队在异构芯片计算优化与集群系统设计上的强大实力支撑。近日,无问芯穹与清华、上交的联合研究团队发布了HETHUB,这是一个用于大规模模型的异构分布式混合训练系统,这是业内首次实现六种不同品牌芯片间的交叉混合训练,且工程化完成度高。夏立雪介绍,这项工艺工程化的初衷,是希望能够通过整合更多异构算力,继续推高大模型工艺能力的上限,同时通过打通异构芯片生态,持续降低大模型应用落地成本。

 

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施 

【引领“MxN”生态格局的AI Native基础设施建设,让天下没有难用的AI算力】

 

当前,大模型行业增长正在进入规模化产业落地阶段,应用场景的百花齐放,带来了对大模型训练日益迫切的需求,巨大的市场前景,使得基础模型和算力芯片的行业玩家迅速攀升。构建大模型时代的AI Native基础设施,不仅能够为AI开发者提供更加通用、高效、便捷的研发环境,同时也是实现算力资源有效整合,支撑AI产业可持续增长的关键基石。

 

无问芯穹具备顶尖的AI计算优化能力与算力解决方案能力,以及对“M种模型”与“N种芯片”行业格局的前瞻判断,率先构建了“MxN”中间层的生态格局,实现多种大模型运算规则在多元芯片上的高效、统一部署。 截止目前,Infini-AI已支持了Qwen2、GLM4、Llama3、Gemma、Yi、Baichuan2、ChatGLM3系列等共30多个模型,以及AMD、华为昇腾、壁仞、寒武纪、燧原、海光、天数智芯、沐曦、摩尔线程、NVIDIA等10余种计算卡。

 

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施 

无问芯穹致力于成为AI Native 基础设施领跑者,未来将继续突破异构算力优化与集群系统设计的工艺上限,持续拓展模型层和芯片层的上下游生态伙伴力量,共同实现“MxN”的有效打通、利用和整合,构建真正适应多模型与多芯片的AI Native基础设施,让天下没有难用的AI算力,助力推动大模型在各行业中的应用创新。

 

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施 

“工艺上限推高与工艺落地扩散不矛盾,且取决于我们决心如何对待这个工艺。”夏立雪表示,今天说让大模型成本下降10000倍,就像30年前说让家家户户都通电一样。优良的基础设施就是这样一种“魔法”,当边际成本下降到临界值,就能有更多的人拥抱新工艺。

 雷峰网(公众号:雷峰网)


雷峰网版权文章,未经授权禁止转载。详情见转载须知。

全球首发!无问芯穹发布千卡规模异构芯片混训平台,筑基面向MxN生态格局的AI Native基础设施

(责任编辑:乐趣)

    推荐文章
    • RASP技术,"入侵者"如何成为网络安全"守护神"?

      RASP技术,"入侵者"如何成为网络安全"守护神"?作者丨赖文昕编辑丨陈彩娴应用安全危机四伏2024年的网络安全形势依旧严峻。2月,澳大利亚电信公司 Tangerine 遭遇网络攻击,导致23万人的个人信息泄露;3月,人工智能图像编辑工具 Cutout ...[详细]
    • 上海交大新跑出一家具身智能公司「穹彻智能」

      上海交大新跑出一家具身智能公司「穹彻智能」作者丨郭 思编辑丨陈彩娴AI 科技评论独家获悉:近日,上海交大新跑出了一家机器人公司——上海穹彻智能科技有限公司,定位是具身智能方向,正处于第一轮融资状态,融资金额千万级别。企查查信息显示,该公司于今 ...[详细]
    • 蓝振忠也发「英雄帖」,中国版 ChatGPT 明星公司寻找 CEO

      蓝振忠也发「英雄帖」,中国版 ChatGPT 明星公司寻找 CEO「打造中国OpenAI」,「西湖心辰」这家创立时间不到两年的小公司怎么敢夸下海口?相比于国内的其他创业团队,心辰具有以下几大优势:1.在大模型的研究和商业化落地要早一年。积累了超过百万的用户,并训练出 ...[详细]
    • 产业跑进数字世界,要先迈过安全这道坎

      产业跑进数字世界,要先迈过安全这道坎当数字化转型成为时代的浪潮,企业的发展已经无法脱离数字行为、单打独斗。各类商业场景与链接的裂变与新生,驱动产业协作数字化的不断升级。与此同时,参与数字活动的安全与风险,也成为企业融入新产业协作模式的阻 ...[详细]
    • 云南威信县黑龙村强降雨疑似致5人失联

      云南威信县黑龙村强降雨疑似致5人失联据央视新闻消息,7月8日7时至9日14时,云南昭通市遭遇大范围暴雨、局部特大暴雨袭击,其中威信县最大降雨量达254.4毫米,刷新该站点自1958年建站以来的单日最高纪录。据初步排查,威信县罗布镇黑龙村 ...[详细]
    • “寒冬”还是“拂晓”?第四范式成功上市率先交卷

      “寒冬”还是“拂晓”?第四范式成功上市率先交卷作者丨孙溥茜编辑丨陈彩娴AI科技评论消息,今天,第四范式以“6682”为股票代码,正式在香港联合交易所挂牌上市。第四范式是从去年年底大模型浪潮兴起以来首家成功上市的国内AI公司。值得注意的是,第四范式 ...[详细]
    • Gair 大咖说:AI 的兴起是否意味着 Web3 的衰落?

      Gair 大咖说:AI 的兴起是否意味着 Web3 的衰落?AI呼啸而过,站在路边的Web3随风飞扬。AI的兴起是否会带来Web3的衰落?2023,ChatGPT爆火,AIGC一时风生水起。每一天,关于AI、大模型的消息不绝于耳,Capilot新版Office ...[详细]
    • 当「养老」遇上 AI 大模型

      当「养老」遇上 AI 大模型作者:赖文昕编辑:陈彩娴鲜少有人关注到这样一个现象:在大模型的发展初期,「研发」与「产品」往往来自同一个群体——程序员。由于大模型技术的系统复杂,新一代大模型产品经理的数量稀少,程序员往往既是技术、又 ...[详细]
    • “丹娜丝”进一步减弱 中央气象台对其停止编号

      “丹娜丝”进一步减弱 中央气象台对其停止编号来源:财联社财联社7月10日电,今年第4号台风“丹娜丝”减弱后的热带低压已于9日晚在福建境内进一步减弱,目前已很难确定其环流中心,中央气象台于9日23时对其停止编号。 ...[详细]
    • 谁将替代 Transformer?

      谁将替代 Transformer?【雷峰网(公众号:雷峰网)】2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经,此后席卷全球的人工智能热潮都可以直接追溯到 Transformer ...[详细]
    热点阅读