加勒比海盗超节点、超集群、TPU方案涌现 算力“拼系统”时代产业最关心Token性价比|WAIC观察_我的网站
一 | 财联社7月21日讯（记者 付静）“我们真正关注的是Token性价比：在保证模型效果和服务质量的前提下，以更低的综合成本生成更多高质量Token。”2026世界人工智能大会（WAIC）期间，云天励飞-U（688343.SH）方面在接受财联社记者采访时表示。 当下，模型层面训推规模迈向万卡，应用侧C端多款智能体涌现，AI进化为生产生活“搭子”，B端的人工智能真实场景落地也在加速。 메모리 안에 연산기 넣어 데이터 이동 최소화‘라마3.1’ 모델 실증…토큰 생성속도 3배↑기존 제어장치 활용해 상용화 문턱도 낮춰 0.65㎜(밀리미터) 두께의 삼성전자 7세대 저전력 D램(LPDDR5X). 삼성전자삼성전자(005930)가 메모리 내부에서 연산 기능을 수행하는 프로세싱 인 메모리(PIM) 기술을 통해 인공지능(AI) 답변 생성 속도를 3배 이상 끌어올렸다. AI 반도체 성능 경쟁이 그래픽처리장치(GPU)의 연산 능력을 높이는 데서 나아가 데이터 이동 시간을 줄이는 방향으로 확대되고 있다는 분석이다.26일 업계에 따르면 삼성전자는 25일(현지 시간) 미국 스탠퍼드대에서 열린 ‘핫칩스 2026’에서 LPDDR5X 기반 프로세싱 인 메모리(PIM)의 실제 AI 추론 성능을 공개했다.PIM은 메모리 내부에 연산 기능을 탑재하는 기술이다. 데이터를 저장하는 역할에 머물던 메모리가 일부 계산까지 직접 처리해 프로세서의 부담을 줄이는 방식이다.기존 AI 반도체 구조에서는 메모리에 저장된 데이터를 GPU가 가져와 연산한 뒤 다시 메모리로 보내는 과정을 반복한다. 반면 PIM은 메모리 내부에서 필요한 연산 일부를 처리해 데이터 이동 거리를 줄인다. 이를 통해 처리 속도를 높이고 전력 소비도 낮출 수 있다.삼성전자는 저전력 더블 데이터 레이트 5X(LPDDR5X)-PIM에 16개 D램 뱅크마다 하나의 PIM 블록(연산회로 묶음)을 배치해 총 16개의 연산 블록을 탑재했다고 밝혔다. 뱅크는 데이터를 나눠 저장하는 D램 내부의 독립적인 저장 공간으로, 각 뱅크가 동시에 연산을 수행할 수 있도록 설계했다.이번 발표의 핵심은 실제 제작한 반도체에서 AI 모델 성능 향상을 검증했다는 점이다. 삼성전자는 자체 개발한 엣지 AI 가속기 시스템온칩(SoC)에 기존 LPDDR5X와 LPDDR5X-PIM을 각각 연결하고 메타의 거대언어모델(LLM) ‘라마 3.1 8빌리언(B)’을 구동했다. ‘생각하는 메모리’인 프로세싱 인 메모리(PIM) 구조 설명자료. 삼성전자그 결과 LPDDR5X-PIM의 토큰 생성 속도는 초당 81.3개로 기존 LPDDR5X(27개) 대비 3.01배 빠른 것으로 나타났다. 같은 작업에 걸리는 시간도 12.3초에서 5.4초로 줄었다.토큰은 AI가 답변을 생성할 때 사용하는 글자나 단어 단위의 데이터 조각이다. 동일한 AI 모델을 사용하더라도 메모리 구조를 개선하면 추론 속도를 크게 높일 수 있다는 의미다.삼성전자는 앞서 LPDDR5X-PIM 시제품과 기본 성능을 공개해왔다. 이번 발표는 실제 반도체 칩에 상용 AI 모델을 적용해 성능 개선을 확인하고, 내부 연산 구조까지 구체적으로 공개했다는 점에서 의미가 있다.상용화를 고려한 설계도 적용했다. 삼성전자는 주소정렬모드(AAM)를 활용해 LPDDR5X-PIM이 기존 D램 메모리 컨트롤러를 그대로 활용할 수 있도록 했다. 메모리 컨트롤러는 프로세서와 메모리 사이에서 데이터 입출력을 관리하는 장치다. PIM 적용을 위해 기존 시스템 구조를 전면 개편해야 하는 부담을 낮춘 것이다.삼성전자는 차세대 LPDDR6-PIM의 국제반도체표준협의기구(JEDEC) 첫 정식 규격도 최종화 단계에 가까워졌다고 밝혔다. 특정 업체만 사용하는 기술을 넘어 다양한 시스템 업체가 활용할 수 있는 표준 메모리 기술로 확대하겠다는 계획이다.업계 관계자는 “삼성전자가 세계적인 반도체 학회 핫칩스에서 선보인 LPDDR5X-PIM은 메모리가 위치한 곳에서 AI 연산 일부를 직접 처리하는 구조적 변화”라며 “AI 반도체 경쟁도 이제 GPU의 연산 속도를 높이는 것뿐 아니라 데이터를 얼마나 효율적으로 이동시키고 처리하느냐가 중요한 단계로 넘어가고 있다”고 말했다.。在这些需求的带动下，产业链频频传递出“算力供不应求”信号。
二 | 财联社记者多方采访获悉，算力进入“拼系统”时代，构建超节点、超集群已经成为主流做法，且收获了下游各行业的积极反应。与此同时，TPU路线正在同步发力，华东地区首座国产TPU千卡智算集群已经落成。
三 | 多种方案涌现背后，产业最关心的则是Token性价比。
四 | “超节点是未来几年重点方向” 下游已给出积极反应 WAIC期间，华为昇腾950超节点（Atlas 950 SuperPoD）真机、超节点集群Atlas 950 SuperCluster、首个全国产十万卡AI超集群曙光8000（登峰）真机、燧原科技与中兴通讯（000063.SZ）联合打造的正交架构方案“云燧ESL64-O”超节点、阿里云磐久AL128超节点服务器、沐曦股份-U（688802.SH）新一代AI超节点曦景S600、摩尔线程-U（688795.SH)MTT C256超节点、壁仞科技(06082.HK）分布式解耦架构超节点方案、百度智能云超节点“天池”等格外吸睛。 华为昇腾950超节点 图片来源：财联社记者/摄 “云燧 ESL64-O”超节点 图片来源：受访者供图 中兴超节点方案 图片来源：受访者供图 中国电子云则发布了自研的翎枢6020轻量型、翎枢6032平衡型、翎枢6064性能型三款超节点产品。 中国电子信息产业集团有限公司首席科学家、中国电子云总工程师朱国平介绍，翎枢超节点将千百张GPU融合为单一逻辑超级单卡，通过Tbps级超高带宽、百纳秒级超低时延、统一内存编址提升算力释放效率。翎枢超节点覆盖20-64卡黄金算力区间，相比其他超节点方案，优势在于成本更低、生态开放，可兼容现有风冷、液冷机房。 云天励飞方面也告诉财联社记者，公司未来三年计划推出DeepVerse100P、DeepVerse100D和DeepVerse100L三款芯片，分别针对Prefill、Decode Attention和Decode FFN进行优化，未来在此基础上构建面向万卡异构集群的分离式AI推理基础设施。 财联社记者采访获悉，产业链下游已对超节点、超集群产品有了积极反应。中科曙光（603019.SH）方面提供的数据显示，曙光8000集群正式上线首周即需求爆满，应用满载运行，目前日均处理作业数突破15万个，单日处理作业峰值超过50万个。截至目前，曙光8000已完成近千项超智融合应用适配，覆盖大模型训练、高通量推理、科学计算等多个万卡级规模场景。 上线后快速满载，意味着科研机构、企业和开发者对超大规模、高质量算力的现实需求正在加速释放，也表明十万卡级算力已开始持续承接更加广泛的科研和产业任务。 据悉，曙光8000采用全球首创的高密度机柜结构，单个计算单元算力密度较其他超节点提升20倍，在有限空间内实现更高算力部署；自研scaleFabric类IB原生RDMA高速互连技术，实现十万卡规模稳定互连。
五 | 另据媒体报道，华为昇腾384超节点目前已商用落地750多套，规模应用于互联网、运营商、金融、教育、医疗、交通、制造等行业。 一位算力从业者告诉财联社记者，内部连接是超节点及算力集群发展面临的核心问题。“超节点架构、超节点内部的连接，这可能是我们现在包括未来几年重点（攻克）方向，核心是要解决GPU或TPU之间高速互联的问题，通过交换芯片提供单个节点大容量，比如可以提供64卡、128卡这种超大规模的连接，在这个基础上组建更大的千卡、万卡集群。” 据悉，在AI算力基础设施与数据中心网络架构中，Scale-Up、Scale-Out和Scale-Across分别为三种不同层次的扩展模式：Scale-Up（纵向扩展）聚焦于超节点内部的紧密耦合，Scale-Out（横向扩展）侧重于集群之间的规模扩张，Scale-Across（跨域互联）则致力于数据中心之间的广域协同，旨在打破单数据中心的物理极限。
六 | “Scale-Out相对来说更成熟，Scale-Up的挑战更大，这是我们要重点解决的。现在单个GPU Scale-Up领域的带宽都达到TB的级别，单交换机的交换容量可能要达到100T以上。解决了这个问题之后，才能组成大规模的集群。
七 | 大规模集群要为芯片解决的，就是把极限带宽提高。”前述从业者介绍。 财联社记者也从中兴通讯方面获悉，针对AI大模型规模化落地的网络升级要求，其构建的智能算力网络底座，主要聚焦Scale-Out机间网络（优化单集群内部通信效率，实现稳定降本、调优增效）与Scale-Across跨域互联（实现跨数据中心、跨地域的算力资源高效调度）两大核心场景。 TPU路线同步发力 产业最关心Token性价比 除了近几年持续热门的GPU路线，财联社记者还了解到，杭州电信、中兴通讯与中昊芯英联合打造了华东地区（杭州）首座国产TPU千卡智算集群，该集群亦是中国电信体系内首个大规模国产TPU集群部署项目。
八 | “选择做千卡集群而不是万卡集群，是因为我们想把它做成试验田。我们先把千卡级的软件栈系统集成到千卡集群上，在Token Factory上能提供不错的服务，在服务逐步做透的情况下逐步开展二期、三期。未来，我们也希望逐步从千卡向万卡集群迈进，在万卡集群上运行国产模型的训练推理，而且满足所有商用需求所需要的性价比。”中昊芯英创始人、CEO杨龚轶凡告诉财联社记者。
九 | 谈及GPU与TPU两条路线如何选择，中国电信杭州分公司智算中心总经理王良表示，“并不见得每个芯片都是全能选手，不同芯片在不同场景下有独特的长处，比如TPU擅长做张量运算，我们评估推理能力是TPU的长处。” 王良还介绍，“上述TPU千卡集群落地后运行得很好，尤其是今年的Token风口起来以后，市场上对Token的需求量很大。最近（我们）和中昊芯英测试完PD分离，这一技术把TPU的优势进一步放大，已经比较满足当初的设计目标。
十 | ” 据悉，该集群基于“泰则®”智算平台构建，将面向大模型训练、AI推理、科学计算等场景提供全自主算力支撑，该集群二期规划今年9月上线投产。“ 王良进一步谈到，调优将是一项非常重要的工作。他介绍，“现在所有的大模型厂商、芯片厂商，都是拿出百米冲刺的速度在跑马拉松，芯片厂商每年都会发布一个新版本，而大模型厂商每个季度都会发一个新版本，这里面的适配工作量是很大的。我们在持续的调优工作中发现，从年初到现在，TPU集群通过调优实现了超过10倍的效率提升。原来每百万Token的成本如果是100元，现在就差不多能降到10元以下。
十一 | ” WAIC期间，多位受访的算力产业人士均谈及了Token成本问题。 对于模型厂商、AI应用企业和算力运营方而言，真正影响商业化效率的是在一定时间和成本条件下，能够稳定生成多少有效Token。 财联社记者另从AI基础设施及智算云提供商九章云极方面了解到，AI从技术竞赛迈向规模交付，主要面临四个核心卡点：算力成本高企、多芯片计价割裂、GPU利用率困于30%红线、研发缺乏标准化体系。
十二 | 据悉，九章智算云在全球范围内已部署12个数据中心，算力总规模约22 EFLOPS，配备6600余张GPU卡，具备日产64亿词元（Token）的生产能力。从产出量看，DeepSeek-V4是当前产出最大的模型，日产24.5亿TOKEN，占比38%，随后依次为KIMI 2.5、Qwen-3.5、GLM-5、MiniMax-2.5。其弹性算力体系，已使得某头部模型厂商的项目综合成本最高节省了82.1%。
十三 | 云天励飞方面则告诉财联社记者，降低Token成本是一项系统工程，从底层的IP、EDA、芯片设计和封装测试，到服务器、互联、软件栈和算力平台，再到模型及应用，各环节都会影响最终的Token生成效率。 据了解，目前国内主流大模型的公开API价格已明显分层。根据不同模型能力和服务方式，常规文本模型的输入价格大致为每百万Token几角钱至十余元，输出价格大致为每百万Token一两元至数十元。 “现在的问题不是将百万Token成本价格从2毛降到1毛，更多的是提升Token价值，这是算力基建和模型要协力解决的问题。如果价值的问题可以解决，定价2块或10块大家都不觉得贵。
十四 | ”前述算力从业者也表示。
十五 | （财联社记者 付静）。 Current article:http://t4sj.linlangdouwaqiexusan.bond/edt1/20260826/31358.html Published on:12:39:07 |
