《电子发烧友：2024年AI服务器和AI PC趋势解读报告（38页）.pdf》由会员分享，可在线阅读，更多相关《电子发烧友：2024年AI服务器和AI PC趋势解读报告（38页）.pdf（38页珍藏版）》请在薪酬报告网上搜索。
1、2024年AI 服务器和AI PC趋势解读电子发烧友网副主编章鹰1电子发烧友网编辑电子发烧友网2024.07.012024.07.01目录目录数据中心、数据中心、AIAI服务器市场趋势服务器市场趋势AI PCAI PC市场规模和趋势市场规模和趋势AIAI PCPC终端厂商和上游产业链终端厂商和上游产业链总结总结AI PCAI PC产业应用和生态产业应用和生态AIAI服务器的发展挑战和质量检测服务器的发展挑战和质量检测2数据中心、数据中心、AIAI服务器市场趋势服务器市场趋势数据中心4数据中心按照算力可以分为三类：云数据中心、智算中心和超算中心。云数据中心面向众多应用场景和应用层级扩张；智算中心
2、以AI专用芯片为计算算力底座，以促进AI产业化和智能化为目标，面向AI典型应用场景；超算中心主要支持科学计算和工程计算，主要由国家科技部布局建设。国内数据中心建设较全球起步晚，目前处于云中心深化阶段，向智能算力中心转型，总体处于成长期。电子发烧友根据公开资料制图生成式AIAI支出高速增长5国际调研机构IDC统计，2023年全球生成式AI支出的市场规模预计为387.9亿美元，2027年全球生成式AI支出将达1454.2亿美元，2023-2027年CAGR为55.3%。中国生成式AI支出将达到35.3亿美元，2027年预计中国生成式AI支持将达到129.3亿美元，2023-2027年CAGR为54
3、.1%。海外企业应用生成式AI意愿强烈。OpenAI首席运营官Brad Lightcap预测2024年是AI应用元年，目前已有超过60万人注册使用ChatGPT企业版。6月11日，OpenAI在官网宣布与苹果达成技术合作，将 ChatGPT 深度集成在苹果产品矩阵中，包括最新的iOS、iPadOS和macOS。苹果将AI大语言模型集成到iPhone、iPad、Mac等设备中，算力从云端向终端转移趋势出现。数据来自IDC，电子发烧友制图数据来自IDC，电子发烧友制图全球需求快速增长，国内AIAI服务器处于增长期6根据Trendforce 测算，2023 年全球 AI 服务器出货量逾120.8万台
4、，同比增长超过37.7%。这家机构预测，2024年全球AI服务器整机出货量将达167.2万台，同比增长38.4%。台积电在Q1法说会上表示，AI需求的增长将以50%的复合增长率持续至2028年，AI服务器需求增长也有望以较高速度持续至2028年。国际数据公司（IDC）与浪潮信息联合发布报告显示，2023年，中国人工智能服务器市场规模将达91亿美元，同比增长82.5%；智能算力规模预计达到414.1EFLOPS（每秒百亿亿次浮点运算），同比增长59.3%，2022年到2027年，年复合增长率达到33.9%。数据来自Trendforce,电子发烧友制图图片：台积电Q1财报AIAI 服务器分类7按照
5、用途区分，AI服务器分为训练和推理两大类别。训练用服务器对存储空间、带宽和算力的要求较高，主要采用8-GPU 设计；推理用服务器对算力、存储和带宽的要求相对较低，取决于业务场景，可以采用 GPU、NPU、CPU 等不同芯片承担推理任务，可以采用PCLe接口的AI加速器实现推理任务。服务器随场景需求经历通用服务器-云服务器-边缘服务器-AI服务器四种模式，AI服务器采用GPU增强其并行计算能力。CPU+GPU是AI服务器的核心部件。机柜级解决方案有望成为未来 AI 服务器出货主流形式之一。电子发烧友拍摄图片来自慧博智能投研AIAI 服务器-上游产业链构成（一）8CPU+GPUCPU+GPU英特尔
6、AMD龙芯中科HDD/SSDHDD/SSD三星金士顿威刚DRAMDRAM内存内存三星、SK海力士美光Auras TechnologySunon;AVC Technology电源电源冷却方案冷却方案AI 服务器产业链上游为基础设施供应商，包括芯片CPU、GPU，存储（内存DRAM和内存接口及HBM，本地存储SSD），被动元器件、智能网卡、机箱、主板、散热、电源等。台达电子艾默生光宝科技中国长城欧陆通英伟达AMD英特尔寒武纪CPUGPUAIAI 服务器-上游产业链构成（二）9固态硬盘固态硬盘三星金士顿威刚PCBPCB鹏鼎控股东山精密健鼎科技被动元器件被动元器件村田TDK太阳诱电散热器散热器互联网接
7、口互联网接口台达电子富士康AEC质量检测质量检测蔡司是德科技爱德万测试福禄克英伟达TIADIAI服务器中游和下游中游：ODM厂商国外厂商：Wiwynn、Supermicro国内厂商：工业富联、广达、英业达、纬创、技嘉中游：AI服务器厂商国外厂商：戴尔、思科、富士通、甲骨文（Oracle）国内厂商：联想、浪潮、华为、新华三、宝德、思腾合力AI服务器下游-应用市场企业类型：互联网企业、云计算企业、电信运营商、金融机构其他类型：政府部门、数据中心服务商、医疗领域10AI服务器服务器厂商厂商戴尔戴尔Power Edge XE968001中科曙光中科曙光Text here04新华三新华三H3C Unis
8、erver R5360 G606联想联想03浪潮浪潮02华为华为Atlas 800 AI服务器05六大六大AI服务器厂商服务器厂商AI 服务器的品牌厂商，包括戴尔、浪潮、联想、中科曙光、新华三、华为、宝德、安擎和工业富联等。ThinkSystem SR670 V2 AI服务器NF5468M6AIAI服务器的发展挑战和质量检测服务器的发展挑战和质量检测AIAI 服务器发展的三大挑战13AI服务器有五大硬件板块：CPU母板组、GPU板组、电源模组、硬盘和配件（机壳、机架、连接器和电感）。今年，随着大模型部署加速，AI算力需求飙升，英伟达GB200服务器下半年出货，带动液冷、GPU板组上的PCB需求
9、的增加。三大挑战：一、先进的GPU加速卡需要使用多层高阶HDI板，PCB的材料和产品质量如何保证；二、AI服务器对传输速度要求较高，高速连接器正朝向“56G112G224G”的方向发展，高速和高密度背板连接器如何满足AI算力释放需求，这都需要工业检测领域的有效方案来护航。三、智能算中心走向高密度，单颗高性能AI芯片的热设计功耗将突破1000W，达到了传统风冷散热的极限，液冷技术成为主要趋势。图：联想ThinkSystem SR670 V2 AI服务器，来自联想官网图片来自网络数据中心与AIAI服务器的生产制造品质更高要求14AI服务器具有高功率、高速运算和数据传输等特点，以及不间断运行的高价值
10、设备，因此对于各方面的元器件的质量要求更高，要在生产制造各个环节的检测有更高的技术支持。支持更强算力的支持更强算力的AI服务器会用到：服务器会用到：1、多层高阶HDI PCB板 更多层，更高的线路密度2、高功率机架3、多相电源供电系统4、采用更好的被动元件，如叠层片式铁氧体磁珠5、高速的背板服务器6、固态硬盘、光模块7、液体冷却系统等。对于这类产品的对于这类产品的失效性分析、质量检查的品质要求更高失效性分析、质量检查的品质要求更高就目前的数据中心硬件方面，蔡司已识别出5个应用场景和7个新趋势点，如何做好质量控制，以及一系列的失效分析检查才是保证数据中心发挥最大效能的关键点。例如：通过检查层片式
11、铁氧体磁珠，可以使用蔡司工业显微镜去直观的发现失效点，通常我们使用电镜去观察，使用Sigma电镜去且无需额外的消磁处理即可放大到1万倍去观测磁珠表面的情况数据中心数据中心IT IT 算力设备AI AI 服务器多相电源叠层片式铁氧体磁珠多层高阶HDI板高速背板连接器高功率机架固态硬盘通信设备交换机核心交换机光模块路由器散热制冷系统液体冷却系统液冷板图片来源于网络AIAI服务器5 5个新趋势，1010个重点应用15散热制冷系统 冷板冷却是数据中心主流的液体冷却解决方案数据中心能耗组成PUE是国内外数据中心普遍接受和采用的一种衡量数据中心基础设施能效的指标.到2025年，全国新建大型、超大型数据中心
12、电能利用效率（PUE）降到1.3以下。制冷设备占非IT设备能耗的大部分。冷板直接安装在热源的顶部，中间有一层热界面材料以增强传热。在冷板内部，液体流过微观结构并流出到某种形式的热交换器。图片来源于网络图片来源于网络IT设备制冷设备电源系统照明系统其它16平面度和孔间距测量。采用GOM蓝光技术和立体摄像原理，提供高精度三维数据。小巧，可移动，超级易用。搭配Zeiss Inspect软件，轻松处理检测过程中的简单和复杂的任务。样品样品测试要求测试要求价值主张价值主张GOM Scan 1AIAI服务器的液冷板尺寸测量17行业常用的生产制造的检测方案18行业检测解决方案包括CMM&VMM检测，光学系统
13、AOI检测，能够穿透元器件及产品内部的X射线检测，以及各种工业显微镜。图片来源：蔡司ZEISS官网算力从云端向终端迁移19随着生成式AI的飞速普及和计算需求的日益增长，云经济难以支持生成式AI规模化扩展，云端必须与终端侧协同运行AI应用。端侧AI部署成为AI实现规模化扩展及应用落地的关键。数据中心服务器低功耗低带宽计算效率边缘设备手机PC汽车AI PCAI PC市场规模和趋势市场规模和趋势PCPC市场现状：全球PCPC疲软，中国市场企稳回暖21IDC预测，2024年全球PC市场与2023年持平，出货量达到2.602亿台。尽管带有NPU，有能力运行端侧生成式AI功能的AI PC集中在下半年上市，
14、暂时未能显著带动PC市场的出货量。2024年，中国整体PC市场转好，2024年出货量同比去年增长 3.8%。Q1全球PC市场回暖，六大PC厂商联想、惠普、戴尔、苹果、宏碁和华硕业绩出现分化。今年将成为中国AI PC快速发展的第一年，预计20242024年整体年整体PCPC市场市场AI PCAI PC占比将达到占比将达到55%55%，而，而20272027年将达到年将达到85%85%。AI PC在中小企业市场发展最快，2024年将超过60%；消费市场受游戏场景和学习创作场景带动，2024年将达到55.4%。大企业受到安全因素影响，初期部署较慢，估计到2027年，AI PC在大客户市场的占比将达到
15、76.8%。PC市场目前以存量市场为主，用户换机周期长。AI PC的上市能够实现PC的新升级，有望拉动PC的换机需求。图来自IDCAIAI PCPC 的定义22英特尔和微软联手定义AI PCAI PC：PC除了需要CPU、GPU、NPU之外，键盘上还有物理的Microsoft Copilot键，能够在本地运行Copilot。目标：目标：与传统PC不同，AI PC最重要的是嵌入了AI芯片，形成“CPU+GPU+NPU”的异构方案，可以支持本地化AI模型，能够更快地执行AI任务，并且无需将数据（尤其是敏感数据）发送到基于云的AI服务器进行处理。图：华硕灵耀14双屏，搭载Intel Ultra9，电
16、子发烧友拍摄图片：来自网络AIAI PCPC市场规模展望232024是AI PC发展元年。IDC 预测，到2028年中国下一代AI PC年出货量将是2024年的60倍。摩根士丹利认为，AI PC将从今年下半年开始剧增，预计将从1000美元以上的笔记型电脑开始普及，最终将下降到500美元的价格区间。调研机构Canalys数据显示，2024年下半年，AI PC的广泛推出将推动市场发展，为暂缓购买的用户提供创新性和吸引力的产品。2024年全球AI PC出货量将达到4800万台，占个人电脑总出货量的18%。5 5月底，微软月底，微软CopilotCopilot发布端侧模型，基于本地算力可以为用户提供本
17、地大模型的训练和功能计算。相比云端，端侧模型具备发布端侧模型，基于本地算力可以为用户提供本地大模型的训练和功能计算。相比云端，端侧模型具备较高安全性和及时性，是下一代较高安全性和及时性，是下一代PCPC必不可少部分。必不可少部分。微软CopilotCopilot+PCPC 技术亮点241、算力升级、算力升级NPU达到40Tops+16GB RAM配置，新一代Copilot PC运行速度比苹果MacBook Air快38%。2、回溯记忆（、回溯记忆（Recall）在在GPT-4o加持下，加持下，这项功能允许截取设备使用情况的屏幕截屏，并且存储在本地，加强隐私保护。3、渲染交互、渲染交互实时交互能
18、力，尤其在图像生成、视频剪辑、游戏渲染方面为物体和人物强化视觉效果。4、实时字幕、实时字幕在强大算力和语言模型帮助下，机器将40多种语言的实时字幕翻译成英语。AI PCAI PC终端厂商和上游产业链终端厂商和上游产业链公司名称公司名称产品型号产品型号处理器处理器发布时间发布时间模型模型价格价格（元）（元）AI功能功能联想ThinkPad X1 CarbonIntel 酷睿 Ultra 7Q4,2023支持200亿参数大模型1199916999AI智能会议、智能降噪、AI个人助理Idea Pad ProIntel 酷睿i5 Q2,2024支持200亿参数语言大模型1299欧元生成式AI创作，图文
19、转换YOGA Book 9i Intel 酷睿 Ultra 7Q2,2024支持200亿参数语言大模型15999配备 Yoga CreatorZone 软件Dell 新 XPS 14Intel 酷睿Ultra 7 165HQ1,2024支持200亿参数大模型14999-19999AI 能效提升、文本生成、语言翻译，运行AI软件华硕灵耀14双屏Intel酷睿Ultra 9185H Q4,2023支持200亿参数语言大模型14999AI图像生成，运行大模型，适配10款国内大模型Zenbook 14Intel酷睿Ultra 9185H Q1,2024支持200亿参数语言大模型1000美金AI图像处理
20、、视频编辑、AI降噪宏碁Swift Go14Intel酷睿Ultra 9185H Q1,2024支持200亿参数语言大模型5499元起AI降噪、图形优化部分国际厂商部分国际厂商AI PC终端产品（一）终端产品（一）电子发烧友根据公开资料整理26公司名公司名称称产品型号产品型号处理器处理器发布时间发布时间模型模型价格（元）价格（元）AI功能功能惠普幽灵Spectrex360 16英寸Intel 酷睿 Ultra 7155HQ1,2024支持200亿参数语言模型14999AI增强视觉、AI辅助，AI音频体验优化星Book Pro14 AIIntel酷睿 Ultra 5Q1,2024支持200亿参数
21、语言模型5399-7099生成式AI创作、AI助手OMEN TranscendIntel酷睿 Ultra 9185H Q2,2024支持200亿参数语言模型6499-13999AI辅助内容创作，AI降噪微软Surface Pro11版骁龙 X EliteQ2,2024支持端侧运行130亿参数的语言大模型8688-16088Recall功能，实时翻译、支持文生图、语音交互Surface Laptop 7骁龙 X EliteQ2,2024支持端侧运行130亿参数的语言大模型11188-15388Recall功能，实时翻译、支持文生图、语音交互荣耀MagicBook Pro 16Intel酷睿 Ul
22、tra 5Q1,2024支持200亿参数语言模型9299文本生成、语言翻译，运行AI软件部分国际厂商部分国际厂商AI PC终端产品（二）终端产品（二）电子发烧友根据公开资料整理27联想AIAI PCPC产品陆续上市284月，联想YOGA Book 9i AI正式上市，搭载酷睿Ultra 7 155U处理器，集显性翻倍体验，保证了其在处理各种复杂任务时的流畅性和高效性。6月26日，联想集团宣布推出基于高通骁龙X Elite平台的YOGA Air 14s骁龙AI元启，以及YOGA Air 14c AI元启和拯救者Y9000P AI元启三款AI PC。YOGA Air 14s骁龙AI元启基于高通骁龙
23、X Elite平台，NPU算力高达每秒45万亿次，搭配联想小天，文档总结速度提升22%，生图速度提升45%，可轻松驾驭Office文档处理、浏览网页、PS作图的多任务并行状态，续航长达24小时。图片来自联想搭配骁龙X X系列的2020款AIAI PCPC29。图片来自高通AIAI PCPC处理器芯片30AI PC芯片厂商：Windows On ARM应用拐点到来，全新Arm版Surface具备高性能和低功耗。目前，高通、苹果都已经推出ARM架构的PC处理器芯片,联发科携手英伟达推进Arm PC处理器开发。X86芯片迭代更新，性能持续提升。英特尔Meteor Lake首次集成NPU，Lunar
24、Lake和Arrow Lake加速提高处理器性能，已经20多台型号搭载骁龙X系列的Copilot+PC开始接受预订。Snapdragon X EliteIntel宣布与主流OEM伙伴推出230余款机型，开启AI PC新纪元。Intel Core Ultra6月，AMD推出Ryzen AI 300,50Tops算力。HP、Lenovo、Dell预计7月推出含该款芯片的PC新品。AMD Ryzen AI 300公司名称公司名称产品型号产品型号NPU制程制程发布时间发布时间合作品牌合作品牌高通Snapdragon X Elite45Tops4nmQ3.2023宏碁、华硕、戴尔、惠普、联想、微软和三星
25、Snapdragon X PLus45Tops4nmQ2.2024宏碁、华硕、戴尔、惠普、联想、微软和三星Intel酷睿Ultra 7 155H34TOPSIntel 4Q4.2023联想、Dell、惠普、华硕、宏碁、荣耀、新华三Lunar Lake40TopsIntel 18AQ3,2024/Arrow Lake/预计2025年/AMDRyzen 805040Tops4nmQ2.2024/Ryzen AI 30050Tops4nmQ2.2024惠普、华硕、联想计划7月推出带有AMD的AI PC国际厂商推出国际厂商推出Copilot PC处理器芯片处理器芯片31AIAI PCPC 产业链-上游
26、硬件32CPUCPUX86X86架构架构Intel、AMD、兆芯龙芯中科ARM架构高通苹果华为联发科GPUGPU英伟达AMD摩尔线程内存内存三星、SK海力士美光江波龙长鑫主板主板BOE三星DellHP电源电源显示器显示器华硕ECSAI PC产业链上游为基础设施供应商，包括CPU芯片、GPU芯片、EC芯片、存储芯片、操作系统、显示器等。1、AI PC拉动存储需求上升，对大容量存储需求增多，驱动DDR5成为主流需求。2、伴随 AI PC 对数据传输速率及功耗提出更高要求，高频高速 PCB 是未来发展必然趋势。新普德赛电池欣旺达珠海冠宇AIAI PCPC 产业链-软件33操作系统操作系统Micros
27、oftMicrosoft统信软件苹果IOS、麒麟软件数据库管理系统数据库管理系统Oracle甲骨文IBMOCEAN BASE社交应用社交应用微信微博QQ办公应用办公应用哔哩哔哩抖音快手支付应用支付应用微信支付支付宝招行APP华为支付娱乐应用娱乐应用钉钉企业微信WPS中游为AI整机厂，包括鸿海科技、广达、仁宝、华勤技术、闻泰科技、LCFC联宝科技、英业达，下游是品牌厂商，包括联想、惠普、DELL、HONOR、华为等。AI PCAI PC产业应用和生态产业应用和生态AIAI PCPC的六大应用场景351、AI Chatbot（AI聊天机器人）,Chatbot将面向特定行业和领域进行定向优化，带来专
28、业问答体验；2、AI PC助理，可以简化用户对PC的各种操作，管理PC上的数据和个人文档。3、AI Office助手，以Office插件的形态出现，提升办公软件使用效率。4、AI 本地知识库，AI PC将个人或企业的文件转换成运行在设备上的知识库，帮助用户进行快速的文档处理。5、AI图像视频处理，通过用户输入的提示词生成多媒体内容，包括图像、视频、音频以及后期处理。6、AI PC管理，用户在AI帮助下实现对AI PC的远程管理、安全防护、跨设备IT管理和运维等功能。图片来自联想传统PCPC VSVS AIAI PCPC产业生态36传统PC传统PC生态以操作系统为基础，用户通过系统界面直接与计算
29、机交互，执行各项操作和任务。在传统PC生态中，用户根据自己的喜好，选择软件，个体定制属性较弱。主导权在B端企业对用户的喜好了解范围内，用户的个性化需求尚待提高。AI PCAI PC产业中，个人智能体成为第一入口，在大模型和应用生态的支持下，准确定义产业中，个人智能体成为第一入口，在大模型和应用生态的支持下，准确定义用户指令，给出恰当反馈，跨应用角度用户指令，给出恰当反馈，跨应用角度。模型、应用、算力厂商都必须围绕AI PC终端形态下的个人需求做出改变，在研发中要对AI的高效运行给予支持。从AI PC场景端来看，目前已发布的AI PC产品聚焦在办公场景、专业创作场景和教育场景的应用，随着AI P
30、C性能的提升。预计2025年起厂商在场景的竞争将会更细分化和垂直化方向发展，包括游戏场景、细分行业定制场景等。总结总结3712345算力从云端向终端转移，端侧AI部署成为AI实现规模化扩展及应用落地的关键。AI 手机、AI PC、AI大模型汽车都成为端侧落地的重要途径。今年下半年，在AI 大模型拉动下，海外云厂商扩大资本支出，AI服务器有望迎来出货爆发期。AI PC有望成为今年PC更新换代的驱动力。AI PC的创新产品将配备AI计算和私有基础模型。具备文生图、AI创作、AI智能会议、AI降噪、实时翻译等多种功能。高算力、低功耗是 AI PC 发展趋势。X86架构的英特尔芯片是AI PC主处理器芯片。Windows on ARM 拐点已至，Arm 架构 AI PC 渗透率有望快速提升。包括AI服务器和AI PC的整机产品将推动PC产业生态发生显著变革。以个人智能体为入口的AI PC，硬件和软件厂商都要围绕AI PC做出改变。AI PC的出货量成长带动内存、PCB、电池和散热方案的全面升级。谢谢观看谢谢观看38
