《计算机行业AI系列深度报告（四）：大模型篇大模型发展迈入爆发期开启AI新纪元-240815（41页）.pdf》由会员分享，可在线阅读，更多相关《计算机行业AI系列深度报告（四）：大模型篇大模型发展迈入爆发期开启AI新纪元-240815（41页）.pdf（41页珍藏版）》请在本站上搜索。
1、AIAI系列深度报告（四）系列深度报告（四）大模型篇：大模型发展迈入爆发期，开启大模型篇：大模型发展迈入爆发期，开启AIAI新纪元新纪元证券研究报告20242024年年8 8月月1515日日闫磊投资咨询资格编号：S1060517070006黄韦涵投资咨询资格编号：S1060523070003王佳一一般从业资格编号：S1060123070023 证券分析师证券分析师研究助理研究助理请务必阅读正文后免责条款请务必阅读正文后免责条款计算机行业计算机行业 强于大市（维持）强于大市（维持）核心摘要核心摘要技术：大模型发展呈现技术：大模型发展呈现“规模定律规模定律”，TransformerTransfor
2、mer为技术基座为技术基座。大模型（LLM）发展普遍呈现“规模定律”特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系。当前主流大模型普遍是基于Transformer模型进行设计的，Transformer由Encoder（编码器）和Decoder（解码器）两类组件构成，而OpenAI的GPT是Transformer演化树中Decoder-only架构的代表。我们纵观GPT系列模型的发展历程，从GPT-1到GPT-3，参数量从1.1亿大幅提升至1746亿，GPT-4非官方估计达到万亿参数（根据Semianalysis消息，GPT-4包含1.8万亿参数），实现性能的突破。
3、GPT在众多大模型角逐中能够取得瞩目，技术角度上，主要源自其可拓展的训练架构与学习范式以及对于数据质量与数据规模的重视。然而，我们认为GPT的成功也并非全部源自技术性因素，OpenAI能够从早期众多的技术路线中识别到并坚定执行这条路线，这需要大模型团队足够的技术前瞻和定力。市场：全球大模型竞争白热化市场：全球大模型竞争白热化，国产大模型能力对标国产大模型能力对标GPTGPT-3 3.5 5TurboTurbo。全球大模型竞争中，OpenAI、Anthropic、谷歌三大厂商为第一梯队，2024年以来三家大模型能力呈现互相追赶态势。开源大模型厂商中，Meta AI（Llama）、欧洲Mistra
4、l AI等厂商的大模型性能保持前列，图像生成大模型以Midjourney、StableDiffusion、OpenAI的DALLE为代表，视频生成以Runway的Gen、Pika和OpenAI的Sora为代表。2023年底国产大模型迈入爆发期，从参与者来看，国内AI大模型厂商大致可以分为互联网/科技公司、AI公司、学术/科研机构、行业专家品牌四类。从模型能力来看，根据SuperCLUE上半年最新的评测结果，国内绝大部分闭源模型已超过GPT-3.5Turbo，其基准上表现最好的国产大模型为阿里云的开源模型Qwen2-72B，超过众多国内外闭源模型，与GPT-4o仅差4分。变现：变现：APIAPI
5、同质化同质化、订阅实现难订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路。OpenAI绝大多数收入来自API调用和ChatGPT订阅，但它的成功并不易复制，值得注意的是，一方面，API是较为普遍的变现方式，但由于大模型性能趋向同质化，全球API价格呈现下降趋势，另一方面，相较API，实现订阅的难度更高，由于AI-first应用目前在用户留存度和粘性上稍显落后，当前在AI产品市场还未出现真正意义上的Killer App。我们尝试总结了两条大模型变现的破局之路：1）C端：AIAgent是通往AGI与Killer App的钥匙。国内以互联网/科技公司、大模型厂商、企业服务
6、SaaS类厂商为代表的越来越多的企业参与进AI Agent市场，产品形态既包括面向企业和开发者的Agent构建平台/框架，也包括服务于各个垂直行业的专业Agent。2）B端：面对企业级需求的快速增长，目前，微软云Azure、阿里云、华为云、腾讯云、百度云、京东云等云服务提供商都已经推出了MaaS（Model as a Service），帮助企业降低模型使用门槛。算力：大模型发展催生海量算力需求算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模预计带来千亿美元市场规模。大模型技术与应用发展催生海量算力需求，根据Jaime Sevilla等人的研究，2010-2022年在深度学习兴起背景下
7、，机器学习训练算力增长了100亿倍。持续增长的大模型与AI产品研发需求同时也推升了科技巨头的资本支出，2024年2季度微软、Meta、谷歌、亚马逊四家公司合计资本支出为571亿美元，同比增长66%，环比1季度增长22%。在此背景下，大模型的持续迭代升级将为AI芯片及服务器发展提供强劲动力，我们对不同参数规模的大模型在训练与推理（问答场景）两个阶段的算力需求进行了测算，假设未来有100家大模型实现持续经营，最终测算得到AI服务器的市场规模为2301亿美元。如果再考虑问答场景之外的推理场景，AI服务器的市场规模将更加巨大。根据IDC数据，2023年的全球AI服务器市场规模是211亿美元，相比202
8、3年全球AI服务器市场规模，大模型的持续迭代升级将为AI服务器市场带来广阔的市场空间。投资建议：投资建议：当前，全球范围内大模型领域的竞争依然白热化，我国大模型厂商持续迭代升级算法能力，2023年底国产大模型市场迈入爆发期，根据SuperCLUE上半年最新的评测结果，国内绝大部分闭源模型已超过GPT-3.5Turbo，将有望加速国产大模型在各场景的应用落地。同时，大模型的持续迭代升级将为AI芯片及服务器发展提供强劲动力，根据我们测算，假设未来有100家大模型实现持续经营，在训练与推理（问答场景）两个阶段，大模型将为AI服务器带来约2301亿美元的市场空间。我们继续看好AI主题的投资机会，标的方
9、面：1）算力方面，推荐浪潮信息、中科曙光、紫光股份、神州数码、海光信息、龙芯中科，建议关注寒武纪、景嘉微、软通动力；2）算法方面，推荐科大讯飞；3）应用场景方面，强烈推荐中科创达、恒生电子、盛视科技，推荐金山办公，建议关注万兴科技、同花顺、彩讯股份；4）网络安全方面，强烈推荐启明星辰。风险提示：风险提示：1）AI算力供应链风险上升。2）大模型产品的应用落地低于预期。3）国产大模型算法发展可能不及预期。8XfYdXbZ9WbUcWeU6MdN8OmOpPtRrNiNrRwOiNqRpRaQnNwPvPqNrQvPqRpN目录目录C CO N T E N T SO N T E N T S市场：全球
10、大模型竞争白热化，国产大模型能力对标市场：全球大模型竞争白热化，国产大模型能力对标GPTGPT-3.5Turbo3.5Turbo技术：大模型发展呈现“规模定律”，技术：大模型发展呈现“规模定律”，TransformerTransformer为技术基座为技术基座变现：变现：APIAPI同质化、订阅实现难，同质化、订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模投资建议及风险提示投资建议及风险提示1.1 1.1 大模型“大力出奇迹”的背后：大模型“大力出奇
11、迹”的背后：Scaling LawScaling Law大规模语言模型（Large Language Models，LLM）泛指具有超大规模参数超大规模参数或者经过超大规模数据超大规模数据训练所得到的语言模型。与传统语言模型相比，大语言模型的构建过程涉及到更为复杂的训练方法，进而展现出了强大的自然语言理解能力和复杂任务求解能力。LLMLLM发展时间线发展时间线资料来源：各公司官网，中国人民大学大语言模型，平安证券研究所1.1 1.1 大模型“大力出奇迹”的背后：大模型“大力出奇迹”的背后：Scaling LawScaling Law大模型发展普遍呈现“规模定律大模型发展普遍呈现“规模定律”（S
12、caling LawScaling Law）特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系，）特征，即：模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系，性能会随着这三个因素的指数增加而线性提高。性能会随着这三个因素的指数增加而线性提高。大模型的参数规模远大于传统深度学习模型，传统模型参数量通常在数万至数亿之间，大模型的参数量则至少在亿级，并已发展到过万亿级的规模。如OpenAI的GPT-1到GPT-3，参数量从1.1亿大幅提升至1746亿，GPT-4非官方估计达到万亿参数（根据Semianalysis消息，GPT-4包含1.8万亿参数），实现性
13、能的突破。根据Google论文，这种大模型具有但小模型不具有的能力通常被称为“涌现能力”（Emergent Abilities）。主流大模型参数量主流大模型参数量涌现能力：当模型扩展到一定规模时，模型的涌现能力：当模型扩展到一定规模时，模型的特定任务性能突然出现显著跃升的趋势特定任务性能突然出现显著跃升的趋势资料来源：各公司官网，Epoch AI，腾讯研究院，Semianalysis，IT之家，GoogleEmergent Abilities of Large Language Models，平安证券研究所1.2 Transformer1.2 Transformer是是LLMLLM基座，核心优
14、势在于基座，核心优势在于SelfSelf-attentionattention机制机制当前主流大模型普遍是基于Transformer模型进行设计的。Transformer模型在Google团队2017年论文Attention Is All You Need中被首次提出，Transformer的核心优势在于具有独特的自注意力（Self-attention）机制，能够直接建模任意距离的词元之间的交互关系，解决了循环神经网络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长
15、序列数据。Self-attention机制能够同时处理序列中的所有位置，捕捉全局依赖关系，从而更准确地理解、表示文本含义。2）实现并行化计算：RNN作为时序结构，需要依次处理序列中的每个元素，计算速度受到较大限制，而Transformer则可以一次性处理整个序列，大大提高了计算效率。资料来源：Jay AlammarThe Illustrated Transformer，平安证券研究所TransformerTransformer通过通过SelfSelf-attentionattention将“将“itit”与“”与“animalanimal”联系起来”联系起来AttentionAttention
16、的计算的计算1、将输入序列x的每个元素（词或字）映射到一个向量表示。这些向量表示称为查询（Query）、键（Key）和值（Value）2、分别计算q1与k1、k2的点积。点积结果表示两个元素之间的相关性。3、使用softmax函数对点积结果进行归一化。矩阵计算方法：矩阵计算方法：4、将归一化后的权重与对应的值v向量相乘，并对所有元素求和。当编码“it”时，部分attention集中于“the animal”，并将其表示合并到“it”的编码中SelfSelf-attentionattention机制机制 每个token是通过所有词动态加权得到 动态权重会随着输入的改变而变化1.2 Transfo
17、rmer1.2 Transformer组件：组件：EncoderEncoder重理解，重理解，DecoderDecoder重生成重生成Transformer由两类组件构成：Encoder（编码器）和Decoder（解码器）。通常，Encoder结构擅长从文本中提取信息以执行分类、回归等任务，而Decoder结构则专用于生成文本。实际上，两类组件可以独立使用，当前主流大模型中，诞生了以BERT为代表的Encoder-only架构、以T5为代表的Encoder-decoder架构、以GPT为代表的Decoder-only架构的大规模预训练语言模型。资料来源：GoogleAttention Is A
18、ll You Need，Jay AlammarThe Illustrated Transformer，GoogleBERT:Pre-training of Deep Bidirectional Transformers for Language Understanding，AmazonHarnessing the Power of LLMs in Practice:A Survey on ChatGPT and Beyond，平安证券研究所TransformerTransformer模型网络架构模型网络架构主流大模型网络架构演化树主流大模型网络架构演化树EncoderEncoderBlockB
19、lockDecoderDecoderBlockBlockEncoderEncoderDecoderDecoderDecoderDecoder-onlyonlyEncoderEncoder-decoderdecoderEncoderEncoder-onlyonly1.3 GPT1.3 GPT系列模型技术发展历程回顾系列模型技术发展历程回顾从技术角度来看，结合中国人民大学大语言模型的观点，GPT在众多大模型角逐中能够取得瞩目，有以下几点值得注意1 1）可拓展的训练架构与学习范式：）可拓展的训练架构与学习范式：当谷歌2017年推出基于注意力机制的Transformer模型后，OpenAI团队能够迅速
20、洞察到其作为大规模可扩展训练的理想架构的潜在优越性，最终将Transformer拓展到百亿、千亿甚至万亿参数规模，并且将预训练任务统一为通用学习范式。2 2）对于数据质量与数据规模的重视：）对于数据质量与数据规模的重视：高质量数据、超大规模数据成为GPT成功的关键基础，比如，OpenAI将人类生成的对话数据和高质量的标注数据用于训练ChatGPT，使得ChatGPT在与人机对话测试中展现出了优秀能力。然而，我们认为GPT的成功并不是全部源自技术性因素，Transformer、RLHF算法等等关键技术都并非OpenAI首创，并且也在被其他研究团队广泛使用，我们认为OpenAI能够从早期众多的技术
21、路线中识别到并且坚定地去执行这条路线，这来自OpenAI团队足够的技术前瞻和策略定力。比如，OpenAI在早期GPT-2的论文中，就深入讨论了基于大规模文本预训练的通用任务学习范式；再比如GPT-3将参数规模极限拓展到175B，实际上，OpenAI两篇关于Scaling Law的论文都是在2020年发表的，这说明在前期已经进行了比较充分的实验探索。资料来源：OpenAI官网，中国人民大学大语言模型，平安证券研究所GPTGPT系列模型技术发展的历程图系列模型技术发展的历程图GPTGPT-1 1的两阶段范式的两阶段范式GPTGPT-3 3证明参数扩展和增加提示学习的正效应证明参数扩展和增加提示学习
22、的正效应1.3 GPT 131.3 GPT 13：采用：采用TransformerTransformer架构，参数规模拓展至千亿级架构，参数规模拓展至千亿级GPTGPT系列模型的技术演变（系列模型的技术演变（GPT 13GPT 13）：）：2017年，Google推出Transformer后，OpenAI迅速着手并于2018年推出的第一个GPT模型，全称为Generative Pre-trained Transformer。GPT-1基于生成式、Decoder-only的Transformer架构开发，由于参数规模相对较小，模型尚缺乏通用任务求解能力，GPT-1采用Pre-training(预
23、训练)+Fine-tuning(微调)的两阶段范式，先通过单向Transformer预训练一个通用的模型，然后在特定子任务上进行微调。GPT-2沿用GPT-1类似架构，并将参数规模扩大至1.5B，并使用大规模网页数据集WebText进行预训练。与GPT-1不同的点在于，GPT-2旨在探索通过扩大模型参数规模来提升模型性能，并且试图使用无监督预训练的语言模型来解决各种下游任务。OpenAI经过较为充分的实验探索，2020年，GPT-3将模型参数扩展到了175B，较GPT-2提升100余倍，验证了将神经网络扩展到超大规模可以带来大幅的模型性能提升。同时，GPT-3论文正式提出“上下文学习”，建立了
24、以提示学习方法为基础技术路线的任务求解范式。资料来源：OpenAIImproving Language Understanding by Generative Pre-Training，OpenAILanguage models are unsupervised multitask learners，OpenAILanguage Models are Few-Shot Learners，平安证券研究所1 1、Unsupervised preUnsupervised pre-trainingtraining单向Transformer，使用大规模的无标注文本数据进行训练2 2、Supervised
25、 fineSupervised fine-tuningtuning采用特定的输入格式和微调策略，以适应不同任务的特点。例如：分类任务直接微调，文本蕴含任务插入分隔符1.3 ChatGPT1.3 ChatGPT：一举成为现象级应用，引入：一举成为现象级应用，引入RLHFRLHF算法改进训练数据算法改进训练数据GPTGPT系列模型的技术演变（系列模型的技术演变（ChatGPTChatGPT）：）：在GPT-3的基础上，OpenAI又通过代码训练、人类对齐、工具使用等技术对于模型性能不断升级，推出了GPT-3.5系列模型。2022年11月，ChatGPT正式上线，实现以对话形式解决多种任务，使得用户
26、能够通过网络API体验到语言模型的强大功能。ChatGPT 仅用5天时间注册用户达到100万，约2个月注册用户达到1亿，成为AIGC领域的现象级应用。OpenAI在官网文章中介绍，ChatGPT主要是沿用了2022年1月推出的InstructGPT。InstructGPT的核心技术是基于人类反馈的强化学习算法，即RLHF算法（Reinforcement Learning from Human Feedback），旨在改进模型与人类对齐的能力。具体实现上，人类标注人员扮演用户和代理进行对话，产生对话样本并对回复进行排名打分，将更好的结果反馈给模型，让模型从两种反馈模式人类评价奖励和环境奖励中学习
27、策略，对模型进行持续迭代式微调。资料来源：红杉资本Generative AIs Act Two，OpenAI官网文章Introducing ChatGPT，平安证券研究所ChatGPTChatGPT达到达到1 1亿注册用户仅用约亿注册用户仅用约2 2个月个月RLHFRLHF算法的三个阶段算法的三个阶段Step1 针对测试用户提交的prompt，专业标注人员进行高质量回答，并把这些数据用于微调Step3 本阶段无需人工标注数据，利用RM打分结果更新预训练模型参数，实现强化学习Step2 对模型输出进行人工排序,数据用于训练回报模型（Reward Model,RM）1.3 GPT1.3 GPT-4
28、 4系列：能力跃升，增加多模态能力，最新版系列：能力跃升，增加多模态能力，最新版4o4o突破性价比突破性价比GPTGPT系列模型的技术演变（系列模型的技术演变（GPTGPT-4GPT4GPT-4o4o）：）：继ChatGPT后，OpenAI于2023年3月发布GPT-4，它首次将GPT系列模型的输入由单一文本模态扩展到了图文双模态。GPT-4在解决复杂任务方面的能力显著强于GPT-3.5，在一系列面向人类的考试中都获得了非常优异的结果。基于GPT-4，OpenAI在2023年9月进一步发布了GPT-4V，重点关注GPT-4视觉能力的安全部署。GPT-4V在多种应用场景中表现出了强大的视觉能力与
29、综合任务解决能力。2023年11月，OpenAI在开发者大会上发布GPT-4 Turbo，引入了一系列技术升级，如：将模型内部知识库更新至2023年4月，将上下文长度提升至128K，价格更便宜，引入若干新的功能（如函数调用、可重复输出等）。今年5月14日，OpenAI春季发布会，发布了新版旗舰模型GPT-4o。GPT-4o 将文本、音频和视觉集成到一个模型中，提供更快的响应时间、更好的推理能力以及在非英语语言中的更佳表现，不仅在传统文本能力上与GPT-4 Turbo性能相当，还在API方面更快速，价格便宜50%。与GPT-4 Turbo相比，GPT-4o速度提高了2 倍，限制速率提高了5 倍，
30、目前的上下文窗口为128k，模型知识截止日期为2023 年 10 月。资料来源：OpenAIGPT-4 Technical Report，OpenAIGPT-4V(ision)System Card，OpenAI官网文章Hello GPT-4o，中国人民大学大语言模型，平安证券研究所GPTGPT-4 4允许图片输入允许图片输入GPTGPT-4o4o文本能力与文本能力与GPTGPT-4 Turbo4 Turbo相当，音频翻译表现在同业突出相当，音频翻译表现在同业突出GPTGPT-4V4V采取与视觉输入相关的风险评估措施采取与视觉输入相关的风险评估措施目录目录C CO N T E N T SO N
31、 T E N T S市场：全球大模型竞争白热化，国产大模型能力对标市场：全球大模型竞争白热化，国产大模型能力对标GPTGPT-3.5Turbo3.5Turbo技术：大模型发展呈现“规模定律”，技术：大模型发展呈现“规模定律”，TransformerTransformer为技术基座为技术基座变现：变现：APIAPI同质化、订阅实现难，同质化、订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模投资建议及风险提示投资建议及风险提示2.1 2.1 海外大模型：通
32、用大模型竞争白热化，闭源海外大模型：通用大模型竞争白热化，闭源LLMLLM三足鼎立三足鼎立全球大模型竞争中，OpenAI、Anthropic、谷歌三大厂商为第一梯队，OpenAI先发推出GPT-4，在2023年基本稳定在行业龙头地位，而Anthropic凭借Claude、谷歌凭借Gemini后发，可以看到，2024年以来，三家大模型能力呈现互相追赶态势。开源大模型厂商中，Meta AI（Llama）、欧洲Mistral AI（Mistral）、Google（Gemma）等厂商的大模型性能保持前列。此外，伴随Sora推出以及Pika的出圈，图像、视频生成领域的超预期进展获得极大关注，全球图像生成
33、大模型以Midjourney、Stable Diffusion、OpenAI的DALLE为代表，视频生成以Runway的Gen、Pika和OpenAI的Sora为代表。资料来源：Anthropic官网，平安证券研究所三家大模型厂商追赶模型能力三家大模型厂商追赶模型能力海外大模型厂商梯队及模型最新版本海外大模型厂商梯队及模型最新版本闭源闭源LLMLLM团队模型团队模型开源开源LLMLLM团队模型图像图像生成生成团队模型视频视频生成生成发布日期发布日期基准评分（平均）基准评分（平均）2.1 OpenAI2.1 OpenAI：上半年重磅发布：上半年重磅发布SoraSora，GPTGPT-4o4o取得
34、性能与实用性双突破取得性能与实用性双突破OpenAIOpenAI发布文生视频大模型发布文生视频大模型SoraSora，在全球视频大模型领域取得里程碑式进展。，在全球视频大模型领域取得里程碑式进展。今年2月15日，OpenAI在官网正式发布Sora，根据OpenAI官网介绍，Sora可以在保持视觉质量和遵循用户的文本提示的情况下，生成长达1分钟的视频，遥遥领先于以往的视频生成时长。GPTGPT-4o4o实现性能与实用性双突破，有望加速大模型应用落地。实现性能与实用性双突破，有望加速大模型应用落地。5月14日，OpenAI在春季发布会上推出GPT-4o，并表示将免费提供给所有用户使用。GPT-4o
35、可接受文本、音频和图像的任意组合作为输入、输出，在英语文本和代码方面的性能可对标GPT-4 Turbo，同时在API 中也更快且便宜50%。根据OpenAI官网信息，在GPT-4o之前，使用语音模式与ChatGPT对话，GPT-3.5/GPT-4的平均延迟分别为2.8/5.4秒。而GPT-4o可以在短至232毫秒的时间内响应音频输入，平均时长为320毫秒，与人类在一次谈话中的响应时间相似。7月18日，OpenAI正式推出了GPT-4o mini，将取代ChatGPT中的旧模型GPT-3.5 Turbo，向ChatGPT的免费用户、ChatGPT Plus和团队订阅用户开放。OpenAI表示，G
36、PT-4o mini的成本为每百万输入标记（token）15美分和每百万输出标记60美分，比GPT-3.5 Turbo便宜超过60%。SoraSora根据文字指令生成的视频画面根据文字指令生成的视频画面OpenAIOpenAI各代各代GPTGPT比较比较资料来源：OpenAI官网，IT之家，平安证券研究所GPTGPT各代各代发布时间发布时间训练数据训练数据模型参数模型参数序列长度序列长度（TokenToken）输入输入输出输出GPTGPT-1 12018年6月约5GB1.17亿512文本文本GPTGPT-2 22019年2月40GB15亿1024文本文本GPTGPT-3 32020年5月45T
37、B1746亿2048文本文本GPTGPT-3.53.52022年11月百TB级别-4096/16385文本文本GPTGPT-4 42023年3月百TB级别万亿级别8192/32768 文本、图像 文本、图像GPTGPT-4 Turbo4 Turbo 2023年11月百TB级别万亿级别128000多模态多模态GPTGPT-4o4o2024年5月百TB级别万亿级别128000多模态多模态2.1 Anthropic2.1 Anthropic：推出：推出Claude 3Claude 3家族，家族，Claude 3.5 SonnetClaude 3.5 Sonnet性能追赶性能追赶GPTGPT-4o4o
38、Claude 3.5 SonnetClaude 3.5 Sonnet在绝大多数基准评估中都超越了竞品大模型。在绝大多数基准评估中都超越了竞品大模型。今年3月4日，Anthropic发布Claude 3系列模型，包含Opus、Sonnet和Haiku，Opus代表Anthropic最高级、最智能的模型，Sonnet代表中等级别的模型，在性能和成本效益之间取得平衡，Haiku代表入门级别或最基础的快速模型，其中，Claude 3 Opu为Claude 3系列模型的最强版本，根据官方资料其性能全面超过了GPT-4。值得注意的是，Claude 3全系列模型具有与其他领先模型同等的复杂视觉功能，可以处理
39、各种视觉格式，包括照片、图表、图形和技术图表。6月21日，Anthropic 发布了全新大模型 Claude 3.5 Sonnet，号称为“迄今为止最智能的模型”。据Anthropic介绍，Claude 3.5 Sonnet 在绝大多数基准评估中都超越了竞品大模型和自家前代最强Claude 3 Opus，与此同时，运行速度、成本与自家前代Claude 3 Sonnet 相当。Claude 3Claude 3家族家族HaikuHaiku、SonnetSonnet、OpusOpus三类模型定位三类模型定位Claude 3.5 SonnetClaude 3.5 Sonnet多项基准评分优于多项基准评
40、分优于GPTGPT-4o4o资料来源：Anthropic官网，平安证券研究所HaikuHaiku：Anthropic最快的模型，可以执行轻量级任务，速度领先。SonnetSonnet：Anthropic性能和速度最佳融合的模型，适用于高吞吐量任务。OpusOpus：Anthropic性能表现最好的模型，可以处理复杂的分析、多步骤的较长任务以及高阶数学和编码任务。2.1 2.1 谷歌：全面升级谷歌：全面升级GeminiGemini系列，发布视频生成模型系列，发布视频生成模型VeoVeo谷歌大模型全线升级。谷歌大模型全线升级。继2023年12月谷歌推出其规模最大、功能最强的多模态大模型Gemini
41、系列之后，今年2月15日，谷歌发布Gemini 1.5，在版本中首个登场的多模态通用模型Gemini 1.5 Pro，将稳定处理上下文的上限扩大至100万tokens。5月14日，在谷歌IO开发者大会上，谷歌大模型迎来多项升级，基础大模型方面，Gemini 1.5 Pro将上下文窗口长度从之前的100万tokens进一步扩展至200万tokens，谷歌首席执行官Pichai称这是目前市场处理上下文长度规模最大的基础大模型。多模态大模型方面，多模态大模型方面，谷歌发布了视频生成模型Veo以及文生图模型Imagen 3，Veo模型对标Sora，能够根据文字、图片和视频的提示生成长度超过 1 分钟、
42、分辨率最高1080p 的视频；Imagen 3文生图模型是Imagen系列的升级版，从细节拟真度来看对标Midjourney v6。5 5月，月，Gemini 1.5 ProGemini 1.5 Pro性能相比性能相比2 2月份有明显提升月份有明显提升5 5月，谷歌发布视频生成模型月，谷歌发布视频生成模型VeoVeo，推出文生图，推出文生图ImagenImagen最新产品最新产品Imagen 3Imagen 3资料来源：谷歌官网，平安证券研究所2.1 Meta2.1 Meta：推出最强开源大模型：推出最强开源大模型Llama3.1Llama3.1，405B405B模型能力赶超领先模型模型能力赶
43、超领先模型今年4月18日，Meta推出强大的开源人工智能模型Llama 3，发布包括8B和70B参数的两个版本，作为Llama2的重大升级。Meta称，目前正在开发的最大模型是400B参数，将在未来几个月内推出，英伟达科学家Jim Fan认为，Llama3 400B将成为一个分水岭，即社区将获得开源重量级的GPT-4模型，它将改变许多研究工作和草根创业公司的计算方式。7月23日，LIama3.1正式发布，405B版本在150多个基准测试集上的表现追平或超越现有领先的基础模型，包括GPT-4、GPT-4o和Claude 3.5 Sonnet。除了与闭源模型相比具有显著更好的成本/性能比之外，40
44、5B模型的开放性将使其成为微调和蒸馏更小模型的优质选择。此外，Meta也推出了8B和70B模型的升级版本，能力与同等参数下的顶尖模型基本持平，与具有相似参数数量的开闭源模型构成强竞争力。Llama 3.1 405BLlama 3.1 405B在多项基准上超越现有领先基础模型在多项基准上超越现有领先基础模型Llama 3.1 8BLlama 3.1 8B和和70B70B的较小模型性能优于对标开闭源模型的较小模型性能优于对标开闭源模型资料来源：Meta AI官网，平安证券研究所2.2 2.2 国产大模型：迈入爆发期，模型能力追赶国产大模型：迈入爆发期，模型能力追赶GPTGPT-4 Turbo4 T
45、urbo自2022年11月底ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮，国内学术和产业界也在抓紧追赶突破。SuperCLUE将国内大模型发展大致分为三个阶段，1）准备期：2022年11月ChatGPT发布后，国内产学研迅速形成大模型共识。2）成长期：2023年初，国内大模型数量和质量开始逐渐增长。3）爆发期：2023年底至今，各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势。国内国内AIAI大模型大模型20232023-20242024年关键进展年关键进展资料来源：各公司官网，SuperCLUE，平安证券研究所2.2 2.2 国产大模型：迈入爆发期
46、，模型能力追赶国产大模型：迈入爆发期，模型能力追赶GPTGPT-4 Turbo4 Turbo从参与者来看，从参与者来看，目前我国AI大模型厂商大致可以分为四类，1）互联网/科技公司：以百度、阿里、腾讯、字节、快手、华为等为代表。2）AI公司：以智谱AI、昆仑万维、科大讯飞、商汤科技为代表的专注于AI研发与应用的科技公司。3）学术、科研机构：包括清华、北大、复旦、中科院等国内一流高校，以及智源研究院、IDEA研究院等科研机构。4）行业专家品牌：以月之暗面（Moonshot AI）、百川智能、MiniMax等由AI专家创业成立的公司为代表。国内大模型全景图国内大模型全景图资料来源：各公司官网，Su
47、perCLUE，平安证券研究所国内大模型厂商分为四大流派国内大模型厂商分为四大流派互联网互联网/科技公科技公司司学术学术/科科研机构研机构行业专行业专家品牌家品牌AIAI公司公司2.2 2.2 国产大模型：迈入爆发期，模型能力追赶国产大模型：迈入爆发期，模型能力追赶GPTGPT-4 Turbo4 Turbo从模型能力来看，从模型能力来看，根据SuperCLUE最新的评测结果，以开源Llama-3-70B、Llama-3-8B的模型能力为分界线，国内大模型可以形成三大梯队。可以看到，国内大模型上半年发展尤为迅速，1）开源模型Qwen2-72B在SuperCLUE基准中表现非常出色，超过众多国内外
48、闭源模型，与Claude-3.5持平，与GPT-4o仅差4分。2）此外，还有4个国内大模型（深度求索DeepSeek-V2、智谱GLM-4、商汤SenseChat5.0、OPPO的AndesGPT）超过GPT-4-Turbo-0409。3）除了互联网大厂和AI公司，专家创业团队如Baichuan4、Kimi、MiniMax-abab6.5均有超过70分的表现，位列国内大模型第一梯队。4）国内绝大部分闭源模型已超过GPT-3.5Turbo-0125。资料来源：SuperCLUE中文大模型基准测评2024年上半年报告，平安证券研究所全球大模型全球大模型SuperCLUESuperCLUE通用能力测
49、评榜单通用能力测评榜单目录目录C CO N T E N T SO N T E N T S市场：全球大模型竞争白热化，国产大模型能力对标市场：全球大模型竞争白热化，国产大模型能力对标GPTGPT-3.5Turbo3.5Turbo技术：大模型发展呈现“规模定律”，技术：大模型发展呈现“规模定律”，TransformerTransformer为技术基座为技术基座变现：变现：APIAPI同质化、订阅实现难，同质化、订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模算力：大模型发展催生海量算力需求，预计带来千亿美元市场规
50、模投资建议及风险提示投资建议及风险提示3.1 3.1 大模型商业形态多元，大模型商业形态多元，B B端变现模式更清晰端变现模式更清晰我们认为大模型收费模式可以总结为我们认为大模型收费模式可以总结为APIAPI、订阅、广告、定制化四种。、订阅、广告、定制化四种。首先，大模型最常见的商业模式基本遵循软件行业的SaaS（Software as a Service），通用大模型通常会采取API模式，根据tokens/调用次数/产出内容量等计价，大模型形成AI产品后，可以采用订阅制，按月/季/年向用户收取使用费。同时，AI产品若具备一定程度的流量价值，能够吸引商家投放广告，从而收取广告费。此外，服务内容
51、可以不限于大模型本身，针对付费能力强的企业客户，部分厂商会提供软硬件一体的定制化解决方案，我们称之为MaaS（Model as a Service）。从从AIAI产品商业化程度来看，产品商业化程度来看，B B端变现模式更加清晰，端变现模式更加清晰，C C端大多数产品仍然以免费为主。端大多数产品仍然以免费为主。根据量子位智库，面向B端的AI产品从通用场景到垂直赛道分布较均匀，收入模式以会员订阅和按需付费为主，商业模式较为清晰，虽然（纯B端）市场占比只有31%，但80%以上的产品均能实现营收。C端AI产品以智能助手以及图像生成类的生产力工具为主，虽然用户量大（纯C端占比50%以上），但近50%的产
52、品当前仍未有明确的收入模式，以免费为主。资料来源：冰鉴科技研究院，量子位智库中国AIGC应用全景报告2024（样本选取国内外近500个AI应用产品），平安证券研究所大模型常见收费模式大模型常见收费模式AIAI应用面向用户群体结构与收费模式应用面向用户群体结构与收费模式To C,50%To B&C,19%To B,31%30%16%13%12%50%29%7%43%0%20%40%60%80%100%B端收费模式C端收费模式当前免费会员制订阅一次性付费按需收费大模型收费模式API按tokens计价按产出内容量计价订阅按时间周期计价广告收取广告费定制化本地部署+硬件线上部署+云服务3.1 Open
53、AI3.1 OpenAI以以ChatGPTChatGPT订阅、订阅、APIAPI为主要营收来源为主要营收来源纵观海内外的大模型厂商，纵观海内外的大模型厂商，OpenAIOpenAI确立了最为经典的大模型商业模式，主要包括确立了最为经典的大模型商业模式，主要包括ChatGPTChatGPT订阅、订阅、APIAPI调用、战略合作三种营收方式。调用、战略合作三种营收方式。1）ChatGPT订阅：OpenAI向C端提供生产力解放工具ChatGPT，并以付费订阅模式变现，针对ChatGPTPlus会员收取每月20美元的订阅费。2）API调用：而对于模型使用灵活性要求更高的用户，提供API服务，基于模型的
54、调用量（tokens）或者产出内容量（如图片张数、时长）收费。3）战略合作：此外，公司与微软建立了密切合作关系，To C，OpenAI模型能力嵌入微软的生成式AI工具，如GitHub、Office、Bing等；To B，微软Azure是OpenAI的独家云服务提供商，Azure全球版企业客户可以在平台上直接调用OpenAI 模型。OpenAIOpenAI绝大多数收入来自前两项，绝大多数收入来自前两项，ChatGPTChatGPT订阅和订阅和APIAPI调用。调用。据今年6月The Information的报道，Sam Altman在员工全体会议上表示2024年OpenAI年化收入有望达到34亿
55、美元，其中，OpenAI的大部分收入（约32亿美元）来自其聊天机器人ChatGPT的订阅费以及让软件开发人员通过应用程序编程接口访问其模型的费用。OpenAI 还有望通过Microsoft Azure提供其AI模型的访问权限，从而创造约2亿美元的收入。资料来源：OpenAI官网，The Information，平安证券研究所OpenAIOpenAI商业模式的简单拆解商业模式的简单拆解用户可免费使用部分功能PlusPlus会员会员:$20/月GPTGPT-4o4oInput:$5|Output:$15/1M tokensGPTGPT-3.53.5-turboturbo-instructinstr
56、uctInput:$0.5|Output:$2/1M tokensDALLE 3DALLE 3（图像）（图像）Standard10241024:$0.04/imageWhisperWhisper（音频）（音频）$0.006/minuteChatGPTChatGPTAPIAPI与微软合作与微软合作To C:To C:OpenAI模型集成于GitHub、Office Copilot AI助手、New Bing搜索To B:To B:OpenAI产品在Azure Enterprise Platform可用使用生成模型使用全部功能按产出内容量收费按token量收费调用模型订阅制收费3.1 3.1 全球
57、全球APIAPI定价呈现下降趋势定价呈现下降趋势1 1）APIAPI：是大模型厂商最为普遍的营收模式，但我们也注意到由于大模型性能趋向同质化，全球：是大模型厂商最为普遍的营收模式，但我们也注意到由于大模型性能趋向同质化，全球APIAPI价格呈现下降趋价格呈现下降趋势。势。今年5月，作为行业风向标的OpenAI发布GPT-4o，面向ChatGPT所有付费和免费用户发布，支持免费试用，API价格比GPT-4-turbo降低了50%，输入价格低至5美元/百万tokens；谷歌发布Gemini 1.5 Flash时也将输入价格定为0.35美元/百万tokens。国内来看，5月6日，AI公司深度求索（D
58、eepSeek）率先宣布降价，其发布的第二代MoE大模型DeepSeek-V2定为0.001元/千tokens的输入价格与0.002元/千tokens的输出价格，随后我们看到，智谱 AI、火山引擎、阿里云、百度、科大讯飞、腾讯云等国内主要大模型厂商迅速跟进（详见下列图表）。资料来源：各公司官网，智东西，平安证券研究所此轮国产大模型厂商降价统计此轮国产大模型厂商降价统计模型模型推出推出/降价时间降价时间API价格价格/百万百万Tokens输入（元）输入（元）输出（元）输出（元）原价原价现价现价降价幅度降价幅度原价原价现价现价降价幅度降价幅度深度求索DeepSeek-V22024/5/6-1-2-
59、智谱AI GLM-3-Turbo2024/5/115180%51-80%火山引擎 豆包通用模型pro-32k2024/5/15-0.8-2-阿里云Qwen-Long（通义千问）2024/5/21200.598%202-90%百度ERNIE-Speed（文心一言）2024/5/214免费-8免费-百度ERNIE-Lite（文心一言）2024/5/213免费-6免费-科大讯飞 星火Lite2024/5/2218免费-18免费-腾讯云 混元-standard2024/5/22104.555%104.5-55%腾讯云 混元-lite2024/5/228免费-8免费-85%73%69%67%63%61%
60、54%50%48%56%45%39%35%0%50%100%YouTubeInstagramTiktokSnapchatWhatsAppRobloxtinderduolingoCandy CrushChatGPTrunwayLensaRemini月留存率中位数42%中位数63%3.2 3.2 考验供需匹配能力，订阅制实现难度更高考验供需匹配能力，订阅制实现难度更高2 2）订阅：有）订阅：有ChatGPTChatGPT的成功案例，我们看到不少大模型厂商通过构建的成功案例，我们看到不少大模型厂商通过构建AIAI应用，尝试走付费订阅的路径。应用，尝试走付费订阅的路径。根据Similarweb，月之暗
61、面的智能助手Kimi Chat从推出时16万访问量到2024年2月的292万，再到3月的1219万，伴随其访问量的跃升，5月Kimi上线“给Kimi加油”付费选项（最便宜的选项99元/93天1.06元/天），可获得高峰期优先使用权益。实现难度：订阅实现难度：订阅APIAPI。然而，我们看到即使是ChatGPT、runway等具有代表性的大模型产品，用户留存度和粘性也尚未达到现有领先C端应用的水平。根据红杉资本研究，全球领先的C端应用拥有 60-65%的 DAU/MAU，其中WhatsApp是85%。相比之下，AI-first应用的中位数为 14%，可能意味着用户还未在这些AI产品中找到能够每天
62、使用它们的足够价值。资料来源：Similarweb，Kimi官网，红杉资本Generative AIs Act Two，平安证券研究所85%64%64%60%51%41%34%32%30%41%27%14%14%12%0%50%100%WhatsAppInstagramYouTubeTiktokSnapchatRobloxtinderCandy Crushduolingocharacter.airunwayReminiChatGPTLensaDAU/MAU中位数14%中位数51%AIAI-firstfirst应用应用现有现有C C端应用端应用KimiKimi增加“给增加“给KimiKimi加油
63、”付费选项加油”付费选项全球全球C C端应用与端应用与AIAI-firstfirst应用的用户留存率、应用的用户留存率、DAU/MAUDAU/MAU对比对比举个例子：当人类询问是否会下雨时举个例子：当人类询问是否会下雨时感知端（Perception）将指令转换为 LLM可以理解的表示。控制端（Brain）开始根据当前天气和互联网上的天气预报进行推理和行动规划。行动端（Action）做出响应并将雨伞递给人类。通过重复上述过程，AI Agent可以不断获得反馈并与环境交互。3.2 3.2 破局之路：破局之路：AI AgentAI Agent是通往是通往AGIAGI与与Killer AppKille
64、r App的钥匙的钥匙AGIAGI（Artificial General IntelligenceArtificial General Intelligence，通用人工智能）能力是渐进解锁的，而具有专业能力、可定制的，通用人工智能）能力是渐进解锁的，而具有专业能力、可定制的AI AgentAI Agent（智能（智能体），被认为是打开体），被认为是打开AGIAGI之门的钥匙。之门的钥匙。2023年6月，OpenAI应用研究主管LilianWeng提出：Agent=LLM+记忆+规划技能+工具使用。2024年在红杉资本的人工智能峰会上，吴恩达认为Agent 应该具备四种主要能力，即：反思（Re
65、flection）、使用工具（Tool use）、规划（Planning）以及多智能体协同（Multi-agent collaboration）。复旦NLP团队这样描述LLM-based Agent的框架，包含三个组成部分：控制端（Brain）、感知端（Perception）和行动端（Action）。简单理解，AI Agent是能够感知环境、自主决策、执行复杂任务的智能实体。资料来源：拾象科技，FudanNLPThe Rise and Potential of Large Language Model Based Agents:A Survey，平安证券研究所LLMLLM-based Agen
66、tbased Agent的工作流程举例的工作流程举例FudanNLPFudanNLP团队设想的一个由团队设想的一个由AI AgentAI Agent构成的社会构成的社会AGIAGI能力是渐进解锁的，能力是渐进解锁的，AI AgentAI Agent是通往是通往AGIAGI的钥匙的钥匙AGIAGI南坡南坡-模型模型北坡北坡-产品产品3.2 3.2 破局之路：破局之路：AI AgentAI Agent是通往是通往AGIAGI与与Killer AppKiller App的钥匙的钥匙国内来看，以互联网大厂、大模型厂商、企业服务国内来看，以互联网大厂、大模型厂商、企业服务SaaSSaaS类厂商为代表的越
67、来越多的企业参与进类厂商为代表的越来越多的企业参与进AI AgentAI Agent市场，产品形态既市场，产品形态既包括面向企业和开发者的包括面向企业和开发者的AgentAgent构建平台构建平台/框架，也包括服务于各个垂直行业的专业框架，也包括服务于各个垂直行业的专业AgentAgent。2024年上半年，国内多个AI Agent平台发布，未来将进一步提升AI Agent开发便利性，从而加速国内大模型应用的发展。2月，字节跳动的新一代一站式AI Bot开发平台扣子Coze在国内上线，用户可以快速、低门槛地构建专属聊天机器人，4月，百度AI开发者大会发布文心智能体平台AgentBuilder，
68、随后，钉钉正式上线AI Agent Store，首批上架包括通义千问在内的超过200个AI Agents。资料来源：麻省理工科技评论，甲子光年2024年中国AI Agent行业报告，扣子Coze公众号4月3日推文，平安证券研究所示例：在字节示例：在字节CozeCoze上构建上构建AgentAgent，实现“行业短评，实现“行业短评BotBot”国内国内AI AgentAI Agent生态图谱生态图谱今年5月Sam Altman接受麻省理工科技评论记者的采访时，将Killer AppKiller App描述为：“超级能干的同事，它绝对了解我一生的一切，包括我的每封电子邮件、每一次对话。此外，它可
69、以立即解决一些任务，而对于更复杂的任务，它可以进行尝试，但如果需要的话，它会向你提出问题”。设置Agent人设与回复逻辑（包括：角色、技能、限制）插入工作流Workflow，模拟Agent的思考过程Agent根据输入和工作流，打印调研报告输出云服务提供商(CSP)52%大模型厂商38%其他10%72%28%自托管(On-Prem或CSP GPUs)模型端点(API access)718051015202023A2024E受访企业平均每年在LLM上的支出（百万美元）约2.5x3.3 3.3 破局之路：企业级需求快速增长，破局之路：企业级需求快速增长，MaaSMaaS助力降低模型使用门槛助力降低模
70、型使用门槛Killer AppKiller App仍在酝酿的背景下，我们认为也需要关注到仍在酝酿的背景下，我们认为也需要关注到B B端对于大模型需求的快速增长。端对于大模型需求的快速增长。根据a16z调研，2023年平均每家受访企业在API、自托管和微调模型上支出达到700万美元，并且几乎所有企业计划将2024年LLM预算增加25 倍。企业的企业的AIAI模型采购决策仍然主要受到云服务提供商（模型采购决策仍然主要受到云服务提供商（CSPCSP）的影响。）的影响。根据a16z调研，2023年大多数企业出于安全考虑通过现有的CSP购买模型，2024年情况依然如此，在72%的使用API访问模型的受访
71、企业中，有超过50%通过其CSP访问，比如Azure用户更常用OpenAI，而Amazon用户更倾向于使用Anthropic或Cohere。剩下28%的受访企业选择了自托管，可能是出于运行开源模型的需要，采用私有化部署或者CSP提供的GPU服务。资料来源：a16z16 Changes to the Way Enterprises Are Building and Buying Generative AI，平安证券研究所B B端对于大模型的预算正在快速增长端对于大模型的预算正在快速增长使用使用APIAPI的受访企业中，有的受访企业中，有50%50%以上通以上通过云服务提供商访问大模型过云服务提供
72、商访问大模型3.3 3.3 破局之路：企业级需求快速增长，破局之路：企业级需求快速增长，MaaSMaaS助力降低模型使用门槛助力降低模型使用门槛MaaSMaaS让企业更简洁地使用大模型。让企业更简洁地使用大模型。根据中国信通院的定义，MaaS围绕低技术门槛、模型可共享、应用易适配三大特性，提供包括算力服务、平台服务、模型服务、数据集服务、AI应用开发服务在内的全栈服务，使得企业能够快速高效地构建、部署、监控、调用模型，而无需开发和维护底层基础能力。云厂商正在加速布局云厂商正在加速布局MaaSMaaS。目前，微软云Azure、阿里云、华为云、腾讯云、百度云、京东云等CSP都已经推出了MaaS服务
73、。以阿里云的魔搭ModelScope为例，支持用户使用来自达摩院大模型平台和SOTA模型矩阵的超过300个优质大模型，提供包括模型管理和下载、模型调优、训练、推理、部署、应用在内的一站式模型服务。资料来源：中国信通院MaaS框架与应用研究报告（2024年），阿里云栖大会，平安证券研究所阿里云阿里云MaaSMaaS平台：魔搭平台：魔搭ModelScopeModelScopeMaaSMaaS是人工智能架构的中间层是人工智能架构的中间层目录目录C CO N T E N T SO N T E N T S市场：全球大模型竞争白热化，国产大模型能力对标市场：全球大模型竞争白热化，国产大模型能力对标GPTG
74、PT-3.5Turbo3.5Turbo技术：大模型发展呈现“规模定律”，技术：大模型发展呈现“规模定律”，TransformerTransformer为技术基座为技术基座变现：变现：APIAPI同质化、订阅实现难，同质化、订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模投资建议及风险提示投资建议及风险提示4.1 4.1 大模型技术与应用发展催生海量算力需求大模型技术与应用发展催生海量算力需求大模型的发展受到能源、算力、显存、通信等多种资源的制约，本章我
75、们主要讨论算力。训练端，大模型延续了Scaling Law的主流的技术路线，通过扩大参数规模和数据集的大小，来提升模型的性能，带来持续的算力需求，同时，在推理端，以ChatGPT为代表的AI应用也正在驱动算力需求指数级增长。根据Jaime Sevilla等人的研究，2010-2022年在深度学习兴起背景下，机器学习训练算力增长了100亿倍，2016-2022年，常规模型算力每5至6个月翻一倍，而大规模模型算力每10至11个月翻一倍。资料来源：Jaime Sevilla等Compute Trends Across Three Eras of Machine Learning，平安证券研究所201
76、02010-20222022年里程碑级机器学习系统的算力变化趋势年里程碑级机器学习系统的算力变化趋势4.1 4.1 大模型技术与应用发展催生海量算力需求大模型技术与应用发展催生海量算力需求持续增长的大模型与持续增长的大模型与AIAI产品研发需求推升资本支出。产品研发需求推升资本支出。科技巨头持续投入算力采购，以H100的采购为例，Omdia Research认为Meta和微软是H100最大的购买者，谷歌、亚马逊、甲骨文、腾讯其次，此外，云服务提供商CoreWeave、百度、阿里巴巴、字节跳动、云服务供应商Lambda Labs、特斯拉等均是H100重要的终端客户。海量算力需求下科技巨头的资本支
77、出也保持较高的增长水平，2024年2季度微软、Meta、谷歌、亚马逊四家公司合计资本支出为571亿美元，同比增长66%，环比1季度增长22%。资料来源：Omdia Research，公司公告，平安证券研究所OmdiaOmdia ResearchResearch预测预测20232023年年H100H100客户客户四家科技巨头资本支出（亿美元）四家科技巨头资本支出（亿美元）190 85 132 164 0204060801001201401601802002Q223Q224Q221Q232Q233Q234Q231Q242Q24微软Meta谷歌亚马逊4.2 4.2 算力需求测算逻辑算力需求测算逻辑我
78、们主要考虑训练我们主要考虑训练+推理两个阶段的算力需求。推理两个阶段的算力需求。Transformer模型训练和推理都是经过多次迭代完成的，一次训练迭代包含了前向传播和反向传播两个步骤，而一次推理迭代相当于一个前向传播过程。前向传播过程指将数据输入模型计算输出，反向传播是计算模型的梯度并存储梯度进行模型参数更新。根据NVIDIA论文Reducing Activation Recomputation in Large Transformer Models，反向传播的计算量大约是前向传播的2倍，因此可以得出，一次训练迭代（包含一次前向+一次反向）的计算量大约为一次推理迭代（包含一次前向）的3倍。资
79、料来源：NVIDIAReducing Activation Recomputation in Large Transformer Models，平安证券研究所NVIDIANVIDIA论文：反向传播的计算量是前向传播的论文：反向传播的计算量是前向传播的2 2倍倍1）反向传播的计算量（FLOPs）约为前向传播的2倍2）一次训练迭代包含一次前向传播和一次反向传播4.2 4.2 算力需求测算逻辑算力需求测算逻辑再结合OpenAI论文Scaling Laws for Neural Language Models的结论，训练Transformer模型的理论计算量为C6N*D，其中，N为模型参数量大小，D为
80、训练数据量大小；推理所需计算量即为2N*D。举个例子，参考OpenAI关于GPT-3的论文Language Models are Few-Shot Learners，GPT-3 175B版本模型参数量为1746亿、训练数据量tokens为3000亿，我们根据公式预估，训练模型所需算力为C6N*D=6*(1746*108)*(3*1011)=3.14*1023FLOPs。资料来源：OpenAIScaling Laws for Neural Language Models，OpenAILanguage Models are Few-Shot Learners，平安证券研究所OpenAIOpenAI
81、论文：训练论文：训练LLMLLM每每tokentoken需要的计算量约为需要的计算量约为6 6倍的模型大小倍的模型大小C-模 型计 算 量N-模型 参 数量D数 据 量（T ok e ns 量）训练所需计算量：训练所需计算量：C C6N*D6N*D推理所需计算量：推理所需计算量：C C2N*D2N*DMFU-集群算力利用率（Model FLOPs Utilization）S-所用集群算力训练耗时：训练耗时：T=C/T=C/（MFU*S)MFU*S)4.2 4.2 算力需求测算：训练端算力需求测算：训练端参考7月23日Meta公布的最新开源模型Llama 3.1 405B，该模型基于15.6T
82、tokens的数据量进行预训练达到最优性能，训练数据量约为模型参数规模的38.5倍。我们假设最优大模型参数量（N）与Tokens数（D）的近似线性关系为：D=38.5*N，并设置了参数量分别为100亿、500亿、1000亿、3000亿、5000亿、1万亿、2万亿的共七档模型进行算力需求的测算。1 1）训练算力需求测算：）训练算力需求测算：根据前述公式计算，得出训练一次Llama 3.1的计算量大致为3.79*1025FLOPs，与实际情况接近（论文中Llama 3.1 405B的training budget为3.8*1025FLOPs）。同时，根据NVIDIA官网，A100 80G SXM、
83、H100 SXM的在16位精度下（FP16）的算力峰值分别为624TFLOPs、1979TFLOPs，我们假设集群算力利用率MFU为30%，假设模型训练时长分别为30天、60天、90天的背景下，得出训练一次Llama 3.1 405B模型分别需要7.8万张、3.9万张、2.6万张A100，或者等同于分别需要2.5万张、1.2万张、8208张H100。资料来源：Meta AIThe Llama 3 Herd of Models，NVIDIA官网，平安证券研究所训练阶段算力需求测算（假设训练阶段算力需求测算（假设MFU=30%MFU=30%）训练算力需求测算训练算力需求测算模型模型1 1模型模型2
84、 2模型模型3 3模型模型4 4Llama 3.1Llama 3.1(405B)(405B)模型模型5 5模型模型6 6模型模型7 7训练所需算力（训练所需算力（PFLOPsPFLOPs）2.31E+072.31E+075.78E+085.78E+082.31E+092.31E+092.08E+102.08E+103.79E+103.79E+105.78E+105.78E+102.31E+112.31E+119.24E+119.24E+11模型参数量（亿）100 500 1,000 3,000 4,050 5,000 10,000 20,000 数据量Tokens（亿）3,850 19,250
85、 38,500 115,500 155,925 192,500 385,000 770,000 假设训练时长假设训练时长（天）（天）所需所需GPUGPU数量数量模型模型1 1模型模型2 2模型模型3 3模型模型4 4Llama 3.1Llama 3.1(405B)(405B)模型模型5 5模型模型6 6模型模型7 730A100（FP16）48 1,191 4,761 42,847 78,088 119,018 476,071 1,904,282 6024 596 2,381 21,424 39,044 59,509 238,036 952,141 9016 397 1,587 14,283
86、26,030 39,673 158,691 634,761 30H100（FP16）16 376 1,502 13,510 24,622 37,528 150,111 600,441 608 188 751 6,755 12,311 18,764 75,056 300,221 906 126 501 4,504 8,208 12,510 50,037 200,147 4.2 4.2 算力需求测算：推理端算力需求测算：推理端2 2）推理算力需求测算：）推理算力需求测算：根据Similarweb统计，ChatGPT网站在过去12个月平均月访问量为14.1亿次。我们假设在问答场景下，月访问量为14亿
87、、单用户平均每次访问提问次数为15次，即模型每秒处理请求数8000次，假设单次问答消耗600Tokens，计算得出该场景下每秒消耗0.049亿Tokens。考虑并发峰值和显存预留等问题，我们假设峰值预留倍数为10，计算得出每日峰值消耗4.2万亿Tokens。根据C2N*D我们得到对应推理所需算力及所需GPU数量（假设采用INT8精度、MFU=30%），如下图表所示，千亿参数模型单问答场景推理大约需要2.6万张A100或者8188张H100。资料来源：Similarweb（截至2024年8月1日数据），NVIDIA官网，平安证券研究所ChatGPTChatGPT过去过去1212个月平均月访问量为
88、个月平均月访问量为14.114.1亿次亿次单场景下（问答）推理算力需求测算单场景下（问答）推理算力需求测算14.1 月访问量（亿次）单场景（问答）推理算力需求测算单场景（问答）推理算力需求测算模型模型1 1模型模型2 2模型模型3 3模型模型4 4模型模型5 5模型模型6 6模型模型7 7单日推理所需算力（单日推理所需算力（PFLOPsPFLOPs）8.40E+078.40E+074.20E+084.20E+088.40E+088.40E+082.52E+092.52E+094.20E+094.20E+098.40E+098.40E+091.68E+101.68E+10模型参数量（亿）100
89、500 1,000 3,000 5,000 10,000 20,000 峰值每日消耗Tokens（亿）42,000 42,000 42,000 42,000 42,000 42,000 42,000 每秒消耗Tokens（亿）0.0490.0490.0490.0490.0490.0490.049QPS（query per second，万次）0.80.80.80.80.80.80.8月访问量（亿）14141414141414单用户每次访问提问次数（次）15151515151515每次问答消耗Tokens数600600600600600600600峰值预留倍数10101010101010推理所需
90、推理所需GPUGPU数量（数量（A100 INT8A100 INT8，MFU=30%MFU=30%）2,597 2,597 12,984 12,984 25,968 25,968 77,903 77,903 129,838 129,838 259,675 259,675 519,350 519,350 推理所需推理所需GPUGPU数量（数量（H100 INT8H100 INT8，MFU=30%MFU=30%）819 819 4,094 4,094 8,188 8,188 24,564 24,564 40,940 40,940 81,879 81,879 163,757 163,757 4.3
91、4.3 大模型服务器成本测算大模型服务器成本测算我们将前述训练（假设训练时长60天）和推理（单场景）两个阶段所需GPU数量加和，并统一假设1台服务器集成8张A100，计算得出千亿参数规模模型训练+推理大约需要3544台服务器，万亿参数规模模型需要6.2万台服务器。资料来源：IDC，维科网人工智能，平安证券研究所训练训练+单场景推理算力需求测算单场景推理算力需求测算大模型服务器成本测算大模型服务器成本测算大模型的持续迭代升级将为大模型的持续迭代升级将为AIAI芯片及服务器发展提供强劲动力。芯片及服务器发展提供强劲动力。未来，我们假设有100家大模型实现持续经营，由于垂类大模型参数量通常在百亿至千
92、亿量级，且数量较多，我们假设中位数500亿参数规模的模型有50个，通用大模型参数规模普遍更大，我们假设中位数分别为1000亿、5000亿、10000亿参数规模的大模型分别有25个、15个、10个。假设单台服务器成本为20万美元，测算得到AI服务器的市场规模为2301亿美元。如果再考虑问答场景之外的推理场景，AI服务器的市场规模将更加巨大。根据IDC数据，2023年的全球AI服务器市场规模是211亿美元，相比2023年全球AI服务器市场规模，大模型的持续迭代升级将为AI服务器市场带来广阔的市场空间。训练训练+推理算力需求测算推理算力需求测算模型模型1 1模型模型2 2模型模型3 3模型模型4 4
93、模型模型5 5模型模型6 6模型模型7 7模型参数量（亿）1005001000300050001000020000模型训练+推理所需GPU数量（A100）2,621 13,580 28,349 99,327 189,347 497,711 1,471,491 训练所需GPU数量（A100，训练时长60天）24 596 2,381 21,424 59,509 238,036 952,141 推理所需GPU数量（A100，单场景）2,597 12,984 25,968 77,903 129,838 259,675 519,350 模型所需服务器数量（8张A100）328 1,698 3,544 1
94、2,416 23,669 62,214 183,937 大模型服务器成本测算大模型服务器成本测算模型数量模型数量单个模型所需服单个模型所需服务器数量务器数量单台服务器成本单台服务器成本（万美元）（万美元）成本测算成本测算（亿美元）（亿美元）模型参数规模500亿50 1,698 20 170 模型参数规模1000亿25 3,544 20 177 模型参数规模5000亿15 23,669 20 710 模型参数规模10000亿10 62,214 20 1,244 合计2,301 目录目录C CO N T E N T SO N T E N T S市场：全球大模型竞争白热化，国产大模型能力对标市场：全
95、球大模型竞争白热化，国产大模型能力对标GPTGPT-3.5Turbo3.5Turbo技术：大模型发展呈现“规模定律”，技术：大模型发展呈现“规模定律”，TransformerTransformer为技术基座为技术基座变现：变现：APIAPI同质化、订阅实现难，同质化、订阅实现难，AgentAgent与与MaaSMaaS探索破局之路探索破局之路算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模算力：大模型发展催生海量算力需求，预计带来千亿美元市场规模投资建议及风险提示投资建议及风险提示投资建议投资建议&风险提示风险提示投资建议：投资建议：当前，全球范围内大模型领域的竞争依然白热化，我国大
96、模型厂商持续迭代升级算法能力，2023年底国产大模型市场迈入爆发期，根据SuperCLUE上半年最新的评测结果，国内绝大部分闭源模型已超过GPT-3.5Turbo，将有望加速国产大模型在各场景的应用落地。同时，大模型的持续迭代升级将为AI芯片及服务器发展提供强劲动力，根据我们测算，假设未来有100家大模型实现持续经营，在训练与推理（问答场景）两个阶段，大模型将为AI服务器带来约2301亿美元的市场空间。我们继续看好AI主题的投资机会，标的方面：1）算力方面，推荐浪潮信息、中科曙光、紫光股份、神州数码、海光信息、龙芯中科，建议关注寒武纪、景嘉微、软通动力；2）算法方面，推荐科大讯飞；3）应用场景
97、方面，强烈推荐中科创达、恒生电子、盛视科技，推荐金山办公，建议关注万兴科技、同花顺、彩讯股份；4）网络安全方面，强烈推荐启明星辰。风险提示：风险提示：1 1）AIAI算力供应链风险上升算力供应链风险上升。美国对华半导体出口管制升级，将倒逼我国国产AI芯片产业链加快成熟。但如果我国国产AI芯片的迭代速度不达预期，将影响我国AI算力的发展，进而制约大模型的突破。2 2）大模型产品的应用落地低于预期大模型产品的应用落地低于预期。当前，我国国产大模型已经开始在教育、医疗、汽车、办公、工业、智能硬件等B端和C端应用场景持续落地，如果产品的市场拓展不及预期，我国大模型产品的应用落地将存在低于预期的风险。3
98、 3）国产大模型算法发展可能不及预期国产大模型算法发展可能不及预期。当前，虽然国产大模型能力持续升级，但相比OpneAI等全球领先的大模型厂商，国产大模型厂商的追赶进度存在不达预期的风险。40重点公司预测与评级重点公司预测与评级资料来源：Wind（收盘价截至2024年8月14日），平安证券研究所股票简称股票代码2024/8/14EPS（元）PE（倍）评级收盘价（元）2023A2024E2025E2026E2023A2024E2025E2026E中科创达300496.SZ39.04 1.01 1.48 1.84 2.28 38.47 26.40 21.22 17.12 强烈推荐恒生电子60057
99、0.SH16.49 0.75 0.91 1.11 1.31 21.93 18.09 14.86 12.52 强烈推荐盛视科技002990.SZ18.04 0.77 1.06 1.41 1.85 23.33 16.92 12.76 9.76 强烈推荐启明星辰002439.SZ13.46 0.61 0.79 0.99 1.25 22.13 17.01 13.60 10.78 强烈推荐浪潮信息000977.SZ32.81 1.21 1.57 1.97 2.42 27.09 20.95 16.68 13.57 推荐中科曙光603019.SH39.11 1.25 1.57 1.99 2.56 31.17
100、 24.85 19.68 15.29 推荐紫光股份000938.SZ19.89 0.74 0.87 1.05 1.28 27.05 22.98 18.94 15.55 推荐神州数码000034.SZ22.20 1.75 2.13 2.62 3.23 12.68 10.41 8.47 6.88 推荐海光信息688041.SH73.57 0.54 0.76 1.03 1.35 136.296.8 71.4 54.5推荐龙芯中科688047.SH97.05-0.82-0.26 0.11 0.39-118.29-367.14 884.48 251.08 推荐科大讯飞002230.SZ34.67 0.2
101、8 0.31 0.37 0.45 121.99 113.52 94.07 77.74 推荐金山办公688111.SH188.25 2.85 3.71 4.94 6.69 66.06 50.71 38.11 28.16 推荐顶点软件603383.SH29.56 1.13 1.37 1.61 1.87 26.06 21.61 18.35 15.81 推荐股票投资评级股票投资评级:强烈推荐（预计6个月内，股价表现强于市场表现20%以上）推荐（预计6个月内，股价表现强于市场表现10%至20%之间）中性（预计6个月内，股价表现相对市场表现10%之间）回避（预计6个月内，股价表现弱于市场表现10%以上）行
102、业投资评级行业投资评级:强于大市（预计6个月内，行业指数表现强于市场表现5%以上）中性（预计6个月内，行业指数表现相对市场表现在5%之间）弱于大市（预计6个月内，行业指数表现弱于市场表现5%以上）公司声明及风险提示：公司声明及风险提示：负责撰写此报告的分析师（一人或多人）就本研究报告确认：本人具有中国证券业协会授予的证券投资咨询执业资格。平安证券股份有限公司具备证券投资咨询业务资格。本公司研究报告是针对与公司签署服务协议的签约客户的专属研究产品，为该类客户进行投资决策时提供辅助和参考，双方对权利与义务均有严格约定。本公司研究报告仅提供给上述特定客户，并不面向公众发布。未经书面授权刊载或者转发的
103、，本公司将采取维权措施追究其侵权责任。证券市场是一个风险无时不在的市场。您在进行证券交易时存在赢利的可能，也存在亏损的风险。请您务必对此有清醒的认识，认真考虑是否进行证券交易。市场有风险，投资需谨慎。免责条款：免责条款：此报告旨为发给平安证券股份有限公司（以下简称“平安证券”）的特定客户及其他专业人士。未经平安证券事先书面明文批准，不得更改或以任何方式传送、复印或派发此报告的材料、内容及其复印本予任何其他人。此报告所载资料的来源及观点的出处皆被平安证券认为可靠，但平安证券不能担保其准确性或完整性，报告中的信息或所表达观点不构成所述证券买卖的出价或询价，报告内容仅供参考。平安证券不对因使用此报告的材料而引致的损失而负上任何责任，除非法律法规有明确规定。客户并不能仅依靠此报告而取代行使独立判断。平安证券可发出其它与本报告所载资料不一致及有不同结论的报告。本报告及该等报告反映编写分析员的不同设想、见解及分析方法。报告所载资料、意见及推测仅反映分析员于发出此报告日期当日的判断，可随时更改。此报告所指的证券价格、价值及收入可跌可升。为免生疑问，此报告所载观点并不代表平安证券的立场。平安证券在法律许可的情况下可能参与此报告所提及的发行商的投资银行业务或投资其发行的证券。平安证券股份有限公司2024版权所有。保留一切权利。
