证券研究报告计算机华泰证券HUATAI SECURITIESGPT产业梳理：GPT-1到ChatGPT计算机增持（维持）2023年2月14日|中国内地专题研究ChatGPT:三个阶段打造智能对话交互式Al模型SAC No.S0570519080006 xiechunsheng@htsc.com+8盼2129872036ChatGPT从诞生到现在，经历了三个大版本阶段演进。2018年，生成式预训练模型GPT-1诞生，引入有监督的微调训练。2019年，GPT-2以增加模型通用性为目标，移除GPT-1的微调，以更大的参数量和多任务训练，进SAC No..S0570122080053yuanzeshi@htsc.com行zero-shot学习：2020年，GPT-3用few-shot代替Zero-shot,并将训练+(862128972228参数增加到1750亿，再次提高模型表现性能。2022年，InstructGPT引入基于人美反馈的强化学习(RLHF),在GPT-3基础上进行奖励训练，以13亿训练参数实现了更好的模型性能。2022年11月，基于InstructGPT,OpenAl正式推出对话交互式模型ChatGPT,5天时间突破了100万用户。一计算机—沪深300GPT-1基于Transformer架构，仅保留了架构中的解码器(Decoder)部分。3GPT-1的训练过程包括预训练和微调两个阶段。1)阶段一：预训练采用内含长段连续文本的Bo0ksC0puS数据集，进行高容量无监督学习。2)阶段21二：在做下游任务时，首先根据任务美型将其转换为不同的输入形式，再针对不用类型任务用特定训练集进行微调训练。GP1的参数量为1.17亿。Feb-22Jun-22Oct-22Feb-23GPT-1在常识推理、问题回答、文本蕴满等任务上分别比对比方法进步了8.9%、5.7%和1.5%。GPT-2通过海量数据和庞大的模型参数训练出更为通用的模型，无需经过特定的数据集训练也能解决各美问题，即Zero-shot learning(零次学习)，从而提高模型的泛化能力。GPT-2在架构上与GPT-1基本保持相同，预训练阶段与GPT-1方法一致，采用了更大的数据集WebText。.处理下游任务时，以无监督的训练方式进行Zer0-shot学习，通过增加prompt文本提示的方式提示模型具体任务美型。GPT-2的参数量增加到15亿。GPT-2在命名实体识别、阅读理解等任务上表现优异，在部分任务上不及预期。GPT3阶段：性能不断突政，开启南业探素GPT-3在GPT-2架构基础上，舍弃极端的Zero-shot,采用few-shot理念，对于特定任务给予少量(10-100个)样例。GPT-3最大训练参数量为1750亿，训练结果准确度随着few-shot样例的增加有明显提高。基于GPT-3,OpenAl发布了Codex和InstructGPT。Codex是通用代码生成模型，能够将自然语言转换为代码，支持十几种编程语言。InstructGPT在GPT-3基础上通过RLHF训练奖励模型来进一步优化训练结果，仅用3亿参数量即可实现更符合人美需求的输出。此外，2020年6月，OpenAl开始对外提供接入GPT3服务的AP,并按照模型美型进行收货，开启商业探索第一步。ChatGPT阶段：各大互联网厂商争相推出臭似产品2022年11月，基于InstructGPT,OpenAl发布了以对话方式交互的ChatGPT。ChatGPT训练方法与InstructionGPT基本相同，区别仅在于在微调时基于InstructGPT而非GPT-3。随着ChatGPT用户的增多，OpenAl推出了按月订阅的ChatGPT Plus服务，开启第二次商业尝试。国内外互联网厂商纷纷跟进，微软发布基于ChatGPT的新版Bing,谷歌发布Bard对标ChatGPT;百度宣布推出类ChatGPT应用“文心一言”，京东推出智能人机对话平台ChatJD,阿里宣布公司正在研发“阿里版”ChatGPT,网易有道和360也表示推出美ChatGPT应用。风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息整理，不构成投资建议。1计算机K华泰证券HUATAI SECURITIES正文目录ChatGPT:三个阶段打造智能对话交互式A模型.…3.4GPT-2:取消微调，用更大参数和数据集进行Zer0-Sh0t学习5OpeA:得到微软注资，关注技术滥用问题67GPT-3:模型参数达1750亿，few-shot进一步提高性能.7对外提供GPT-3APL,开启商业模式探索8C0deX:基于GPT-3的代码生成工具…9InstructGPT:人类反馈强化学习技术加持下的“最强”GPT-3.ChatGPT阶段：各大互联网厂商争相推出夹似产品…12ChatGPT:以对话方式交互的进化版InstructGPT.....12ChatGPT Plus:商业模式二次探索13微软继续加注OpenAl,推出基于ChatGPT的新版Bing.13各大互联网厂商均表示将推出类ChatGPT产品.14.142