生成式预训练Transfomer模型
生成式预训练Transfomer模型,又叫基于转换器的生成式预训练模型，生成式预训练转换模型（Generative Pre-trained Transformer）生成式预训练Transfomer模型是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。
生成式预训练Transfomer模型,又叫基于转换器的生成式预训练模型，生成式预训练转换模型（Generative Pre-trained Transformer）
什么是生成式预训练Transfomer模型
生成式预训练Transfomer模型是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。
它可以进行微调以完成各种自然语言处理任务，例如文本生成、代码生成、视频生成、文本问答、图像生成、论文写作、影视创作、科学实验设计等。基于大量语料数据的训练，以生成类似于人类自然语言的文本。
2018年6月11日，OpenAI发表了一篇名为《通过生成式预训练提高语言理解能力》（Improving Language Understanding by Generative Pre-Training）的论文[1]，在其中介绍了“基于转换器的生成式预训练模型”。当时，表现最好的自然语言生成模型主要依靠大量手动标注数据的监督学习。这种依赖于人类监督学习的开发途径限制了模型在未经精细标注的数据集上的应用；许多语言（例如斯瓦希里语或海地克里奥尔语）也因缺乏能创建起语料库的文本资料而造成实际应用（如翻译和解释）上的困难[2]；此外，训练超大模型相当耗时且开支非常昂贵。[1][2]相比之下，GPT提出了一种“半监督（semi-supervised）”（后来普遍改称为“自监督”）的方法——先在没有标号的数据上面训练一个预训练模型，再在少量标号数据上面训练一个分辨的微调模型。[1]
参考文献
免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请您通过400-62-96871或关注我们的公众号与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！
阅读全文
请先 登录后发表评论 ~