返回技术列表

GPT进化史

  ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过理解和学习人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文 等任务。

  备注:OpenAI,在美国成立的人工智能研究公司,核心宗旨在于“实现安全的通用人工智能(AGI)”,使其有益于人类。OpenAI于2015年由一群科技领袖,包括山姆·阿尔特曼(Sam Altman)、彼得·泰尔(Peter Thiel)、里德·霍夫曼(Reid Hoffman)和埃隆·马斯克(Elon Musk)等人创办。

  我的本科毕业论文研究的方向是领域人工智能,使用知识图谱技术构建知识网络,针对特定的领域填充实体关系属性三元组构建领域人工智能。把用户的自然语言提问通过特征提取抽象成关键字与知识网络匹配,计算余弦相似度最高的实体,通过阈值判断后返回拼装的答案。这其中的智能是有限的,首先需要提供足够的数据构建知识网络,话费大量的人力时间。其次只能提供数据库当中已有的数据,不能创造新的内容。

  OpenAI在做的通用人工智能和生成式大模型能够创造出数据库中原先不存在的内容,在创造性方面有重大突破。日常生活中使用的语音助手小度小度,小爱语音,Siri等只能回答非常有限的预设定的问题,ChatGPT可以回答世界上不存在的问题。      GPT-1、2、3、4的进化史!

  从原理上来讲,ChatGPT其实也不是新事物,它背后的基础,是母公司OpenAI在几年前发布的自然语言模型GPT。

  GPT-1于2018年发布,首次让人工智能能够让人类一样「理解文字」、写出文字。

  GPT-2于2019年发布,能够翻译文本、回答问题、总结段落,并生成文本输出。虽然其输出内容有时与人类相似,但在生成长段落时输出内容可能会变得重复或无意义。

  GPT-3于2020年发布,GPT-3 的训练数据规模特别大,达到数十亿个单词级别文本数据,其中包括了来自维基百科、互联网论坛、新闻报导等多种来源的数据。

  其中最重要的运用之一是自然语言生成,它可以根据给定的前后文或主题,自动生成语言流畅、连贯、逻辑清晰的帖子、新闻报导、诗文、对话等文字。此外,GPT-3 也可以进行文本分类、情感分析、机器翻译、问答等多种自然语言处理任务,这些任务表现往往与人类表现很接近甚至超过了人类表现。

  ChatGPT于2022年11月30日发布。   ChatGPT就是在GPT-3的升级版GPT-3.5的基础上,进行一定的包装、微调、优化,所做出来的产品。过往的GPT-3只是一个底层引擎,必须接入到一个软件中才能使用。而ChatGPT,可以理解为OpenAI自己为GPT做了这么一个软件,让用户可以直接使用它。   所以它才叫ChatGPT,也就是「可以聊天的GPT」。

  ChatGPT-4于于2023年3月15日发布,GPT-4是多模态大模型,即支持图像和文本输入以及文本输出,拥有强大的识图能力,文字输入限制提升到了2.5万字。GPT-4的特点在于,第一,它的训练数量更大;第二,支持多元的输出输入形式;第三,在专业领域的学习能力更强。

返回技术列表