2022年11月30日,OpenAI悄悄发布了一个产品。
没有新闻发布会,没有广告宣传,只是发了一条推文。
这个产品叫ChatGPT。
它是一个对话机器人,你可以和它聊天,问它问题,让它帮你做事。
几天后,它开始疯传。
人们在社交媒体上分享和ChatGPT的对话:
- 让它写诗、写代码、写文章
- 让它解释复杂概念
- 让它模拟名人对话
- 甚至让它通过考试
两周内,ChatGPT用户突破100万。
两个月内,用户突破1亿。
这是历史上增长最快的应用——比TikTok快,比Instagram快,比iPhone快。
AI,终于进入了大众视野。
ChatGPT是什么?#
ChatGPT是基于GPT-3.5的对话机器人。
它可以:
- 回答问题
- 写文章、写邮件、写报告
- 写代码、调试代码
- 翻译语言
- 解释概念
- 进行对话
它不是第一个对话机器人。Siri、Alexa、小爱同学早就存在了。
但ChatGPT不同:
第一,它真的能理解你。
以前的对话机器人只能处理简单的问题。稍微复杂一点,就答非所问。
ChatGPT可以理解复杂的问题,给出有意义的回答。
第二,它可以做很多事。
以前的对话机器人只能做预设的几件事:查天气、放音乐、定闹钟。
ChatGPT几乎可以做任何涉及语言的任务。
第三,它可以连续对话。
ChatGPT记得对话的上下文,可以进行多轮对话。
ChatGPT背后的技术#
ChatGPT基于GPT-3.5,但有一个关键改进:RLHF(人类反馈强化学习)。
训练过程分三步:
第一步:预训练
用海量文本训练语言模型,让它学会预测下一个词。
这是GPT-3做的事情。
第二步:监督微调
人类标注员编写高质量的问答对,用这些数据微调模型。
模型学会了如何回答问题。
第三步:人类反馈强化学习
人类标注员对模型的多个回答进行排序,告诉模型哪个更好。
模型学会生成人类喜欢的回答。
RLHF让ChatGPT比原始的GPT-3.5更"听话"、更"有用"。
ChatGPT的影响#
ChatGPT的影响是深远的:
工作方式
人们开始用ChatGPT辅助工作:
- 写邮件、写报告、写方案
- 写代码、调试代码
- 翻译文档
- 学习新知识
有人担心AI会取代工作,有人认为AI是助手。
教育
学生用ChatGPT写作业、写论文。
老师担心学术诚信,开始用AI检测工具。
教育界开始思考:在AI时代,应该教什么、怎么教?
搜索
人们开始用ChatGPT搜索信息,而不是Google。
Google发布了Bard(后来改名为Gemini)应对。
微软把ChatGPT集成到Bing搜索。
编程
程序员用ChatGPT写代码、调试代码、学习新技术。
有人说:“有了ChatGPT,我不再需要Stack Overflow。”
内容创作
作家、记者、营销人员用ChatGPT生成内容。
有人担心AI会取代创作者,有人认为AI是创作工具。
竞争对手#
ChatGPT的成功,引发了AI竞赛。
Google:发布Bard(后改名Gemini),集成到Google搜索和Workspace。
Microsoft:投资OpenAI 100亿美元,把ChatGPT集成到Bing、Office、Windows。
Anthropic:发布Claude,由前OpenAI员工创立。
Meta:发布LLaMA,开源大模型。
中国公司:百度发布文心一言,阿里发布通义千问,腾讯发布混元,字节发布豆包。
AI成为科技竞争的焦点。
ChatGPT的问题#
ChatGPT也有问题:
幻觉
ChatGPT会自信地说出错误的信息。
有人让它引用论文,它编造了不存在的论文。
有人让它介绍历史人物,它编造了虚假的生平。
偏见
ChatGPT可能继承训练数据的偏见。
安全
ChatGPT可能被用于生成假新闻、网络攻击等恶意用途。
OpenAI设置了安全限制,但用户总能找到绕过的方法。
依赖
人们开始依赖ChatGPT,减少独立思考。
ChatGPT之后#
2023年3月,OpenAI发布GPT-4。
GPT-4比GPT-3.5更强大:
- 可以理解图像(多模态)
- 推理能力更强
- 更少的幻觉
- 更长的上下文
2023年11月,OpenAI发布GPT-4 Turbo,支持128K上下文。
2024年,OpenAI发布GPT-4o,更快、更便宜。
AI的发展速度越来越快。
下一步:AI编程助手#
ChatGPT可以写代码、调试代码,成为程序员的助手。
GitHub Copilot、Cursor等工具,把AI集成到开发环境,改变了编程方式。
明天,我们来讲AI编程助手。
今日知识点#
ChatGPT:OpenAI发布的对话机器人,基于GPT-3.5和RLHF技术。ChatGPT在两个月内获得1亿用户,是历史上增长最快的应用。
RLHF(Reinforcement Learning from Human Feedback):人类反馈强化学习,用人类偏好训练模型。RLHF让模型生成更符合人类期望的回答。
幻觉(Hallucination):大语言模型生成虚假信息的现象。模型会自信地说出错误的信息,不知道自己不知道什么。
思考题#
- ChatGPT在两个月内获得1亿用户。你觉得它为什么能如此快速地流行?
- ChatGPT可以写作业、写论文。你觉得教育应该如何应对?
明天预告:AI编程助手——Copilot如何改变程序员的工作方式?
