chatGPT跟我们有什么关系 |
您所在的位置：网站首页 › life和live是什么关系 › chatGPT跟我们有什么关系 |
chatGPT跟我们有什么关系
|
为什么想梳理关于chatgpt背后核心技术OpenAI在GPT2之后的模型迭代过程中，已经不再开源了，甚至连论文和技术报告都没有，OpenAI不再Open，成为CloseAI，在这种背景下，工业界和学术界想去对比、研究和复现chatGPT是非常困难的，那么关于chatgpt背后核心技术就值得去探索，所以综述梳理chatgpt和LLM模型背后核心技术是非常意义的事情《chatGPT跟我们有什么关系》系列将一步步揭开chatgpt和LLM模型背后的“神秘面纱”，这个系列会汇总关于LLM模型各种技术细节，其中包括吃瓜篇、前沿导读篇、技术篇、prompt enginnering篇、产业与经济篇、测评篇、自研篇等等对整个LLM模型进行全面剖析 chatGPT 跟我们有什么关系？--"吃瓜"篇 该篇主要chatgp问世体验后感觉强大AI能力（区别于传统的对话系统智能能力），随之关于chatGPT带来AI热潮，以及对传统推广搜、对话系统、NLP领域研究都有很大冲击 前沿导读随着openAI GPT3开始不再开源模型和代码，instrucGPT（有论文） 、GPT3.5（任何报告说明，只有API 不可以微调）、Chatgpt（网页访问）、 GPT4（技术报告） 以及后面的GPT5（？），OpenAI不再Open 而是CloseAI了，这种情况，如何复现chatgpt 是学术界和工业界最关心的问题，沿用张俊林博士的几句话，总结了一下 1、LLM最前沿研究的封闭化或小圈子化，算力和技术垄断是趋势 2、LLM模型技术呈现层次分化，壁垒越来越强（不在发表最新论文，透露更多数据处理和微调技术细节），工业界倒逼学术界创新，而学术界又因为没有算力平台而无法进一步研究，出现新的研究推进，那么校企联合是未来孵化大型LLM模型的主流合作方式，所谓抱团取暖。 3、新的研究方向突破，大模型微调小模型在垂直领域发挥领域价值，比如斯坦福大学最近在Meta的7B 开源LLaMA基础上，加上Self Instruct技术构造的Alpaca，也代表了一个技术方向 所谓微调大魔法 4、LLM模型评测非常重要，OpenAI发布GPT4的时候，同时发布了openai/evals 评测代码，具体会在评测篇提出来 5、多模态LLM模型是未来的AGI，OpenAI 发布GPT4，GPT4具备部分VQA能力，研究报告中透露，GPT4预训练数据中融合了视觉数据，百度文心一言也同时具备多模态的能力 LLM模型导览图Transformer网路 演化模型家族的分布，如下图所示 左边主要分为自编码路线（BERT系列）、自回归路线（GPT系列）和混合路线（BART T5等等） 右边是多模态基础模型 参考TRANSFORMER MODELS AN INTRODUCTION AND CATALOG  对应的时间线  如下图所示，包含多个厂家发布的LLM模型和参数大小分布，圆圈较大为千亿的模型，目前最大模型为Google PaLM模型，开源的千亿模型屈指可数，图中漏了清华的GLM和Meta LLAMA 参考https://lifearchitect.ai/  OpenAI GPT的故事模型发布时间线DateMilestone11/Jun/2018GPT-1 announced on the OpenAI blog.14/Feb/2019GPT-2 announced on the OpenAI blog.28/May/2020Initial GPT-3 preprint paper published to arXiv.11/Jun/2020GPT-3 API private beta.22/Sep/2020GPT-3 licensed to Microsoft.18/Nov/2021GPT-3 API opened to the public.27/Jan/2022InstructGPT released as text-davinci-002, now known as GPT-3.5. InstructGPT preprint paper Mar/2022.28/Jul/2022Exploring data-optimal models with FIM, paper on arXiv.1/Sep/2022GPT-3 model pricing cut by 66% for davinci model.21/Sep/2022Whisper (speech recognition) announced on the OpenAI blog.28/Nov/2022GPT-3.5 expanded to text-davinci-003, announced via email:1. Higher quality writing.2. Handles more complex instructions.3. Better at longer form content generation.30/Nov/2022ChatGPT announced on the OpenAI blog.14/Mar/2023GPT-4 released.GPT3OpenAI GPT3模型家族演化路径，微调（包括RLHF）了50+个模型，这样要消耗多少算力，所以对于自研的公司一定要明白这不是一般的AI模型训练 Training hardware: Access to a supercomputer with ~10,000 GPUs and ~285,000 CPU cores. If you can’t buy it, you could do as OpenAI did with Microsoft, spending their $1 billion dollars (USD) to rent it. 恐怖  GPT3底座训练数据集  数据集之谜，该图详细的分析了多个LLM模型进行预训练的数据集的类型分布  GPT4模型Playground (ChatGPT Plus account for access = $20/m): https://chat.openai.com/Paper: https://cdn.openai.com/papers/gpt-4.pdf (GPT-4 was used to help write the GPT-4 paper: ‘GPT-4 was used in the following ways: to help us iterate on LaTeX formatting; for text summarization; and as a copyediting tool.’).NYT article: https://archive.is/nIIPT 预训练数据集   测评能力，技术报告中有详细的数据 多个考试都及格了，并且超过大部分人类  GPT4发布自己，写一份关于自己的报告 https://www.impromptubook.com/wp-content/uploads/2023/03/impromptu-rh.pdf  OpenAI发布An Early Look at the Labor Market Impact Potential of Large Language Models 关于GPT4对劳动力市场潜力的报告 这篇文章会引起轩然大波，关于GPT4对劳动力市场产生巨大的冲击 最容易受到LLM影响的职业有：报税员、口译员和笔译员、调查研究人员、校对和抄写员、作家。 其中，暴露率100%的工作包括数学家、报税员、量化金融分析师、作家、网络和数字界面设计师 、甚至还区块链工程师，反而不受影响的职业是如下所示  想起了一位算法前辈说的化，算法就是自己卷自己，直到把自己卷走，冰山之下，是AGI之路，也是人类劳动力重塑的机会，故步自封自会是淘汰  参考文献Dr Alan D. Thompson – Life Architect 80%白领危了！OpenAI发布GPT时代就业秘笈：34大铁饭碗保命 |
【本文地址】
今日新闻 |
推荐新闻 |