<ol id="pdvbr"></ol>

    <rp id="pdvbr"><track id="pdvbr"></track></rp>
      當前位置: 首頁 > news >正文

      ChatGPT簡要解讀(一) - 原理分析與性能提升篇

      • &#x1f482; 個人主頁: 同學來啦

      • &#x1f91f; 版權: 本文由【同學來啦】原創、在CSDN首發、需要轉載請聯系博主

      • &#x1f4ac; 如果文章對你有幫助&#xff0c;歡迎關注、點贊、收藏和訂閱專欄哦


      文章目錄

      • &#x1f423; 一、ChatGPT簡要介紹

      • &#x1f424; 二、ChatGPT有哪些改進&#xff1f;

      • &#x1f425; 三、ChatGPT性能提升


        • &#x1f7e5; 2.1 Transformer結構區別

        • &#x1f7e7; 2.2 模型量級提升

        • &#x1f7e8; 2.3 基于人類反饋的強化學習

        • &#x1f534; 1、性能表現

        • &#x1f7e0; 2、實現路徑


        • &#x1f414; 四、OpenAI追求特點


        &#x1f423; 一、ChatGPT簡要介紹

        ChatGPT是美國OpenAI公司研發的大參數預訓練生成語言模型&#xff0c;是一款通用的自然語言生成模型&#xff0c;其中GPT “生成性預先訓練轉換器”(generative pretrained transformer)的縮寫。該模型被互聯網巨大的語料庫訓練之后&#xff0c;其可以根據你輸入的文字內容來生成對應的文字回答&#xff0c;即為常見的聊天問答模式。
        在這里插入圖片描述
        語言模型的工作方式是對語言文本進行概率建模&#xff0c;用來預測下一段輸出內容的概率&#xff0c;形式上有些類似于文字接龍游戲。比如輸入的內容是“你好”&#xff0c;模型可能就會在可能的結果中選出概率最高的那一個&#xff0c;用來生成下一部分的內容。
        在這里插入圖片描述
        在這里插入圖片描述

        &#x1f424; 二、ChatGPT有哪些改進&#xff1f;

        ChatGPT之所以有如此強烈的反響&#xff0c;很大程度上是因為其在語言能力上的顯著提升。ChatGPT相比于其他聊天機器人&#xff0c;主要表現在以下幾個方面&#xff1a;

        • 1??對于用戶實際意圖的理解有明顯提升。對于使用過類似聊天機器人或者自動客服的同學&#xff0c;應該經常會遇到機器人兜圈子甚至答非所問的情況&#xff0c;用戶體驗感較差。ChatGPT在該方面有了顯著提升&#xff0c;具有更加良好的用戶體驗。

        • 2??具有非常強的上下文銜接能力。對于我們用戶而言&#xff0c;用戶不僅可以問一個問題&#xff0c;而且可以通過不斷追加提問的方式&#xff0c;讓其不斷改進回答內容&#xff0c;最終達到用戶期待的理想效果。

        • 3??更強的對知識和邏輯的理解能力。當遇到某個問題&#xff0c;其不僅給出一個完整的回答&#xff0c;并且對追加細節也可以很好的解答。&#xff08;這種兼容大量知識且富含邏輯的能力非常適合編程&#xff0c;目前網上已有很多如何解釋、修改甚至生成完整代碼的案例&#xff0c;具體詳見下圖。&#xff09;
          在這里插入圖片描述

        &#x1f425; 三、ChatGPT性能提升

        &#x1f534; 1、性能表現

        截止目前尚未發現ChatGPT的公開論文&#xff08;如有請指出&#xff09;&#xff0c;但可以明確的是ChatGPT與Open AI此前發布的InstructGPT具有非常接近的姊妹關系&#xff0c;兩個模型的訓練過程也非常接近&#xff0c;因此InstructGPT有較為可靠的參考價值。
        在這里插入圖片描述
        在OpenAI關于InstrcutGPT的論文中&#xff0c;可以找到一些直觀優勢的量化分析&#xff0c;InstrcutGPT對比GPT-3模型有如下特點&#xff1a;

        • 1??71%~88%的情況下&#xff0c;InstrcutGPT生成的回答要比GPT-3模型的回答更加符合訓練人員的喜好。

        • 2??在回答真實程度上更加可靠&#xff0c;編造的概率從GPT-3的41%下降到InstrcutGPT的21%。

        • 3??InstrcutGPT產生有毒回答的概率減小了25%。

        &#x1f7e0; 2、實現路徑

        為何ChatGPT可以做到如此出色的效果&#xff1f;讓我們把視角稍微拉遠一些&#xff0c;看看該款模型近幾年的發展歷史。
        從演進關系來看&#xff0c;ChatGPT是OpenAI的另一款模型&#xff0c;InstrcutGPT的姊妹版本&#xff0c;其基于InstrcutGPT做了一些調整。具體的發展路線如下&#xff1a;
        在這里插入圖片描述
        限于篇幅和實際情況&#xff0c;本文無法對每篇文章進行解析&#xff0c;重點提一下幾個有意思的決定和突破。

        &#x1f7e5; 2.1 Transformer結構區別

        對于從Transformer結構上分支出來的BERT和GPT&#xff0c;有一點不同是來自于Transformer的結構區別。BERT使用的是Transformer的Encoder組件&#xff0c;Encoder組件在計算某個位置時會關注文章的上下文信息&#xff1b;而GPT使用的是Transformer的decoder組件,decoder組件在計算某個位置時只關注文章的上文信息。
        在這里插入圖片描述

        • BERT在結構上對上下文的理解會更強&#xff0c;更適合嵌入式表達&#xff0c;即填空式的任務&#xff08;比如完形填空&#xff09;。

        • GPT在結構上更適合只有上文而完全不知道下文的任務&#xff0c;即根據上文推測下文&#xff08;比如對話聊天&#xff09;。

        &#x1f7e7; 2.2 模型量級提升

        一個有趣的突破是來自于模型量級上提升。從GPT-1到GPT-3&#xff0c;模型參數量從1.17億到15億&#xff0c;再到1750億。GPT-3相比于同類型的語言模型參數量增加了10倍以上。訓練數據量也由從 GPT 的 5GB&#xff0c;增加到GPT-2的40GB&#xff0c;再到GPT-3的45TB。
        在這里插入圖片描述
        在方向上&#xff0c;OpenAI并未追求在特定類型任務上的表現&#xff0c;而是不斷增強模型的泛化能力。因而就對訓練數據量和參數量提出來更高的要求。伴隨著巨大參數量的是巨大的訓練成本&#xff0c;GPT-3的訓練費用也達到了驚人的1200萬美元&#xff0c;

        &#x1f7e8; 2.3 基于人類反饋的強化學習

        從GPT-3到 InstrcutGPT的一個有趣改進是引入了人類的反饋。引自OpenAI論文的說法&#xff0c;在InstrcutGPT之前&#xff0c;大部分大規模語言模型的目標都是基于上一個輸入片段token來推測下一個輸出片段&#xff0c;然而這個目標和用戶的意圖是不一致的&#xff0c;用戶的意圖是讓語言模型能夠有用并且安全地遵循用戶的指令。此處的指令也就是InstrcutGPT名字的來源&#xff0c;也呼應了ChatGPT的最大優勢&#xff0c;即對用戶意圖的理解。
        在這里插入圖片描述
        為了達到該目的&#xff0c;引入了人類老師&#xff08;即標記人員&#xff09;&#xff0c;通過標記人員的人工標記來訓練出一個反饋模型&#xff0c;該反饋模型再去訓練GPT-3。之所以沒有讓標記人員直接訓練GPT-3&#xff0c;可能是由于數據量過大的原因。該反饋模型就像是被抽象出來的人類意志可以用來激勵GPT-3的訓練&#xff0c;整個訓練方法即為基于人類反饋的強化學習。
        在這里插入圖片描述

        &#x1f414; 四、OpenAI追求特點

        OpenAI追求的特點&#xff1a;

        • &#x1f389;Decoder 結構&#xff1a;適合問答模式&#xff1b;

        • &#x1f388;通用模型&#xff1a;避免在早期架構和訓練階段為特定任務做調優&#xff1b;

        • &#x1f9e8;巨量數據和參數&#xff1a;模型知識儲備豐富&#xff1b;

        • &#x1f9e7;連續對話的能力&#xff1a;具備強大上下文對話能力&#xff08;基本原理如下&#xff09;。

        上下文對話原理&#xff1a;
        語言模型生成回答的方式是基于一個個token&#xff08;單詞&#xff09;&#xff0c;ChatGPT生成一句話的回答是從第一個詞開始&#xff0c;重復把問題以及當前生成的所有內容再作為下一次的輸入&#xff0c;生成下一個token&#xff0c;直到生成完整的回答。
        在這里插入圖片描述
        既然一句話是基于前面所有上文的一個個詞生成的&#xff0c;同樣的原理也可以把之前的對話作為下一次問題的輸入&#xff0c;這樣下一次的回答就可以包含之前對話的上下文。由于GPT-3 API里面&#xff0c;單次交互最多支持4000多個token&#xff0c;猜測Chat GPT估計也是4000個token左右。


        http://www.administracionsinlimites.com/news/show-4565125.html

        相關文章:

      • 【PyTorch與深度學習】2、PyTorch張量的運算API(上)
      • 底層邏輯(2)思考問題
      • Oracle對空值(NULL)的 聚合函數 排序
      • UDP和TCP(傳輸層)
      • 【Nginx】(五) Nginx作為微服務API網關的配置與應用
      • 阿里云RocketMQ消費MQTT消息
      • 最近非?;鸬腃hatGPT到底是個啥?
      • 什么是ChatGPT?
      • 怎樣讓chatGPT給你打工然后月入過千?
      • (只需五步)ChatGPT接入微信的攻略
      • ChatGPT中文網 - ChatGPT國內網頁版在線使用
      • ChatGPT原理解析以及使用方法介紹
      • 簡單介紹一下chatGPT
      • ChatGPT 鏡像網站,無需賬號,無地區限制!
      • 【某 GPT 體驗】體驗AI問答
      • 2021年R2移動式壓力容器充裝報名考試及R2移動式壓力容器充裝考試資料
      • 貴陽CBD造型怪異 或扭曲或變形
      • 2021年R2移動式壓力容器充裝考試題及R2移動式壓力容器充裝考試試卷
      • 2021年R1快開門式壓力容器操作考試技巧及R1快開門式壓力容器操作證考試
      • 2021年R2移動式壓力容器充裝考試內容及R2移動式壓力容器充裝模擬考試
      • 人為什么要奮斗?
      • 操作系統的奮斗(一)計算機系統概述
      • 你為什么選擇成為一個程序員,你適合做一個軟件開發工程師嗎?
      • 奮斗之路
      • “我們為什么要做 iVX ? ” ——訪 iVX CEO 孟智平 了解 iVX 企業文化
      • 為什么要早點進入軟件測試行業?現在加入晚了嗎?
      • 程序員放棄阿里工作回家當公務員,朋友:年紀輕輕為什么不奮斗
      • 程序員的奮斗史(十三)——我為什么不考研
      • 為什么要學日語?
      • 女孩,你為什么不沉住氣奮斗
      • [源碼和文檔分享]基于java的葫蘆娃大戰妖精
      • 使用SDL實現一個簡單的YUV播放器
      • 直播系列1-ffmpeg捕捉攝像頭發送rtmp
      • Error:Execution failed for task ':app:validateSigningDevDebug'. Keystore file E:\workspace\trunk\H
      • java中提供的好用的生成隨機數字的工具類(可用來當驗證碼)
      • Python習題六
      • 国产AV 无码 高潮

        <ol id="pdvbr"></ol>

          <rp id="pdvbr"><track id="pdvbr"></track></rp>