OpenAI 再丟“王炸”：ChatGPT “封印”解除，能聯(lián)網(wǎng)、搜索了！

「亂花漸欲迷人眼」，新的一天里，OpenAI 再次丟出“王炸”：ChatGPT 推出插件功能，既能聯(lián)網(wǎng)，也能開啟搜索，還能執(zhí)行代碼和運(yùn)行計(jì)算......

一招下來，不僅把翻書、打開計(jì)算器的力都給省了，現(xiàn)如今還能用 ChatGPT 直接獲得搜索引擎提供最新消息的體驗(yàn)。

代碼解釋器到第三方工具

OpenAI 表示，“插件是專門為語言模型設(shè)計(jì)的工具，以安全為核心原則，并幫助 ChatGPT 訪問最新的信息，運(yùn)行計(jì)算，或使用第三方服務(wù)?！?/span>

具體來看，其推出的插件范圍包括 WolframAlpha、OpenTable、Slack 等第三方工具，以及官方推出的網(wǎng)絡(luò)瀏覽器插件和代碼解釋器。

基于這些，普通用戶也能在 ChatGPT 界面內(nèi)生成代碼、運(yùn)行代碼、上傳和下載從 csv 數(shù)據(jù)到圖像的文件，并評(píng)估輸出結(jié)果。

除此之外，OpenAI 還開放了知識(shí)庫檢索插件的代碼（https://github.com/openai/chatgpt-retrieval-plugin）。

網(wǎng)絡(luò)瀏覽器

ChatGPT 的爆火出圈，在于它幾乎“無所不能”：編代碼、寫策劃、出小說、當(dāng)客服……但作為一個(gè)基于歷史數(shù)據(jù)的語言模型，ChatGPT 有個(gè)一直被詬病的問題：其訓(xùn)練數(shù)據(jù)截止于 2021 年 9 月，對(duì)于更新的信息數(shù)據(jù)它無法準(zhǔn)確回答。 

而今天，這道”封印“終于解除了——OpenAI 推出了網(wǎng)絡(luò)瀏覽器插件，即 ChatGPT 可以聯(lián)網(wǎng)了！ 

“受到過去工作的啟發(fā)（包括我們自己的 WebGPT，以及 GopherCite、BlenderBot2、LaMDA2 和其他），現(xiàn)在我們?cè)试S語言模型從互聯(lián)網(wǎng)上讀取信息，嚴(yán)格擴(kuò)大了其討論內(nèi)容范圍，超越了訓(xùn)練語料庫，可獲得當(dāng)天的最新信息。”

OpenAI 展示了一個(gè)例子，通過網(wǎng)絡(luò)瀏覽器插件，ChatGPT 已可檢索今年最新的奧斯卡信息：

根據(jù) OpenAI 介紹，網(wǎng)絡(luò)瀏覽器會(huì)調(diào)用 New Bing 的搜索 API 從網(wǎng)上檢索內(nèi)容，因此繼承了微軟在安全方面的大量工作：（1）信息來源的可靠性和真實(shí)性；（2）防止檢索有問題內(nèi)容的 ”安全模式“。網(wǎng)絡(luò)瀏覽器可顯示訪問過的網(wǎng)站，并在 ChatGPT 的回復(fù)中引用其來源。 

此外，OpenAI 明確指出該插件僅限于檢索信息，不包括表單提交等”事務(wù)性“操作。它還將在獨(dú)立服務(wù)器中運(yùn)行，因此 ChatGPT 的瀏覽活動(dòng)與其基礎(chǔ)設(shè)施是區(qū)分開來的。

代碼解釋器（Code Interpreter）

「可以使用 Python處理上傳和下載的一個(gè)實(shí)驗(yàn)性的 ChatGPT 模型」，這是 OpenAI 對(duì)自家最新推出代碼解釋器的介紹。

簡(jiǎn)單來看，OpenAI 提供了一個(gè)在沙盒、防火墻執(zhí)行環(huán)境中提供工作 Python  解釋器，以及一些臨時(shí)磁盤空間。由代碼解釋器插件運(yùn)行的代碼在一個(gè)持久的會(huì)話中進(jìn)行評(píng)估，該會(huì)話在聊天對(duì)話期間是有效的（即有上線，會(huì)超時(shí)），后續(xù)的調(diào)用可以建立在彼此之上。當(dāng)前，這一功能支持將文件上傳到當(dāng)前的對(duì)話工作區(qū)，也能下載工作結(jié)果。

除了生成代碼，代碼解釋器（CI）還支持的功能有：

• 解決數(shù)學(xué)問題，包括定量和定性的數(shù)學(xué)問題

• 進(jìn)行數(shù)據(jù)分析和可視化

• 在不同格式之間轉(zhuǎn)換文件 

另外，OpenAI 也表示，正在邀請(qǐng)用戶嘗試代碼解釋器，發(fā)現(xiàn)其他有用的功能。 

為此，國(guó)外用戶 Andrew Mayne 嘗試發(fā)現(xiàn)，代碼解釋器還可以分析輸出并在另一個(gè)函數(shù)中使用它。這意味著你可以把不同部分的代碼串起來，把一個(gè)部分的輸出變成另一部分的輸入。 

他通過讓 CI 使用一個(gè)算法來生成一個(gè)迷宮，將迷宮轉(zhuǎn)換成塊，使用一個(gè)算法來尋找出口，使其看起來像吃豆人，然后生成一個(gè) GIF。

以前，當(dāng)開發(fā)者使用 ChatGPT 來創(chuàng)建代碼時(shí)，其中會(huì)涉及到把輸出結(jié)果放到另一個(gè)環(huán)境中來測(cè)試?，F(xiàn)在你可以在 ChatGPT 內(nèi)做很多開發(fā)，且不需要離開用戶界面?？芍^極大地提高了開發(fā)者的編程效率。 

通過 Andrew Mayne 的一些實(shí)測(cè)，我們不妨一起見證一下代碼解釋器的強(qiáng)大之處：

使用 OpenCV 進(jìn)行人臉查找

使用 OpenCV 和一個(gè)簡(jiǎn)單的人臉?biāo)阉魉惴ǎ℉aar Cascade Classifier），CI 能夠創(chuàng)建一個(gè)函數(shù)，在這張圖片中找到人臉：

行星軌道

使用 Matplotlib 庫，能夠讓 ChatGPT 模擬內(nèi)行星的軌道并將其保存為 gif 圖片。

創(chuàng)建機(jī)器學(xué)習(xí)模型 

雖然 ChatGPT 不能在 CI 中加載任何機(jī)器學(xué)習(xí)庫（目前），但我們可以使用 n-grams 進(jìn)行一些基本的統(tǒng)計(jì)文本生成。在這個(gè)示例中，Andrew Mayne 給了它一本書名，要求它創(chuàng)建一個(gè)預(yù)測(cè)算法，然后預(yù)測(cè)文本序列中的下一個(gè)詞。其結(jié)果不會(huì)很快讓 GPT-4 擔(dān)心，但還是很有趣。

繪圖

要求 ChatGPT 畫一只貓，它創(chuàng)造了類似貓的東西。 

畫一只帶著藍(lán)色的高帽和嘴里有煙斗的貓。

檢索

OpenAI 開源了一個(gè) ChatGPT 檢索插件（https://github.com/openai/chatgpt-retrieval-plugin），這個(gè)檢索插件允許 ChatGPT 搜索一個(gè)矢量數(shù)據(jù)庫的內(nèi)容，比如從(Milvus、Pinecone、Qdrant、Redis、Weaviate 或者 Zilliz)作為索引搜索，并將最佳結(jié)果添加到 ChatGPT 會(huì)話中，當(dāng)然前提是這些數(shù)據(jù)庫內(nèi)容獲得了個(gè)人或組織的許可。 

這樣開發(fā)者可以在檢索插件中添加他們被授權(quán)使用的內(nèi)容，并通過自然語言提問或表達(dá)需求，從其數(shù)據(jù)源（如文件、注釋、電子郵件或公共文檔）獲取最相關(guān)的文檔片段。 

第三方插件

對(duì)于第三方插件，OpenAI 表示通過候選名單的開發(fā)人員可自行為 ChatGPT 構(gòu)建插件，并給出了相關(guān)步驟： 

1、建立一個(gè)你希望語言模型調(diào)用的端點(diǎn) API（可以是新 API、現(xiàn)有 API 或?qū)ｉT為 LLM 設(shè)計(jì)的現(xiàn)有 API 的包裝器）。

2、創(chuàng)建一個(gè)記錄 API 的 OpenAPI 規(guī)范，以及一個(gè)鏈接到 OpenAPI 規(guī)范并包括一些插件特定元數(shù)據(jù)的清單文件。 

在 chat.openai.com 上開始對(duì)話時(shí)，用戶可選擇他們希望啟用的第三方插件。關(guān)于啟用插件的文檔會(huì)作為對(duì)話內(nèi)容的一部分顯示給語言模型，使模型能根據(jù)需要調(diào)用的插件 API 來實(shí)現(xiàn)功能。

目前，ChatGPT 已官宣了第一批第三方插件，主要由 Expedia，F(xiàn)iscalNote，Instacart，KAYAK，Klarna，Milo，OpenTable，Shopify，Slack，Speak，Wolfram 和 Zapier 創(chuàng)建。

其中，計(jì)算知識(shí)引擎 Wolfram|Alpha 方面興奮表示：”雖然還處于早期階段，但這已經(jīng)非常令人印象深刻——人們可以開始看到我們所謂的‘ChatGPT + Wolfram’是多么驚人地強(qiáng)大（甚至可能是革命性的）?！?/span>

例如，上個(gè)月問 ChatGPT 土耳其牲畜的數(shù)量時(shí)，它只會(huì)編造一個(gè)合理但錯(cuò)誤的數(shù)據(jù)。而如今在調(diào)用了 Wolfram 插件后，ChatGPT 可以給出一個(gè)“很好且權(quán)威”的答案，并能將其可視化：

現(xiàn)在就能用？

基于自由的插件和第三方服務(wù)，再也不用擔(dān)心 ChatGPT 胡說八道了。 

OpenAI 對(duì)此也在安全與風(fēng)險(xiǎn)維度著重強(qiáng)調(diào)了這一點(diǎn)，通過整合對(duì)外部數(shù)據(jù)的明確訪問——例如網(wǎng)上的最新信息、基于代碼的計(jì)算或自定義插件檢索的信息--語言模型可以通過基于證據(jù)的參考來加強(qiáng)其回答的質(zhì)量。

這些參考資料不僅可以提高模型的效用，而且還可以使用戶評(píng)估模型輸出的可信度，并反復(fù)檢查其準(zhǔn)確性，從而有可能減輕與過度依賴有關(guān)的風(fēng)險(xiǎn)。 

那么對(duì)于開發(fā)者及用戶層面而言，什么時(shí)候能夠用上？

其實(shí)自 ChatGPT、Bard、新 Bing、文心一言等大模型工具與產(chǎn)品發(fā)布以來，想必很多用戶最怕簡(jiǎn)單的一個(gè)單詞就是“waitlist”，不出所料，這一次也毫不例外（https://openai.com/blog/chatgpt-plugins）。

OpenAI 表示，目前只有一小部分用戶（優(yōu)先少數(shù)開發(fā)者和 ChatGPT Plus 用戶）可以開始使用插件功能，其計(jì)劃在了解到更多信息后，逐步推出更大規(guī)模的訪問（針對(duì)插件開發(fā)者、ChatGPT 用戶，以及在 alpha 期之后，希望將插件整合到他們產(chǎn)品中的 API 用戶）。 

來源：麻省理工科技評(píng)論