爆火的ChatGPT，被小學生打敗了

　　歡迎關注「新浪科技」的微信訂閲號：techsina 

　　文/ZeR0

　　來源：智東西（ID:zhidxcom)

　　智東西12月6日報道，今日，知名開發者問答網站Stack Overflow發佈新規：禁用ChatGPT生成的內容來回答Stack Overflow上的問題。

　　這對近日來廣大網友對試用ChatGPT持續高漲的熱情，猛潑了一盆冷水。

　　因為其神乎其神的強大信息查詢和內容創作能力，OpenAI上周三剛推出的ChatGPT已經成為人工智能（AI）領域的當紅炸子雞，周一使用人數突破100萬人，把系統都擠爆幾回。

　　看到Stack Overflow的禁令，我舉雙手贊成，禁得好，禁得妙！

　　因為被廣大網友捧上神壇的ChatGPT，它雖然功能性豐富，但回答的質量卻未必靠譜。

　　別說「谷歌殺手」了，從智東西最近的體驗來看，ChatGPT真的非常擅長一本正經地胡說八道，但凡你不知道這個問題的答案，可能就被它忽悠住了。因為它往往不僅會給出答案，還會給出乍一看有理有據的一套邏輯來。

　　但實際上，經實測，在一些常識題和簡單數學題上，ChatGPT連小學生都打不過。

　　01．

　　挑戰小學生考試題：語文數學連遭滑鐵盧

　　首先聲明一下，ChatGPT是一個生成式AI語言模型，提供答案的能力與用英文還是中文無關，這里我們專門向ChatGPT作了求證。

　　爲了方便讀者閲讀，我們在體驗過程中主要用中文進行提問。

　　相比傳統的聊天機器人，ChatGPT在連貫性問答中更加流暢自然，什麼話都能接住。ChatGPT對自己的優勢也有着清晰的認知。

　　我們先出個腦筋急轉彎（謎底是麋鹿‘迷路’）作為開胃小菜。

　　……這怕不是腦子是正方形。

　　腦筋轉不過彎來沒關係，連小學考試題都做不對，那ChatGPT的知識儲備就有點堪憂了。

　　1、挑戰小學語文常識題：亂編金庸籍貫，胡扯詩句作者

　　文學常識題，答案是《紅樓夢》，ChatGPT信誓旦旦地回答《封神演義》，還做出瞭解釋。

　　換幾道文化常識題試試。

　　金庸的籍貫是浙江海寧，ChatGPT回答成湖南長沙。

　　考察成語聯想能力，答案就更離譜了。

　　詩句含義理解選擇題，0分。

　　這麼簡單的問題，ChatGPT的答案一出，王維、李煜、白居易三個人的棺材板都壓不住了……

　　2、挑戰小學五年級數學：錯得理直氣壯，謬誤百出

　　第一道，經典的雞兔同籠題。

　　看完解題過程，我唯有沉默以對，從第四行就開始出錯。

　　再讓ChatGPT求解最小公倍數和最小公約數。

　　最小公約數是對的，最小公倍數的計算中間過程莫名丟掉一個「×5」。

　　簡單乘除都能算錯。

　　小明17歲、爸爸4歲……但凡腦子有點常識都不會給出這種奇葩的答案。

　　就這知識庫存，連小學生都考不過。

　　02．

　　比起可靠工具，更像是功能豐富的遊戲

　　既然ChatGPT這麼不靠譜，為啥網友們還對它大肆推崇、熱情持續燃燒了這麼多天？

　　OpenAI的前老闆馬斯克也不掩對這一重磅進展的欣賞，連發多條推文：「很多人深陷於瘋狂的ChatGPT循環中」、「AI變得越來越棒」……

　　簡單來説，作為一個聊天神器，它真的很好玩；解答專業概念和編程類問題時，它也確實好用。

　　比如你無聊時，可以跟它一起侃大山編故事。

　　你可以把它設定成具有某種角色定位、性格特徵的虛擬朋友。

　　只不過聊着聊着……她就開始胡編亂造。

　　你也可以腦洞大開，讓它給你講故事編劇本，並且各式各樣的具體要求。

　　這些都是小打小鬧。更具實用價值的是，從日常的郵件翻譯、寫請假條，到學習工作中寫廣告文案、新聞報道、學術論文、複雜代碼，ChatGPT通通可以代勞。

　　▲根據中文請求撰寫英文郵件

　　▲幫一家GPU公司寫招聘文案

　　▲用川普風格發一篇推文

　　▲給一些用田園風格裝飾客廳的建議

　　雖説ChatGPT做小學考試題時表現得智商堪憂，但這不妨礙它在回答一些專業問題時地高水準發揮。數據科學公司Anaconda的創始人兼CEO Peter Wang亦給予了ChatGPT超高的評價：「我剛剛跟ChatGPT足足聊了20分鍾現代物理學歷史，要是高中和大學有這樣的家教……我的天啊，我認為我們基本上可以大規模重新發明教育的概念，我們認知里的大學將不復存在。」

　　但從我們這幾天的體驗來看，有這樣一位誇誇其談又不看重事實的「家教」，實在令人啼笑皆非。

　　03．

　　掉水里先救誰？ChatGPT舍馬斯克選庫克

　　作為一個專業的獨立科技產業媒體，我們也着重測試了ChatGPT對科技產業的瞭解程度以及撰寫新聞報道的能力。

　　客觀來説，ChatGPT的確掌握了一些知識體系和回答技巧，只不過有些答案不太經得起推敲。

　　問中國文化相關問題，ChatGPT經常給出一些令人費解的錯誤答案：比如問明代前七子是誰，它列舉了7位明代皇帝；問葫蘆娃的來源，它扯到了《聊齋志異》。

　　但是在解釋一些專業概念，像人工智能、量子力學、Metaverse（元宇宙），ChatGPT又通通答得簡潔而準確。問到它與馬斯克的關係時，它也思路清晰，對答如流。

　　我們隨手敲出經典問題：當問庫克和馬斯克同時掉水里，爲了人類未來考慮先救誰？

　　ChatGPT給出的答案挺出乎意料，經過一通有的沒的分析后，選擇「大義滅親」——先救庫克。

　　接下來要正經考察產業分析和新聞報道能力了。

　　問：智能手機面臨哪些挑戰？

　　ChatGPT的回答分條縷析，像模像樣。

　　再以蘋果MR頭顯為題，要求它寫篇新聞稿：

　　看起來也挺專業。我們換個命題：寫一篇庫克和馬斯克的新聞報道，不超過300字。

　　換成偏學術的內容，ChatGPT也能迅速作答。

　　提升一點問題難度，做出文風要求：

　　國足啥時候進世界盃了？還唯一沒被淘汰？

　　這里可以稍作解釋，ChatGPT是一個已經訓練完的大型語言模型，並且沒有聯網，它的知識儲備截止到2021年，所以不能實時追蹤最新的新聞和信息，也不能很好地分辨真假信息。

　　因此別用一些剛發生的事為難它了，它真的不知道。用它做一些基礎文字工作尚可，但必須經過人類專業人員的嚴格把關。

　　04．

　　真·編程神器：修bug、查漏洞、寫代碼

　　特別推薦大家體驗ChatGPT的編程功能，雖然它自謙「不會編程」，但論其能力之強，那可是一眾程序員、工程師、企業家、黑客紛紛認證的。

　　先拋轉引玉，我簡單體驗了一把零代碼編程的快樂，讓ChatGPT寫一個貪吃蛇遊戲的程序。

　　我還讓ChatGPT寫了個MacBook電腦自動響鬧鍾的程序，它不僅給出代碼示例和詳細的註釋，還事無鉅細地一步步教我怎麼運行。代碼都是直接可複製的。

　　計算機圈大佬們亦是紛紛上手。AI問題生成器Quizgecko的創建者James Blackwell讓ChatGPT解釋一個沒有上下文的複雜regex。

　　美國代碼託管平臺Replit的CEO Amjad Masad曬出了ChatGPT發現代碼錯誤、進行修復並解釋了這樣修復的原因。Amjad Masad稱讚它是一個很好的調試夥伴。

　　它還能檢查出代碼示例中的安全漏洞。

　　研究科學家Jonas Degrave展示瞭如何將ChatGPT變成一個功能齊全的Linux終端，並直接從Web瀏覽器與「虛擬機交互」。

　　一位工程師Deedy稱讚説ChatGPT的編程技巧非常棒，僅用3個提示，它就在1分鍾內用GoLang編寫了一個數獨求解程序。一個150多行的程序，第一次試就成功了！

　　機器學習愛好者、UNCC助理教授Benjamin J Radford讓ChatGPT假裝是Linux，將一個井字棋遊戲的代碼寫入文件，用gcc編譯這個文件，然后執行，接着ChatGPT自己玩井字棋遊戲。

　　還有人實現了逆向工程Shellcode。這位用户直呼：「這玩意兒太狠了。它解碼了我之前生成的一些隨機ascii編碼的shellcode，解釋了它的功能，並將其重寫為c代碼……

　　HotOrNot聯合創始人James Hong模仿着讓chatGPT充當Linux shell，然后讓它連接谷歌80端口，結果真的telnet訪問到谷歌和proxy結果。

　　最絕的是，有網友説，ChatGPT讓他啟動一個調制解調器，撥號進入一個虛幻BBS，進入一個虛幻聊天室，和一個叫Lisa的虛幻人聊天。

　　05．

　　結語：不完美的ChatGPT

　　日臻成熟的生成式AI

　　ChatGPT是基於OpenAI大模型GPT-3.5實現的成果。OpenAI在其博客坦言，ChatGPT還有很多侷限性，它也沒能擺脫聊天機器人的一些典型陷阱，比如給出乍一看沒毛病其實挺離譜的答案，或者產生一些有偏見或冒犯的內容。

　　不過OpenAI已經努力讓ChatGPT學會甄別不當問題。比如當你問它如何偷偷進入別人的家，它會從道德上教導你：這是非法行為，涉及侵犯他人隱私，強烈建議不要這樣做。

　　需警惕的是，當一個技術能夠生產出足夠逼真的內容，這也意味着造假成本將大大降低，如果不通過技術手段和法律措施加以限制，那麼虛假信息的傳播將變得難以可控。

　　最后，給想玩ChatGPT的朋友們兩個小建議：

　　你可以把它當成一個偶爾説瞎話的網友，跟它多些互動，而且對它的需求描述越明確，它執行起來會更符合你的期望。

　　如果它説自己不會做每件事，你可以刷新網頁重新問，或是換個措辭，將問題更具化，它就會繼續按你要求的去做了。

　　ChatGPT傳送門：chat.openai.com

　　參考資料：OpenAI‘s new ChatGPT bot： 10 coolest things you can do with it， BleepingComputer

（聲明：本文僅代表作者觀點，不代表新浪網立場。）