這可能是讓一眾數(shù)據(jù)分析師們頭大的消息。
【資料圖】
日前,有網友分享,稱阿里達摩院最近貼出來一個研究報告,關于用 GPT4取代數(shù)據(jù)分析師的成本核算。
他直接把報告里的結論列了出來:
「除了所有數(shù)據(jù)分析師和GPT-4之間的可比績效外,我們可以注意到GPT-4所花費的時間要比人類數(shù)據(jù)分析師短得多。我們假設每個月有大約21個工作日,每天工作8小時左右,并根據(jù)每個級別的數(shù)據(jù)分析師所花費的平均時間計算出每個實例在美元方面的成本。GPT4的成本約為初級數(shù)據(jù)分析員成本的0.71%和高級數(shù)據(jù)分析員成本的0.45%。」
有網友評論:還以為是71%和45%,仔細一看,是0.71%和0.45%!
還有人把這一結論概括為:成本爆破。
不過,也有網友對這一研究結果提出質疑:
看了一下論文原文,標題黨的成分過高。論文中舉例,給高級數(shù)據(jù)分析師(9萬美元/年薪)的測試題目是:“列出球員的位置和每個位置的球員平均得分。按條形圖可視化,按升序總數(shù)排序?"。這用得著高級分析師?但確實成本上有很大優(yōu)勢。
其實,此前也有類似的研究,不過當時還是基于GPT-3.5,蘇黎世大學的研究人員研究其在復雜標注任務上表現(xiàn),當時的研究人員表示,機器學習模型在內容處理和數(shù)據(jù)清洗方面的表現(xiàn)以及成本效益,已經超過了眾包平臺上的人類雇員。
論文提到,“我們發(fā)現(xiàn)在五分之四的任務中,ChatGPT 的零樣本準確率都高于 MTurk(備注:MTurk 相當于勞務眾包平臺,申請人可以加入工作隊列、等待任務分配。)。此外,ChatGPT 的成本也遠低于 MTurk:ChatGPT 處理這五個分類任務(共25264條標注)的總成本約為68美元,而 MTurk(共12632條標注)的成本約為657美元?!毖芯咳藛T表示,按標注數(shù)量計算,ChatGPT 的單位成本約為0.003美元,只相當于 MTurk 的二十分之一,而且準確率還更高。
當然,所謂的更準確仍然不夠準確。蘇黎世大學政治學系政策分析教授、論文聯(lián)合作者之一 Fabrizio Gilardi 在采訪郵件中指出,ChatGPT 在某些任務中的準確率還不到50%,但仍然優(yōu)于 MTurk 眾包雇員。
也許短時間內,上述行業(yè)在技術迭代的背景下暫時還是安全的,但誰會知道,也許某個顛覆性的時刻,已經在不經意間加快了步伐呢?
附上研究報告的PDF版:https://arxiv.org/pdf/2305.15038.pdf?
延伸閱讀:
關鍵詞: