2023年3月30日，金融信息提供商彭博社發(fā)布了專為金融領(lǐng)域打造的大語言模型（Large Language Model，LLM）Bloomberg GPT。該模型依托彭博社的大量金融數(shù)據(jù)源，構(gòu)建了一個3630億個標簽的數(shù)據(jù)集，支持金融行業(yè)內(nèi)的各類任務，在執(zhí)行金融任務上的表現(xiàn)遠超過現(xiàn)有模型，在通用場景上的表現(xiàn)與現(xiàn)有模型也能一較高下。

(資料圖片僅供參考)

華泰證券分析師謝春生（執(zhí)業(yè)：S0570519080006）認為，掌握金融數(shù)據(jù)的國內(nèi)廠商也有望復制Bloomberg GPT的路徑，實現(xiàn)大語言模型在金融場景的有效賦能。

核心突破在于金融語料

盡管Bloomberg GPT的模型參數(shù)介于GPT-2與GPT-3之間。但BloombergGPT的金融垂直能力遠超GPT系列。

分析師指出：

根據(jù)論文《Bloomberg GPT: A Large Language Model for Finance》的模型介紹顯示，Bloomberg GPT同樣基于典型的Transformer架構(gòu)，Bloomberg GPT的模型參數(shù)介于GPT-2與GPT-3之間，GPT-2模型參數(shù)為1.5億，GPT-3模型參數(shù)為1,750億，Bloomberg GPT的模型參數(shù)為500億。

官方論文《Bloomberg GPT: A Large Language Model for Finance》中的測試結(jié)果顯示，Bloomberg GPT在執(zhí)行金融任務上的表現(xiàn)超過現(xiàn)有的通用LLM模型，在通用場景上的表現(xiàn)與現(xiàn)有通用LLM模型能力基本持平。

盡管Bloomberg GPT的模型參數(shù)相較于GPT-3較小，但分析師表示，依托彭博社的大量金融數(shù)據(jù)源，Bloomberg GPT在預訓練中獲得了大量高質(zhì)量金融數(shù)據(jù)，并對預訓練數(shù)據(jù)進行了一系列的清洗、標注，Bloomberg GPT在通用能力與GPT-3基本持平的情況下，實現(xiàn)了金融垂直能力的大幅增強。

開拓開源模型+垂直數(shù)據(jù)的LLM新思路

Bloomberg GPT在開發(fā)方式上有何獨特之處？分析師認為，在模型構(gòu)建上，Bloomberg GPT顯示出了卓越的創(chuàng)新，為國內(nèi)金融數(shù)據(jù)公司開發(fā)大模型提供了有意義的路徑參考。

具體而言，主要體現(xiàn)在五個方面：

1）垂直領(lǐng)域語言模型：過去的大語言模型多為基于通用文本訓練的通用模型，垂直領(lǐng)域模型多為僅基于垂直領(lǐng)域數(shù)據(jù)訓練垂直模型，Bloomberg GPT開創(chuàng)了通用+垂直的混合訓練方法，讓模型兼具通用性與專業(yè)性；

2）訓練數(shù)據(jù)：過去的大語言模型的預訓練數(shù)據(jù)很大程度上依賴于網(wǎng)頁抓取數(shù)據(jù)，如C4、ThePile、Wikipedia等，Bloomberg自建了高質(zhì)量的大規(guī)模金融數(shù)據(jù)集；

3）模型評估：Bloomberg在對模型進行了公共、金融NLP基準測試之外，還對模型進行了一系列基于Bloomberg內(nèi)部任務的性能測試；

4）Token化（Tokenizer）：將訓練文本Token化是模型訓練的關(guān)鍵步驟，Bloomberg使用Unigram模型取代greedymerge-basedsub-word模型，實現(xiàn)更智能的token化轉(zhuǎn)換；

5）模型構(gòu)建方法：以GPT-3、GPT-4為代表的大語言模型均由大型的專業(yè)人工智能團隊開發(fā)，并且模型訓練需要大量算力；受益于開源模型BLOOM的項目實踐與Bloomberg在垂直領(lǐng)域高質(zhì)量數(shù)據(jù)的深厚積累，Bloomberg GPT成功證明了一個中等規(guī)模的團隊可以在垂直領(lǐng)域的特定數(shù)據(jù)上生產(chǎn)同樣具有競爭力的大語言模型。

金融GPT未來可期

分析師認為，Bloomberg GPT未來有望應用于以下三大場景：

1）Bloomberg查詢語言的生成：Bloomberg GPT可以將用戶自然語言查詢轉(zhuǎn)換為有效的Bloomberg查詢語言，使與金融數(shù)據(jù)的交互更加自然；

2）新聞標題的建議：Bloomberg GPT可以為Bloomberg的新聞應用程序提供支持，協(xié)助新聞工作者完成新聞短標題的撰寫；

3）金融問答：得益于金融垂直領(lǐng)域知識的輸入，Bloomberg GPT可以更加準確地回答金融相關(guān)的問題，例如在識別公司CEO的問答上，Bloomberg GPT的回答相較通用模型更為準確。

分析師指出，作為并非聚焦人工智金融垂直領(lǐng)域廠商，Bloomberg為金融GPT發(fā)展提供了具有參考價值的有益示范。

掌握豐富的金融垂直知識與現(xiàn)有AI產(chǎn)品布局，基于高質(zhì)量的金融數(shù)據(jù)與開源的大語言模型，同樣有機會打造專屬金融場景的大語言模型，實現(xiàn)大語言模型在金融場景的有效落地，讓大語言模型成為底層的AI操作系統(tǒng)。

本文主要觀點來自華泰證券分析師謝春生（執(zhí)業(yè)：S0570519080006）撰寫的報告《從BloombergGPT看金融GPT機遇》，有刪節(jié)

關(guān)鍵詞：