彭博研究員構(gòu)建了迄今為止最大的特定領(lǐng)域數(shù)據(jù)集，并訓練了擁有500億參數(shù)且專門用于金融領(lǐng)域的LLM——。經(jīng)過測試chatgpt 特定領(lǐng)域，該模型在金融任務(wù)上的表現(xiàn)遠超現(xiàn)有的模型，且在通用場景上的表現(xiàn)與現(xiàn)有模型也能一較高下。

引爆的AI熱潮也“燒到了”金融圈，彭博社重磅發(fā)布為金融界打造的大型語言模型（LLM）——。

3月30日chatgpt 特定領(lǐng)域，根據(jù)彭博社最新發(fā)布的報告顯示，其構(gòu)建迄今為止最大的特定領(lǐng)域數(shù)據(jù)集，并訓練了專門用于金融領(lǐng)域的LLM，開發(fā)了擁有500億參數(shù)的語言模型——。

報告顯示，該模型依托彭博社的大量金融數(shù)據(jù)源，構(gòu)建了一個3630億個標簽的數(shù)據(jù)集，支持金融行業(yè)內(nèi)的各類任務(wù)。該模型在金融任務(wù)上的表現(xiàn)遠超過現(xiàn)有模型，且在通用場景上的表現(xiàn)與現(xiàn)有模型也能一較高下。

一般來說，在NLP領(lǐng)域，參數(shù)數(shù)量和復(fù)雜程度之間具有正相關(guān)性，GPT-3.5模型的參數(shù)量為2000億，GPT-3的參數(shù)量為1750億。

關(guān)于

報告指出，研究人員利用彭博社現(xiàn)有的數(shù)據(jù)，對資源進行創(chuàng)建、收集和整理，通過構(gòu)建迄今為止最大的特定領(lǐng)域數(shù)據(jù)集來完成，并基于通用和金融業(yè)務(wù)的場景進行混合模型訓練：

彭博社主要是一家金融數(shù)據(jù)公司，數(shù)據(jù)分析師在公司成立的四十年的時間里收集了大量的金融文件，擁有廣泛的金融數(shù)據(jù)檔案，涵蓋了一系列的主題。

我們將這些數(shù)據(jù)添加到公共數(shù)據(jù)集中，以創(chuàng)建一個擁有超過7000億個標簽的大型訓練語料庫。

使用這個訓練語料庫的一部分，我們訓練了一個具有彭博風格的，達500億參數(shù)的模型，該模型是根據(jù)和Le Scao等人的指導(dǎo)方針設(shè)計，基于通用和金融業(yè)務(wù)的場景進行混合模型訓練。

結(jié)果表明，我們的混合訓練方法使我們的模型在金融任務(wù)上的表現(xiàn)大大超過了現(xiàn)有的模型，而在通用場景上的表現(xiàn)則與之相當甚至優(yōu)于現(xiàn)有模型。

1.優(yōu)勢：特定領(lǐng)域模型仍有其不可替代性且彭博數(shù)據(jù)來源可靠

在論文中，彭博社指出，現(xiàn)階段，通用的自然語言處理模型可以涵蓋許多領(lǐng)域，但針對特定領(lǐng)域模型仍有其不可替代性，因彭博社的大多數(shù)應(yīng)用均為金融領(lǐng)域，著手構(gòu)建了一個針對金融領(lǐng)域的模型尤其優(yōu)勢，同時可以在通用LLM基準測試上保持競爭力：

除了構(gòu)建金融領(lǐng)域的LLM外，本文的經(jīng)驗也為其他研究領(lǐng)域的專用模型提供了參考。我們的方法是在特定領(lǐng)域和一般數(shù)據(jù)源上訓練LLM，以開發(fā)在特定領(lǐng)域和通用基準上表現(xiàn)優(yōu)異的模型。

此外，我們的訓練數(shù)據(jù)不同于傳統(tǒng)的網(wǎng)絡(luò)爬取數(shù)據(jù)，網(wǎng)絡(luò)上的數(shù)據(jù)總有重復(fù)和錯誤，但我們的數(shù)據(jù)來源可靠。

2.的訓練數(shù)據(jù)集：

的訓練數(shù)據(jù)庫名為，由一系列英文金融信息組成，包括新聞、文件、新聞稿、網(wǎng)絡(luò)爬取的金融文件以及提取到的社交媒體消息。

為了提高數(shù)據(jù)質(zhì)量，數(shù)據(jù)集也使用了公共數(shù)據(jù)集，例如The Pile、C4和。的訓練數(shù)據(jù)集中大約一半是特定領(lǐng)域的文本，一半是通用文本。為了提高數(shù)據(jù)質(zhì)量，每個數(shù)據(jù)集都進行了去重處理。

對金融領(lǐng)域的理解更準

報告指出，在金融領(lǐng)域中的自然語言處理在通用模型中也很常見，但是，針對金融領(lǐng)域，這些任務(wù)執(zhí)行時將面臨挑戰(zhàn)：

以情感分析為例，一個題為“某公司將裁員1萬人”，在一般意義上表達了負面情感，但在金融情感方面，它有時可能被認為是積極的，因為它可能導(dǎo)致公司的股價或投資者信心增加。

報告指出，從測試來看，在五項任務(wù)中的四項（，F(xiàn)iQA SA，F(xiàn)PB和）表現(xiàn)最佳，在NER（ ）中排名第二。因此，有其優(yōu)勢性。

測試一：數(shù)據(jù)集是一個針對金融領(lǐng)域的問答數(shù)據(jù)集，包括從新聞文章中提取出的問題和答案，旨在測試模型對金融領(lǐng)域相關(guān)問題的理解和推理能力。

測試二：FiQA SA，第二個情感分析任務(wù)，測試英語金融新聞和社交媒體標題中的情感走向。

測試三：標題，數(shù)據(jù)集包括關(guān)于黃金商品領(lǐng)域的英文新聞標題，標注了不同的子集。任務(wù)是判斷新聞標題是否包含特定信息，例如價格上漲或價格下跌等。

測試四： FPB，金融短語庫數(shù)據(jù)集包括來自金融新聞的句子情緒分類任務(wù)。

測試五：NER，命名實體識別任務(wù)，針對從提交給SEC的金融協(xié)議中收集金融數(shù)據(jù)，進行信用風險評估。

對于來說chatgpt 特定領(lǐng)域，這個差距尤為顯著，因為它需要使用對話式輸入來對表格進行推理并生成答案，具有一定挑戰(zhàn)性。

新浪合作大平臺期貨開戶 安全快捷有保障

海量資訊、精準解讀，盡在新浪財經(jīng)APP

免責聲明：本文系轉(zhuǎn)載，版權(quán)歸原作者所有；旨在傳遞信息，不代表本站的觀點和立場和對其真實性負責。如需轉(zhuǎn)載，請聯(lián)系原作者。如果來源標注有誤或侵犯了您的合法權(quán)益或者其他問題不想在本站發(fā)布，來信即刪。