百川智能正式發(fā)布全鏈路領(lǐng)域增強(qiáng)大模型

來源：環(huán)球網(wǎng)

【環(huán)球網(wǎng)科技綜合報(bào)道】12月23日，百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)大模型Baichuan4-Finance。

如何讓模型在提升專業(yè)能力的同時(shí)不損失通用能力，是當(dāng)下大模型落地具體場景最大的阻礙。為解決這一問題，百川智能打造了一套全鏈路領(lǐng)域增強(qiáng)方案，該方案覆蓋了高質(zhì)量數(shù)據(jù)集構(gòu)建、模型預(yù)訓(xùn)練、微調(diào)、強(qiáng)化學(xué)習(xí)等從模型研發(fā)到場景應(yīng)用的全流程。

在模型訓(xùn)練階段，通過領(lǐng)域自約束訓(xùn)練技術(shù)，百川智能實(shí)現(xiàn)了模型專項(xiàng)能力和通用能力同步提升的效果，極大提升了模型多元場景的可用性。而Baichuan4-Finance正是這一方案的最新成果，全鏈路金融領(lǐng)域增強(qiáng)讓其既掌握了扎實(shí)的金融理論基礎(chǔ)，又具備了豐富的多場景實(shí)踐應(yīng)用能力。

具體而言，Baichuan4-Finance的高質(zhì)量金融數(shù)據(jù)集既包含金融專業(yè)教材與學(xué)術(shù)著作、頂級金融期刊論文、監(jiān)管機(jī)構(gòu)政策文件、金融法律法規(guī)等核心專業(yè)金融知識數(shù)據(jù)，也覆蓋了金融專業(yè)問答集、企業(yè)財(cái)報(bào)與年度報(bào)告、金融類研究分析報(bào)告等實(shí)踐應(yīng)用類數(shù)據(jù)，為提升模型金融能力提供了良好的底層支撐。

在此基礎(chǔ)上，Baichuan4-Finance還在領(lǐng)域自約束訓(xùn)練過程中引入了更高精的通用數(shù)據(jù)，與高質(zhì)量金融數(shù)據(jù)一起進(jìn)行混合訓(xùn)練，最終實(shí)現(xiàn)了模型通用能力不下降，金融能力穩(wěn)定增長的效果。

此外，百川智能在后訓(xùn)練環(huán)節(jié)也做了大量增強(qiáng)工作，如：通過合成數(shù)據(jù)、指令數(shù)據(jù)對模型進(jìn)行有監(jiān)督的微調(diào)；在強(qiáng)化學(xué)習(xí)策略中，針對數(shù)學(xué)計(jì)算等金融領(lǐng)域特別關(guān)注的場景進(jìn)行樣本增強(qiáng)等，進(jìn)一步提升了模型性能。

值得一提的是，為了更好地助力金融企業(yè)將大模型應(yīng)用到各種真實(shí)場景，百川智能還在官網(wǎng)發(fā)布了Baichuan4-Finance全鏈路領(lǐng)域增強(qiáng)的技術(shù)報(bào)告，詳細(xì)闡述了包括“領(lǐng)域自約束訓(xùn)練”在內(nèi)的各項(xiàng)技術(shù)細(xì)節(jié)。（青云）