同尺寸多項(xiàng)第一!三六零開(kāi)源升級(jí)版自研大模型360Zhinao2-7B
【環(huán)球科技網(wǎng)】近日,三六零自研AI大模型360智腦7B參數(shù)升級(jí)版(360Zhinao2-7B)正式開(kāi)源,現(xiàn)已上線(xiàn)Github開(kāi)源社區(qū)(github.com/Qihoo360/360zhinao2),可免費(fèi)商用。該模型是繼今年4月 360Zhinao1-7B 開(kāi)源后的重要更新,通過(guò)全新的多階段訓(xùn)練方式和更優(yōu)質(zhì)的數(shù)據(jù)處理策略,新開(kāi)源360智腦模型不僅提升了中英文通用能力,還顯著增強(qiáng)了模型的數(shù)學(xué)邏輯推理能力。據(jù)評(píng)測(cè),相對(duì)于前一版本,其在基礎(chǔ)模型訓(xùn)練和對(duì)齊訓(xùn)練兩大核心環(huán)節(jié)上均取得重大進(jìn)展,實(shí)現(xiàn)在國(guó)內(nèi)外同尺寸開(kāi)源模型中,中文能力第一、IF指令遵循7B第一,復(fù)雜數(shù)學(xué)推理能力第一;此外,模型的長(zhǎng)文本微調(diào)能力,在各個(gè)長(zhǎng)文本benchmark 上位列第一梯隊(duì)。
360Zhinao2-7B 在多項(xiàng)性能評(píng)估基準(zhǔn)中表現(xiàn)卓越?;陂_(kāi)源工具 OpenCompass 的評(píng)估,360Zhinao2-7B 在中文領(lǐng)域的 C 考試和復(fù)雜數(shù)學(xué)推理數(shù)據(jù)集 math 上,該模型以10B以下開(kāi)源模型第一的排名展現(xiàn)了超強(qiáng)的競(jìng)爭(zhēng)力。此外,在C3、lcsts等中文閱讀和摘要任務(wù)中,該模型也取得了領(lǐng)先成績(jī)。360Zhinao2-7B 在 IF、MT-bench、CF-Bench三個(gè)流行評(píng)測(cè)上,模型都具備競(jìng)爭(zhēng)力,比如在 IF (prompt strict) 上,在7B尺寸上得分最高。
優(yōu)異的模型效果評(píng)測(cè)結(jié)果,基于 360Zhinao2-7B 多項(xiàng)核心技術(shù)革新。首先,預(yù)訓(xùn)練數(shù)據(jù)優(yōu)化:通過(guò)語(yǔ)義去重和多樣化處理,大幅提升網(wǎng)頁(yè)數(shù)據(jù)的均衡性;同時(shí),通過(guò)大規(guī)模合成,彌補(bǔ)了數(shù)學(xué)和代碼數(shù)據(jù)的不足。其次,模型結(jié)構(gòu)升級(jí):引入GQA機(jī)制,顯著提升推理效率。第三,對(duì)齊訓(xùn)練強(qiáng)化:采用iterative DPO,off policy DPO以及PPO三種進(jìn)化方式分別對(duì)齊,再采用先內(nèi)插再外插的方法,極致提升模型的天花板。結(jié)合高質(zhì)量人工標(biāo)注的微調(diào)數(shù)據(jù)以及可驗(yàn)證的復(fù)雜指令遵循數(shù)據(jù),大幅增強(qiáng)了模型在實(shí)際應(yīng)用場(chǎng)景中的指令遵循能力。
此次 360Zhinao2-7B 開(kāi)源,包含基礎(chǔ)模型和強(qiáng)化對(duì)齊的聊天模型,以及模型的微調(diào)訓(xùn)練代碼,推理代碼等全套工具集也被一并開(kāi)源,大模型相關(guān)開(kāi)發(fā)者可做到“開(kāi)箱即用”。無(wú)論是在學(xué)術(shù)研究還是在教育、醫(yī)療、智能客服等商業(yè)場(chǎng)景中,都具備高度實(shí)用性。
自三六零推出開(kāi)源大模型以來(lái),一直致力于構(gòu)建開(kāi)放、共享的AI生態(tài)。此次 360Zhinao2-7B 為廣大開(kāi)發(fā)者提供了低成本、高性能的創(chuàng)新機(jī)會(huì),和性能強(qiáng)勁、穩(wěn)定性高的技術(shù)基石,是三六零對(duì)技術(shù)社區(qū)的又一次支持。隨著AI技術(shù)在全球范圍內(nèi)的迅猛發(fā)展,三六零將繼續(xù)以開(kāi)放的心態(tài)與行業(yè)伙伴共同探索更多可能性。
【免責(zé)聲明】:
凡注明 “環(huán)球科技網(wǎng)” 字樣的圖片或文字內(nèi)容均屬于本網(wǎng)站專(zhuān)稿,如需轉(zhuǎn)載圖片請(qǐng)保留 “環(huán)球科技網(wǎng)” 水印,轉(zhuǎn)載文字內(nèi)容請(qǐng)注明來(lái)源“環(huán)球科技網(wǎng)”;凡本網(wǎng)注明“來(lái)源:XXX(非環(huán)球科技網(wǎng))”的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其作品內(nèi)容的實(shí)質(zhì)真實(shí)性負(fù)責(zé),轉(zhuǎn)載信息版權(quán)屬于原媒體及作者。如轉(zhuǎn)載內(nèi)容涉及版權(quán)或者其他問(wèn)題,請(qǐng)投訴至郵箱;1978751725@qq.com
本網(wǎng)公告
環(huán)球科技網(wǎng)從不發(fā)布負(fù)面新聞資訊,也絕不會(huì)發(fā)布負(fù)面信息。如發(fā)現(xiàn)負(fù)面信息鏈接請(qǐng)甄別是否為環(huán)球科技網(wǎng)所發(fā)。
本網(wǎng)系北京伯樂(lè)傳媒廣告有限公司主辦、所有。本網(wǎng)唯一域名(www.www.lzsczx.com),其它域名鏈接均為假冒。望廣大網(wǎng)民及企業(yè)主認(rèn)真甄別。
咨詢(xún)、采訪、合作、投稿等請(qǐng)致電:13911566744(含微信)