TRAE 推出 Kimi-K2模型服務，國際版支持 Grok

來源：發(fā)布時間：2025-07-23

近日，Kimi 團隊正式發(fā)布了 Kimi K2的技術報告，揭示了這款全新模型背后的訓練秘密。Kimi K2的參數(shù)總量達到1萬億，而***參數(shù)則高達320億，憑借其強大的能力，Kimi K2在剛上線一周內(nèi)便在全球開源模型競賽中斬獲桂冠，超越了 DeepSeek，堪比 Grok4和 GPT4.5等前列閉源模型。

Kimi K2的成功，得益于其創(chuàng)新的訓練方法和技術架構。首先，該團隊引入了 MuonClip 優(yōu)化器，替代了傳統(tǒng)的 Adam 優(yōu)化器。這種新的優(yōu)化器結合了高效的 token 使用和穩(wěn)定性，讓 Kimi K2在預訓練階段無損失地處理了15.5萬億 token 的數(shù)據(jù)。此外，團隊還開發(fā)了大規(guī)模的 Agentic Tool Use 數(shù)據(jù)合成 pipeline，覆蓋多個領域和工具，為模型提供了豐富的訓練場景。

值得注意的是，Kimi K2在訓練中采用了 “重述法” 來提高數(shù)據(jù)效率。這種方法不是簡單重復，而是用不同的方式重新表達知識內(nèi)容，確保模型能夠真正理解信息。尤其是在處理數(shù)學和知識類文本時，Kimi K2通過將復雜內(nèi)容改寫成易懂的學習筆記風格，進一步提升了訓練效果。數(shù)據(jù)顯示，用重寫的數(shù)據(jù)訓練一輪，其準確率超過了使用原始數(shù)據(jù)訓練十輪的結果。

在后訓練階段，Kimi K2還進行了監(jiān)督微調(diào)和強化學習，通過構建可驗證的獎勵環(huán)境和自我評估機制，確保模型在多樣化任務中不斷優(yōu)化表現(xiàn)。訓練過程中還引入了預算控制和溫度衰減策略，以提高生成文本的質(zhì)量和穩(wěn)定性。為了支持如此龐大的訓練需求，Kimi K2依托于由 NVIDIA H800構成的大規(guī)模高帶寬 GPU 集群，確保了訓練效率和數(shù)據(jù)傳輸?shù)母咝?。隨著科技的不斷進步，Kimi K2的發(fā)布無疑為開源模型的發(fā)展注入了新的活力，值得行業(yè)內(nèi)外的關注。

標簽： Kimi K2 AI大模式國際版

上一篇 沒有了

下一篇 沒有了