月之暗面的下一代大模型Kimi K3計(jì)劃在今年第三季度正式發(fā)布。
根據(jù)已經(jīng)披露的信息，這款模型的參數(shù)量將達(dá)到2.5萬億，比目前K2系列翻了一倍還多，上下文長(zhǎng)度標(biāo)準(zhǔn)也將提升至1M左右，內(nèi)部測(cè)試數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過這個(gè)數(shù)值。
橫向?qū)Ρ纫幌?，不久前發(fā)布的DeepSeek V4 Pro版本參數(shù)量約1.6萬億，百度文心5.0是2.4萬億。
K3的2.5萬億意味著它將成為國(guó)產(chǎn)大模型陣營(yíng)中參數(shù)規(guī)模最高的產(chǎn)品之一，把此前行業(yè)普遍認(rèn)為的2萬億短期天花板直接往上抬了一截。
參數(shù)規(guī)模當(dāng)然不等于全部能力。大模型的評(píng)判維度很多，訓(xùn)練數(shù)據(jù)的質(zhì)量、算力調(diào)度的效率、推理速度、上下文窗口的長(zhǎng)度都會(huì)影響最終體驗(yàn)。
月之暗面這次也做了不少架構(gòu)層面的調(diào)整。K3采用了MoE混合專家架構(gòu)，每次推理只激活部分參數(shù)以平衡效率和性能，同時(shí)在預(yù)訓(xùn)練中確認(rèn)集成了KDA關(guān)鍵依賴注意力技術(shù)路徑。
這項(xiàng)實(shí)驗(yàn)性架構(gòu)此前在基準(zhǔn)分?jǐn)?shù)、推理速度和經(jīng)濟(jì)性三項(xiàng)指標(biāo)上都表現(xiàn)優(yōu)于傳統(tǒng)方案，但能否在2.5萬億的體量下真正跑通，還要看正式發(fā)布后的表現(xiàn)。
很多人會(huì)關(guān)心一個(gè)問題，參數(shù)量翻倍之后，普通用戶能用上嗎，用得上嗎。高參數(shù)意味著更高的算力成本和運(yùn)營(yíng)支出，這也是為什么K3的內(nèi)部測(cè)試上下文遠(yuǎn)超1M，但最終是否向用戶開放還懸而未決。
目前行業(yè)內(nèi)真正能做到普惠級(jí)超長(zhǎng)上下文的還看DeepSeek V4，后者在算力優(yōu)化上確實(shí)做到了極致。月之暗面能否在K3上找到同樣的平衡點(diǎn)，直接關(guān)系到這款產(chǎn)品對(duì)普通用戶的可用性。
商業(yè)層面上，月之暗面最近過得不算差也不算輕松。今年1月以來估值從43億美元漲到180億美元，翻了四倍，今年2月融資7億美元，被同行智譜和MiniMax在港股上市后的高溢價(jià)推上去的。
2025年11月以來，海外API收入暴增四倍，付費(fèi)用戶月增長(zhǎng)率超過170%。競(jìng)爭(zhēng)同樣激烈，字節(jié)豆包月活逼近3.5億，千問一季度月活環(huán)比翻了近10倍至1.66億，DeepSeek的用戶端數(shù)據(jù)近期有所回落。
大模型賽道早已過了單點(diǎn)技術(shù)優(yōu)勢(shì)可以吃幾年的階段，誰能把技術(shù)優(yōu)勢(shì)和商業(yè)場(chǎng)景真正銜接上，誰才站得穩(wěn)。
2.5萬億參數(shù)，放在一年前是整個(gè)行業(yè)難以想象的數(shù)字，但技術(shù)指標(biāo)的意義終究要落在可用性和性價(jià)比上。參數(shù)翻倍的K3到底能給用戶帶來什么實(shí)質(zhì)性的體驗(yàn)提升，等到第三季度正式發(fā)布才能知道答案。
匿名用戶
