AI快訊蘇曉 2026-05-08 11:12:54 來源:中房網(wǎng)
??中房網(wǎng)訊 5月5日,谷歌發(fā)布博文表示,為Gemma 4系列AI模型推出多Token預測(MTP)起草器,利用推測解碼架構,推理速度最高可提升3倍。
??據(jù)悉,谷歌曾表示,目前標準大語言模型推理通常受限于內存帶寬,導致嚴重的延遲瓶頸。處理器需耗費大量時間將數(shù)十億參數(shù)從顯存?zhèn)鬏斨劣嬎銌卧?,造成了計算資源的利用率不足。而為了解決這個核心痛點,谷歌為Gemma 4系列大模型引入推測解碼技術,配對重型目標模型(如 Gemma 4 31B)與輕量級起草器(MTP 模型)。
??起草器利用閑置算力,在短時間內預測多個未來 Token,目標模型隨后并行驗證這些令牌。若預測通過,模型可在單次前向傳遞中確認整個序列,大幅縮短生成時間。
2026-05-08
更多
- 10:43
- 10:28
- 10:18
- 10:15
- 10:12
- 09:56
- 09:46
- 09:10
- 08:56
- 08:55
- 08:54
- 08:52
- 08:51
- 08:49
- 08:46
- 08:01
- 07:58
- 07:10
- 07:05
- 07:00
- 2026-05-07 11:54:31
中國城市住房價格288指數(shù)
(2023-02)1571.9點
- 0.13%

- -0.91%

| 日期 | 指數(shù) | 環(huán)比 | 同比 |
|---|---|---|---|
| 2023.01 | 1569.9 | -0.97% | -0.14% |
| 2022.12 | 1572.1 | -0.92% | -0.11% |
| 2022.11 | 1573.9 | -0.12% | -1.08% |
| 2022.10 | 1575.8 | -0.20% | -1.01% |
| 2022.09 | 1579.0 | -0.02% | -0.87% |
| 2022.08 | 1579.3 | -0.04% | -0.62% |
- 1谷歌正內測全新AI智能體“Remy”
- 2Anthropic承諾5年內斥資2000億美元購買谷歌云服務和芯片
- 3工信部:研究制定寵物用家電、特殊人群用服務機器人等新產(chǎn)品標準
- 4為贏下 AI“供電競賽”,微軟或將擱置2030年清潔能源承諾
- 5美國考慮對新型AI模型實施更嚴格監(jiān)管
- 6物理AI初創(chuàng)企業(yè)ARI被Meta收購
- 7AI芯片企業(yè)Cerebras計劃IPO,預估至少籌集32.2億美元
- 8消息稱Anthropic看上英國企業(yè)Fractile推理芯片
- 9OpenAI總裁稱今年算力支出預計達500億美元
- 102025年我國用于人工智能訓練和推理的數(shù)據(jù)總量同比增長逾四成