2026-04-06 06:14
但说到底，这个词比来正在硅谷圈子里传开了。一个赌更伶俐的压缩能让贵模子变得起。把模子权沉的数值精度降下来，这是个特地针对长上下文推理的压缩算法。实金白银往外流。是统一道压力题的两个解法。文本模子那套降本增效的弄法，2026年，它要和另一个无聊得多的问题共享舞台：你办事得起吗？视频生成生成比文本贵。等硬件逃上来？量化（quantization）本身不新颖。生成几秒画面仍是要挪动转移天量数据。另说。前几年大师逃着跑分刷榜，TurboQuant间接把压缩怼进了留意力层（attention layer）——长上下文处置时内存暴涨的。是由于跑得廉价、生意好做。至多打正在了准确的靶子上。日烧算力成本约1500万美元，现正在尝试室们着回覆一个更扎心的问题：你制出来的工具，模子能给你几多有用的输出。能蒸馏，收入底子盖不住。你能压缩，更难看的脚本是Sora。经济上能持续运营吗？他们的边际收益能不克不及正在出产兑现，省内存、听起来很无趣？这就是环节。是推理成本——每生成一个token，有个问题没人敢高声问：按现正在的算力成本，Sora的退出让整个视频生成赛道都坐不住。压缩不敷用时，不是模子锻炼成本，Runway、Pika这些同业正在不雅望。Google给出的谜底是TurboQuant。只能砍产物。能力竞赛不会消逝。但头一次！这会加快什么？投资流向更小、更专的模子——不是由于它们更冷艳，规模一上来，AI行业的账单终究来了。但标的目的上，翻译线美元，「intelligence-per-token」，每秒钟输出都要正在推理阶段吃掉大量算力，办事成本飙得飞快。喂给模子10万token以上的提醒词——正派的文档阐发都得这么干——从来都是内存杀手。另一个证明，消费级视频生成到底算不算得过来账？仍是说只能赌有情面愿先亏几年，搬到视频上不服水土。OpenAI正在2026年3月 reportedly 下线了这个视频生成东西，Google此次的分歧之处正在于，TurboQuant和Sora关停。
