11 月 20 日,Hugging Face 介绍了 Thinking Machines Lab 的多模态模型 Inkling 2 Mini。它接收文本和图像输入,支持最高 100 万 token 的上下文。对打算在本地运行模型的人,最值得先弄清的是三个不同的数字:约 260 亿个实际参数、每个 token 约 30 亿个活跃参数,以及一次计算会经过的 48 层次。它们分别描述权重规模、专家参与量和计算路径。
同一组权重为什么能用三次
Mini 的解码器有 24 个实际层。最前面六层运行一次,中间十二层走三遍,最后六层再运行一次。因此在处理一个 token 的过程中,共发生 6+12×3+6=48 次层访问。中间每一遍使用同一组权重,同时通过模型学习到的信息传递机制,吸收前一遍的计算结果。模型获得了较深的计算路径,又能省下为重复层分别储存权重的空间。
这种设计很容易被误解成“后两遍不用花时间”。实际上,权重共享解决的是储存问题,每次访问仍要进行运算,并保留相应的运行状态。另一个容易混淆的数字是 30 亿活跃参数。混合专家模型为每个 token 选取部分专家参与计算,其他专家的权重仍属于完整模型。规划机器配置时,仅按一个 30 亿参数的普通模型估算内存,会低估加载所需的空间。
一百万上下文在自己的机器上意味着什么
官方介绍列出了 Transformers、llama.cpp 和 MLX 等支持途径。具体能处理多长的材料,还会受到权重格式、运行后端、可用内存以及上下文缓存影响。以整理一套相机说明书为例,先给模型两三页文字,问某个菜单选项在哪里。然后增加到一章,再加入另一款外形相似相机的说明书。每一步都保留正确页码和型号,看模型何时开始引用错版本。
如果还要测图像输入,可以专门选一页带示意图的说明书,让模型指认图中哪个按钮对应文字说明。单列这道题很有价值:靠关键词找到一段话,与读懂图上的位置关系,是两种不同的能力。长文档能装进去,也不代表模型一定能把整份材料的图和文字对应起来。
本地试玩应该记下哪些结果
除了生成速度,建议分别记录模型加载是否成功、第一段回答要等多久、连续追问后内存占用如何变化。把输入长度和所用后端写在结果旁边,其他玩家才有机会复现。测试中若遇到系统开始大量使用交换空间,也值得记下发生在哪一步。对桌面用户来说,能在自己的日常资料和等待时间内给出有依据的回答,比孤立的参数规模更能说明这款 Mini 是否合用。

