小黑豆
小黑豆

暂无菜单项

首页/文章/热点资讯/
打开 MD 链接

Inkling 2 Mini 亮相:约 260 亿参数的本地模型,为什么中间 12 层要算三遍?

发布于 1天前
1
轮播

11 月 20 日,Hugging Face 介绍了 Thinking Machines Lab 的多模态模型 Inkling 2 Mini。它接收文本和图像输入,支持最高 100 万 token 的上下文。对打算在本地运行模型的人,最值得先弄清的是三个不同的数字:约 260 亿个实际参数、每个 token 约 30 亿个活跃参数,以及一次计算会经过的 48 层次。它们分别描述权重规模、专家参与量和计算路径。

同一组权重为什么能用三次

Mini 的解码器有 24 个实际层。最前面六层运行一次,中间十二层走三遍,最后六层再运行一次。因此在处理一个 token 的过程中,共发生 6+12×3+6=48 次层访问。中间每一遍使用同一组权重,同时通过模型学习到的信息传递机制,吸收前一遍的计算结果。模型获得了较深的计算路径,又能省下为重复层分别储存权重的空间。

这种设计很容易被误解成“后两遍不用花时间”。实际上,权重共享解决的是储存问题,每次访问仍要进行运算,并保留相应的运行状态。另一个容易混淆的数字是 30 亿活跃参数。混合专家模型为每个 token 选取部分专家参与计算,其他专家的权重仍属于完整模型。规划机器配置时,仅按一个 30 亿参数的普通模型估算内存,会低估加载所需的空间。

一百万上下文在自己的机器上意味着什么

官方介绍列出了 Transformers、llama.cpp 和 MLX 等支持途径。具体能处理多长的材料,还会受到权重格式、运行后端、可用内存以及上下文缓存影响。以整理一套相机说明书为例,先给模型两三页文字,问某个菜单选项在哪里。然后增加到一章,再加入另一款外形相似相机的说明书。每一步都保留正确页码和型号,看模型何时开始引用错版本。

如果还要测图像输入,可以专门选一页带示意图的说明书,让模型指认图中哪个按钮对应文字说明。单列这道题很有价值:靠关键词找到一段话,与读懂图上的位置关系,是两种不同的能力。长文档能装进去,也不代表模型一定能把整份材料的图和文字对应起来。

本地试玩应该记下哪些结果

除了生成速度,建议分别记录模型加载是否成功、第一段回答要等多久、连续追问后内存占用如何变化。把输入长度和所用后端写在结果旁边,其他玩家才有机会复现。测试中若遇到系统开始大量使用交换空间,也值得记下发生在哪一步。对桌面用户来说,能在自己的日常资料和等待时间内给出有依据的回答,比孤立的参数规模更能说明这款 Mini 是否合用。

来源:Hugging Face 模型介绍

支持作者
如果这篇内容对你有帮助,可以请作者喝杯咖啡
0 点赞
0 收藏
分享
0 讨论
反馈
0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结
嗨,下午好!
所有的成功,都源自一个勇敢的开始
创作
社区
购物
会员
近期热门

暂无数据

小黑豆
小黑豆
首页
产品中心优惠
扩展中心
模板中心
小店
AI导航
社区演示
文档中心
构建器夯
追踪 AI 新动态,找到顺手的工具。
从硬件调优到开源实战,跟着教程动手试。
关于帮助文档FAQ协议
小黑豆 © 2026蒙ICP备14001754号-10