ghxb2 果核博客 2 小时前 KRAFTON AI开源Raon-1 mini预览版 30B-A4B MoE架构 10月26日消息，韩国知名游戏企业KRAFTON（魁匠团）旗下人工智能分支KRAFTON AI本周公布了其从头训练的Raon-1 mini模型的预览版本，该模型的正式版和后续的更大模型即将推出。 Raon-1 mini采用混合专家架构，导入线性注意力，支持推测解码，整体体量为30B-A4B（实际为28.8B总参数、每token激活4.3B）。该模型聚焦韩语的同时兼顾英语性能，以Apache 2.0许可开源——这意味着不仅研究用途，商业服务和产品开发也可免费使用。KRAFTON AI还在官网提供限时免费API试用（Playground）。 KRAFTON AI表示，预览版的Raon-1 mini在编程与智能体任务上与Meta的Muse Glimmer 30B相当，同时速度更快、内存效率更高；此外其能进行自然的对话。 从模型卡披露的细节看，该模型为25层混合布局：18层采用自研的Raon Delta Attention（RDA，基于Kimi Delta Attention改进，解耦擦除与写入门控以提升长上下文表现），7层保留Gated MLA全注意力，KV缓存约8 KiB/token #AI相关
