#韩娱跳蚤市场[超话]#有没有宝宝需要切卡群，切卡老师基本24小时在线！有啥尽管问！主打就是一个脾气好靠谱，对新手友好，给你提供最好的切卡体验！[给你小心心][女孩儿][女孩儿]不需要自己填表，不需要自己认领，全程只需付钱补邮就OK[锦鲤附体][锦鲤附体][锦鲤附体]就是一个贴心[给你小心心][给你小心心][给你小心心]有需要的宝宝加我

#艾芙花园[超话]#有没有宝宝需要切卡群，切卡老师基本24小时在线！有啥尽管问！主打就是一个脾气好靠谱，对新手友好，给你提供最好的切卡体验！[给你小心心][女孩儿][女孩儿]不需要自己填表，不需要自己认领，全程只需付钱补邮就OK[锦鲤附体][锦鲤附体][锦鲤附体]就是一个贴心[给你小心心][给你小心心][给你小心心]有需要的宝宝加我

#LLM##MoE# Mixtral 8x7B 出来的时候，年前对SMoE有了解一番， 并画出来模型结构草图； 前几天 myshell.ai 出了一个模型JetMoE https://t.cn/A6TXqnkL , 其结构和ModuleFormer： https://t.cn/A6TaMPlL 一样，

对attention 中的MoE map 和 reduce 操作增加了批量操作，训练和推理性能有所提高，
和原始的MoE 模型结构对比了下， 主要是在attention层 对 q输入进行门控路由处理，选择概率top k的输入专家(nn.linear) 进行训练推理(map操作)，然后 和 K, V projection(nn.linear)进行SDPA操作，其输出结果通过top K的输出专家(nn.linear)输出最终注意力结果(reduce 操作)。

JetMoE-8B参数大小模型特点：
JetMoE-8B 在成本仅为 0.1 百万美元的情况下表现优于 LLaMA2-7B，证明 LLM 的训练可能比人们通常认为的要便宜。
JetMoE-8B 仅在推理过程中使用 2.2B 的活跃参数，大大降低了计算成本。
JetMoE-8B 只使用公共数据集进行训练，并且代码已开源，因此对学术界和开发者很友好。
JetMoE-8B 可以在消费级 GPU 上进行微调，并且可以在基准测试中实现更好的性能。

图片中MoE是论文： Outrageosly Large Neural Networks: The Sparsely-Gated Mixture-Of-Experts layer：https://t.cn/RSSnhFP 中 Noisy Top-K Gating 操作， 一般情况下不用Noisy层。