Esc

标签: transformer

Context Engineering 2 DPO 1 ECPE 2 KV Cache 3 LLM 22 NER 1 RLHF 1 RoPE 1 agent 3 chaofa 8 git 1 month-summary 10 paper 6 python-type-tutorial 3 python-typing-tutorial 3 transformer 12 倒排索引 1 入门算法 1 公开表达 4 关于我 1 分词 3 友链 1 实体识别 1 工作 2 序列标注 1 我的朋友 1 搜索技术 1 数学题 1 杂谈 37 算法妙用 2 算法实现 1 自媒体 4 面试锦囊 2

LLM MOE的进化之路，从普通简化 MOE，到 sparse moe，再到 deepseek 使用的 share_expert sparse moe

本文详细介绍了三种不同版本的混合专家模型(Mixture of Experts, MoE)实现，从基础到进阶，帮助读者全面理解 MoE 在大语言模型中的应用。主要内容包括：1. 基础版 MoE：使用简单的线性层作为专家，理解 MoE 的基本工作原理; 2. SparseMoE：大模型训练中常用的稀疏 MoE 实现，基于 Switch Transformers 的设计;3. SharedExpert SparseMoE：参考 DeepSeek 的改进版本，引入共享专家机制。文章提供了完整的 PyTorch 实现代码，包括模型定义、路由机制、负载均衡损失计算以及训练流程。同时设置了扩展性练习，帮助读者深入理解 MoE 的工作机制和优化方向。

hands-on-code llms-zero-to-hero transformer LLM

LLM activate function激活函数的进化之路，从 ReLU，GELU 到 SwiGLU(swishGLU)

主要介绍了从基础的 ReLU 到 GELU，再到现代大语言模型中广泛使用的 SwishGLU 的发展过程, 介绍了深度学习中激活函数演进历程。文章详细讲解了各个激活函数的数学原理和实现方式，并重点分析了 SwishGLU 如何结合 Swish 激活函数和 GLU 门控单元的优点。同时，文章还提供了完整的 PyTorch 代码实现，展示了如何在神经网络中使用这些激活函数，特别是在大语言模型的 FFN（前馈神经网络）层中的应用。对于想要深入理解现代深度学习模型架构的开发者和研究者来说，这是一份很有价值的参考资料。

hands-on-code llms-zero-to-hero transformer LLM

手写 Self-Attention 的四重境界，从 self-attention 到 multi-head self-attention

在 AI 相关的面试中，经常会有面试官让写 self-attention，但是 transformer 这篇文章其实包含很多的细节，因此可能面试官对于 self-attention 实现到什么程度是有不同的预期。因此这里想通过写不同版本的 self-attention 实现来达到不同面试官的预期，四个不同的版本，对应不同的细节程度。

hands-on-code transformer LLM