DeepSeek-R1大模型本地部署的三种方式，总有一种适合你
三种不同的方式部署大模型（deepseek r1），分别是 ollama, LM Studio 和 vllm，从个人测试部署到工业产品使用，让你一次性掌握大模型的不同部署方式。
chaofa用代码打点酱油
LLM MOE的进化之路，从普通简化 MOE，到 sparse moe，再到 deepseek 使用的 share_expert sparse moe
本文详细介绍了三种不同版本的混合专家模型(Mixture of Experts, MoE)实现，从基础到进阶，帮助读者全面理解 MoE 在大语言模型中的应用。主要内容包括：1. 基础版 MoE：使用简单的线性层作为专家，理解 MoE 的基本工作原理; 2. SparseMoE：大模型训练中常用的稀疏 MoE 实现，基于 Switch Transformers 的设计;3. SharedExpert SparseMoE：参考 DeepSeek 的改进版本，引入共享专家机制。文章提供了完整的 PyTorch 实现代码，包括模型定义、路由机制、负载均衡损失计算以及训练流程。同时设置了扩展性练习，帮助读者深入理解 MoE 的工作机制和优化方向。
LLM activate function激活函数的进化之路，从 ReLU，GELU 到 SwiGLU(swishGLU)
主要介绍了从基础的 ReLU 到 GELU，再到现代大语言模型中广泛使用的 SwishGLU 的发展过程, 介绍了深度学习中激活函数演进历程。文章详细讲解了各个激活函数的数学原理和实现方式，并重点分析了 SwishGLU 如何结合 Swish 激活函数和 GLU 门控单元的优点。同时，文章还提供了完整的 PyTorch 代码实现，展示了如何在神经网络中使用这些激活函数，特别是在大语言模型的 FFN（前馈神经网络）层中的应用。对于想要深入理解现代深度学习模型架构的开发者和研究者来说，这是一份很有价值的参考资料。
2024，公开表达元年
2024年，chaofa开启了知识分享之路，算是公开表达的元年，以后多做有意义的事情，利他利己
手写大模型组件之Group Query Attention，从 MHA，MQA 到 GQA
了解注意力机制变体，包括MHA（Multi-Head Attention）、MQA（Multi-Query Attention）和GQA（Group Query Attention）。通过手写代码实现，探讨三种注意力机制的异同，以及GQA在推理性能优化方面的优势。
LoRA 原理和 PyTorch 代码实现
用 PyTorch 实现从零实现 LoRA, 理解 LoRA 的原理，主要是为了展示一个 LoRA 实现的细节
普通人从零开始做公开表达的增长策略
国庆七天，开始在 B 站和 YouTube 做了一些教学视频，非常开心地涨粉 1.5k+，以下是我做的几个策略和思考：1. 视频大于文章；2. 利他优先；3. 拙劣的完成好过比完美的开始；4. 选取合适的平台；5. 内容互相链接...
LLM 大模型训练-推理显存占用分析
根据模型的参数大小，预估模型训练和推理过程中的显存占用情况，包括参数占用显存大小、优化器占用显存大小...KV Cache 和 中间激活值的计算方式
项目隔离，不同的项目使用不同的 Git 配置
利用 Git 的 includeIf 配置，为不同的项目设置不同的配置，通过子文件夹 .gitconfig 覆盖 Git 的 Global 相关配置，比如 name，email 等。
手写 transformer decoder（CausalLM）
手写一个 Causal Language Model，或者说简化版的 transformer 中的 decoder。