Esc

chaofa用代码打点酱油

手写 Self-Attention 的四重境界,从 self-attention 到 multi-head self-attention

在 AI 相关的面试中,经常会有面试官让写 self-attention,但是 transformer 这篇文章其实包含很多的细节,因此可能面试官对于 self-attention 实现到什么程度是有不同的预期。因此这里想通过写不同版本的 self-attention 实现来达到不同面试官的预期,四个不同的版本,对应不同的细节程度。

hands-on-code transformer LLM

如何在字节工作六个月以上且保持一定的心理健康?

互联网寒气愈发浓厚,号称宇宙终点站的字节跳动也开始裁员,但毕竟是终点站,哪怕是在裁员的寒冬季节,也依然有很多人陆续入职着字节,我也是其中一员。传闻字节的平均在职时间是 7 个月,这侧面说明了字节跳动的工作压力让员工很难保持一个良好的心理状态。前段时间有一个很火的帖子《在字节工作3个月以上仍保持一定程度的心理健康并非完全不可能》,受它启发,也想谈谈我在字节工作 6 个月后是如何保持心理健康的?

杂谈 工作 杂谈

2023,新的开始

2023年,我结婚了,换工作了。这也意味着在 2024 年,一切都是新的开始,所以这篇文章命名为《新的开始》。

年终总结 杂谈

Python 类型体操训练(二)-- 中级篇

python typing tutorial 中级篇。这篇文章介绍了 Python Class Variable 可以使用 ClassVar 定义一个只能由 Class 修改的类变量,并且介绍了 Self 类型;此外,着重了解 TypedDict 如何定义特定 Key 的字典类型,了解 Required 和 NotRequired 的区别;然后介绍 Python Generic Type(泛型)的写法,明确了 Python 3.12 之后方括号 [T] 注释的写法,以及如何在 3.12 版本以前通过 TypeVar 定义通用类型;最后介绍了 Literal 和 Callable 两个重要且基础的 Python 类型。

python-type-challenge python-typing-tutorial python-type-tutorial