关于代码、AI 和产品的思考和笔记。
从"序列处理"到"大模型"：Transformer 的演化与内核 引言：我们面对的最基本问题在自然语言处理里，最基本的数据形式是 序列（Sequence）——即一串有先后顺序的符号。例如"我爱中国"是一个序列，"Hello world"也是一个序列。模型处理序列时，需要完成两种性质不同的任务：- 理解：捕捉序列中任意两个位置之间的关联。例如"小明...他"相隔很远，但指向同一个人。- 生成：根据