[博海拾贝0505]碧湖泛我舟

[详情]第十名：博海碧湖天秤女自由如风的秤子和深沉务实的摩羯，既不相似也不互补，基本上两人很难凑在一块儿，排列也非吉角。

一个SM同时并发的warp是有限的，拾贝由于资源限制，拾贝SM要为每个block分配共享内存，也要为每个warp中的thread分配独立的寄存器，所以SM的配置会影响其所支持的block和warp并发数量。博海碧湖这些优化方案使得FlashAttention-2的性能提升了2-3倍。

接着计算第二部分，拾贝根据K2和Q可以计算得到S2和A2，然后结合V2得到O2。这里忽略了L2缓存，博海碧湖因为不能直接被由程序员控制。1.由于FlashAttention和FlashAttention-2已经通过块操作来实现，拾贝对于所有列索引都大于行索引的块（大约占总块数的一半），我们可以跳过该块的计算。

WorkPartitioningBetweenWarps上一节讨论了如何分配threadblock，博海碧湖然而在每个threadblock内部，我们也需要决定如何在不同的warp之间分配工作。SM还包括特殊运算单元(SFU)，拾贝共享内存(sharedmemory)，寄存器文件(RegisterFile)和调度器(WarpScheduler)等。

本文提出了FlashAttention-2，博海碧湖它具有更好的并行性和工作分区。

因此，拾贝本文提出了FlashAttention-2以解决这些问题。[详情]天秤女vs双鱼男：博海碧湖双鱼男他的梦幻般的眼光富有魅力，充满浪漫。

拾贝天秤女见到天蝎男那冷冰冰的眼光后暗想：我不管怎么说会比别人更理解这个人。在许多情况下两人的想法都可以不谋而合，博海碧湖默契十足，彼此都被对方的锋芒毕露所吸引。

天秤男是一个爱笑的男生，拾贝很多时候一个人都能够侃侃而谈，拾贝和他在一起的确可以感受得到那种欢快的气氛，若是与平易近人的巨蟹女在一起，就会形成一种互动。天秤男女都极其反感懒惰和谎言，博海碧湖这对于他们都是非常忌讳的。