Lazy loaded image实例分割新范式：Falcon Perception技术剖析

学习分享
这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？ 目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是： • 先用一个vision backbone提取图像features • 单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出 虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。 针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads
实例分割新范式：Falcon Perception技术剖析
LocateAnything技术小结
《Unlimited OCR》技术小结：用R-SWA实现长程文档解析

Lazy loaded imageKimi K3 技术解析

学习分享
Kimi K3 的主要设计可以归纳为下面几项： 模型架构层面： • backbone 按 3:1 混合 KDA 与 MLA，兼顾长序列成本和周期性全局交互； • Attention Residuals 缩短 features 沿网络深度的访问路径； • Stable LatentMoE 使用 896 个 routed experts，配合 SiTU-GLU、RMSNorm 和 Quantile Balancing 稳定训练； • MoonViT-V2 从头参与 next-token training，图片、视频和文本使用同一 backbone； 训练&infra • context 按 8K、64K、256K、1M 四个阶段扩展； • post-training 在三个 domain、三个 reasoning-effort 档位上训练 9 个 teachers，再通过 MOPD 合并； • KCP、MoonEP、external KV cache、AgentENV 和 hybrid prefix cache 共同支撑训练与 serving。
Kimi K3 技术解析
Nougat 深度剖析
Segment Anything(SAM)

Lazy loaded imageDeepMind: 训练LLM的scale law

学习分享
作者通过400个不同大小语言模型在5B-50B数据训练不同的时长，来探究LLM的scale law。实验发现，model size和training tokens应当scale equally，如：当model size扩大一倍，training tokens也应当扩大一倍。作者根据这个scale law训练chinchilla，在多个任务上实现SOTA。
DeepMind: 训练LLM的scale law

Lazy loaded imageLoRA: 微调大模型的一种轻量级方法

学习分享
常见的预训练模型有非常低的本征维度。通俗的讲就是说存在一种低维重参数化方式，其在微调时与全参数空间一样有效。受此启发LoRA相对原本架构它增加了一个旁路，使输入向较小的子空间进行随机投影。微调过程时仅更新旁路的较为轻量的权重A,B，取代更新原有权重W。
LoRA: 微调大模型的一种轻量级方法

Lazy loaded imageRLHF对大模型泛化性和多样性的影响

学习分享
虽然目前RLHF(reinforcement learning from human feedback)成为LLM训练不可缺少的一部分。但目前并没有详细研究RLHF到底对LLM哪一方面有益 or 有害。为了提升对RLHF不同阶段收益的认知，本文从实验上系统探究了RLHF的三个阶段supervised fine-tuning (SFT), reward modeling(RW), RLHF对LLM泛化性(generalisation)和生成多样性(diversity)的影响。
RLHF对大模型泛化性和多样性的影响
Attention Free Transformer(AFT)技术小结

Lazy loaded imageKV-Cache技术小结（MHA,GQA,MQA,MLA)

学习分享
KV-cache技术是目前LLM，VLLM等自回归模型常用的避免冗余计算的手段。但引入该技术需要额外的存储成本。原生的kv-cache所需的存储成本与生成的token长度成正比，是目前长文本生成的主要瓶颈之一。目前针对如何降低KV-cache的存储成本激起大量研究者广泛关注。GQA，MQA，MLA是目前常用的方法。本文将从经典的casual attention出发，阐述kv-cache的必要性，及目前常见优化kv-cache的手段。
KV-Cache技术小结（MHA,GQA,MQA,MLA)

Lazy loaded imageStep by Step： Understanding Flash-Attention

学习分享
Transformers核心组件self-attention的空间复杂度为$\mathcal{O}(T^2)$ ,$T$为序列长度。从显存层面限制了模型长上下文upper bound。对于标准的self-attention计算而言，需要频繁进行HBM(high bandwidth memory, HBM)和SRAM的内存读写，存在IO瓶颈。 FlashAttention的核心创新点是通过online-softmax和tiling技巧来将self-attention的空间复杂度降至$\mathcal{O}(T)$，减少HBM与SRAM的IO通信。
Step by Step： Understanding Flash-Attention
1234567
莫叶何竹🍀
莫叶何竹🍀
非淡泊无以明志，非宁静无以致远