CANN/cannbot-skills Attention-Only模板

Attention-Only Scope 模板【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills本模板提供仅将 Attention 模块纳入 SuperKernel scope 的实现方案。适用场景首次尝试 SuperKernel模型性能瓶颈主要在 Attention 计算需要最小风险的优化方案标准 Transformer 架构模型优点风险最小Scope 范围小问题易定位易于调试编译快调试简单稳定性高不影响其他模块适合首次尝试验证 SuperKernel 是否有效缺点性能提升有限仅优化 Attention 部分未充分利用其他计算密集型模块未优化实现方案方案 A在 Attention 模块内部标记适用于 Attention 模块独立实现的情况。# cann-recipes-infer/models/{model_name}/models/modeling_*.py from executor.utils import superkernel_scope class Attention(nn.Module): def __init__(self, config): super().__init__() self.enable_superkernel config.enable_superkernel # ... 其他初始化 def forward( self, hidden_states, attention_maskNone, position_idsNone, past_key_valueNone, is_prefillFalse, **kwargs ): # SuperKernel scope 仅包含 Attention 计算 with superkernel_scope( self.enable_superkernel and not is_prefill, labelattention, optionstream-fusion1 ): # Q, K, V 投影 query_states self.q_proj(hidden_states) key_states self.k_proj(hidden_states) value_states self.v_proj(hidden_states) # Attention 计算 attn_output self._compute_attention( query_states, key_states, value_states, attention_mask, past_key_value ) # O 投影 attn_output self.o_proj(attn_output) return attn_output, past_key_value方案 B在 Decoder 层中标记适用于 Attention 作为 Decoder 层一部分的情况。# cann-recipes-infer/models/{model_name}/models/modeling_*.py from executor.utils import superkernel_scope class DecoderLayer(nn.Module): def __init__(self, config, layer_idx): super().__init__() self.enable_superkernel config.enable_superkernel self.self_attn Attention(config, layer_idx) self.mlp MLP(config) # ... 其他初始化 def forward( self, hidden_states, attention_maskNone, position_idsNone, past_key_valueNone, is_prefillFalse, **kwargs ): residual hidden_states # SuperKernel scope 仅包含 Attention with superkernel_scope( self.enable_superkernel and not is_prefill, labelfattention_layer_{self.layer_idx}, optionstream-fusion1 ): # Self-Attention hidden_states self.input_layernorm(hidden_states) attn_output, past_key_value self.self_attn( hidden_states, attention_maskattention_mask, position_idsposition_ids, past_key_valuepast_key_value, is_prefillis_prefill ) # Add Norm在 Scope 外 hidden_states residual attn_output hidden_states self.post_attention_layernorm(hidden_states) # MLP在 Scope 外 residual hidden_states hidden_states self.mlp(hidden_states) hidden_states residual hidden_states return hidden_states, past_key_value配置文件# cann-recipes-infer/models/{model_name}/config.yaml exe_mode: ge_graph # 必须是 ge_graph model_config: enable_superkernel: True # 启用 SuperKernel enable_multi_streams: False # 可选多流并行 enable_cache_compile: False # 可选缓存编译验证步骤1. 编译验证cd cann-recipes-infer/models/{model_name} bash infer.sh 21 | tee compile.log # 检查编译日志 grep -i superkernel compile.log grep -i attention compile.log2. 功能验证# 对比启用前后的输出 # 1. 禁用 SuperKernel sed -i s/enable_superkernel: True/enable_superkernel: False/ config.yaml bash infer.sh baseline_output.txt # 2. 启用 SuperKernel sed -i s/enable_superkernel: False/enable_superkernel: True/ config.yaml bash infer.sh optimized_output.txt # 3. 对比输出 diff baseline_output.txt optimized_output.txt # 应该完全一致3. 性能验证# 使用性能测试脚本 python scripts/benchmark.py --config config.yaml --output performance.json # 查看性能提升 cat performance.json | jq .improvement_percent预期性能提升模型类型预期提升说明标准 Transformer10-15%Attention 占比约 30-40%MoE 模型5-10%Attention 占比较小长序列模型15-20%Attention 计算密集常见问题Q1: 编译失败提示不支持的算子可能原因Attention 模块中使用了不支持的算子解决方法检查 Attention 实现确认使用的算子如果使用了 Tiling 下沉算子将其移出 Scope参考调试指南进行排查Q2: 性能提升不明显可能原因Attention 不是性能瓶颈模型结构特殊Attention 占比小解决方法使用 profiler 分析性能瓶颈如果 MoE 是瓶颈尝试 MoE-Only 模板如果整体都是瓶颈尝试 Full-Model 模板Q3: 精度不一致可能原因DCache 一致性问题如果使用自定义算子数值计算顺序变化解决方法检查是否使用了自定义算子如果使用了添加 DCache 刷新调用model-infer-precision-debugskill 进行排查下一步验证成功后可以考虑扩大范围尝试 Full-Model 模板将整个 Decoder 层纳入 Scope结合其他优化启用多流并行、融合算子等性能调优调整编译选项进一步优化性能参考资源Scope 分析指南../../references/scope-analysis-guide.md性能基线指南../../references/performance-baseline-guide.md调试指南../../references/debugging-guide.mdMoE-Only 模板moe-only.mdFull-Model 模板full-model.md【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考