AKO4ALL 阅读笔记:让 AI 自动优化 GPU Kernel 的工作流
AKO4ALL 是一套让 AI 自动迭代优化 GPU kernel 的工作流框架。核心思路是:把「跑 profiler → 改代码 → 测性能 → 记录 → 提交」这个循环自动跑起来,直到性能不再提升为止。 它规定的是怎么迭代,而不是优化什么: - 优化方向完全由模型(推荐 Cl...
希望设计一套自动化部署模型与优化推理的方案,在给定模型结构与待部署硬件时,能借助coding agent、有限的专家知识、websearch等功能,通过分析模型计算图、硬件资源、底层推理框架,迭代搜索出latency- optimized的推理方案,实现model-device pair的深度耦合设计。
AKO4ALL 是一套让 AI 自动迭代优化 GPU kernel 的工作流框架。核心思路是:把「跑 profiler → 改代码 → 测性能 → 记录 → 提交」这个循环自动跑起来,直到性能不再提升为止。 它规定的是怎么迭代,而不是优化什么: - 优化方向完全由模型(推荐 Cl...
【一句话结论】 把模型权重硬编码进源代码,对推理速度没有实质影响。真正决定性能的是计算后端(CPU vs GPU)和 buffer 管理策略,与权重存储形式无关。 【实验目的】 验证一个常见直觉:权重编译进二进制,编译器能优化,推理会更快——用实测数据给出答案。 【模型结构】 M...
最近用 Claude Code 对四个项目做了深度分析,各自生成了理解文档,简单总结如下: 🔹 llama.cpp(gemma4-inference-pipeline.md) 以 Gemma4-12B QAT 量化模型为线索,完整梳理了 llama.cpp 的推理流程:CLI 初...
MobileKernelBench 近期完成了文档整理和仓库清理,主要进展如下: **刚完成的主要改动** - 删除了冗余的 README2.md(减少 298 行重复内容),将核心文档整合至主 README - README 重写完成:覆盖仓库结构、MoKA agent 用法、...
使用这个任务收集关于AutoInfra的问题、建议、缺陷反馈和改进想法。请清晰描述问题或建议,补充相关背景或链接,并说明期望的改进。
AutoInfra已创建。