AutoInfra

AutoInfra

创建者: Sun Yi项目 ID: povcvYKZRSZIeWUpToHg
1 收藏1 贡献者可见范围: 公开

简介

希望设计一套自动化部署模型与优化推理的方案,在给定模型结构与待部署硬件时,能借助coding agent、有限的专家知识、websearch等功能,通过分析模型计算图、硬件资源、底层推理框架,迭代搜索出latency- optimized的推理方案,实现model-device pair的深度耦合设计。

最近动态

动态

AKO4ALL 阅读笔记:让 AI 自动优化 GPU Kernel 的工作流

6月11日 07:30

AKO4ALL 是一套让 AI 自动迭代优化 GPU kernel 的工作流框架。核心思路是:把「跑 profiler → 改代码 → 测性能 → 记录 → 提交」这个循环自动跑起来,直到性能不再提升为止。 它规定的是怎么迭代,而不是优化什么: - 优化方向完全由模型(推荐 Cl...

动态

wic 实验日志 #1:权重硬编码能加速推理吗?MNIST x Swift x Metal 的 2x2 对比实验

6月10日 16:16

【一句话结论】 把模型权重硬编码进源代码,对推理速度没有实质影响。真正决定性能的是计算后端(CPU vs GPU)和 buffer 管理策略,与权重存储形式无关。 【实验目的】 验证一个常见直觉:权重编译进二进制,编译器能优化,推理会更快——用实测数据给出答案。 【模型结构】 M...

动态

用 Claude Code 读懂四个 GPU/推理项目——项目文档速览

6月9日 13:30

最近用 Claude Code 对四个项目做了深度分析,各自生成了理解文档,简单总结如下: 🔹 llama.cpp(gemma4-inference-pipeline.md) 以 Gemma4-12B QAT 量化模型为线索,完整梳理了 llama.cpp 的推理流程:CLI 初...

动态

MobileKernelBench 进展更新 - 2026/06/01

6月1日 09:54

MobileKernelBench 近期完成了文档整理和仓库清理,主要进展如下: **刚完成的主要改动** - 删除了冗余的 README2.md(减少 298 行重复内容),将核心文档整合至主 README - README 重写完成:覆盖仓库结构、MoKA agent 用法、...

任务

问题与建议

6月1日 09:49
任务 ID: tHsj4OKWxVQ2P05wyaPv截止时间: 无限

使用这个任务收集关于AutoInfra的问题、建议、缺陷反馈和改进想法。请清晰描述问题或建议,补充相关背景或链接,并说明期望的改进。

动态

AutoInfra已创建

6月1日 09:49

AutoInfra已创建。