AutoInfra

希望设计一套自动化部署模型与优化推理的方案，在给定模型结构与待部署硬件时，能借助coding agent、有限的专家知识、websearch等功能，通过分析模型计算图、硬件资源、底层推理框架，迭代搜索出latency- optimized的推理方案，实现model-device pair的深度耦合设计。