中国军工人才网-职位详情

负责开发公司的大模型推理框架，推动大模型相关算法的落地，打造高吞吐、低延时的推理系统。持续优化大模型推理服务框架，提升服务稳定性和框架易用性。持续优化大模型推理服务性能，提升吞吐，降低延迟并优化整体成本。跟进和探索前沿的大模型推理技术，不断追求业务突破。