|
|
| |
| |
AI推理部署工程师 点击:2次
工作编号:2583085
|
20833-37500/月 |
|
深圳陆兮科技有限公司 查看企业资料及职位
|
2026-10-23 |
| 深圳市-福田区 无经验 | 硕士研究生 | 招5人 | 校招 |
|
| |
工作地址 |
|
|
|
|
(深圳市福田区梅林街道梅都社区中康路136号深圳新一代产业园5栋4层401)
用小程序查
用百度查
|
| |
职位描述 用小程序查看更多 |
|
岗位职责：1. 负责通用语言大模型与多模态模型的端侧推理优化与量化，在 Android / iOS / Linux 等平台稳定上线，达成延迟、内存、功耗与稳定性目标。
2. 从训练框架导出到目标引擎（如 ONNX Runtime Mobile、llama.cpp/GGUF、MNN、sherpa-onnx 等）并保证算子/图优化与精度对齐。
3. 负责端到端推理流水线，包括模型压缩、格式转换、算子/内核适配、自动化评测、崩溃与性能回溯。
4. 设计并维护针对不同硬件的加速方法，包括iOS/Apple Silicon（Core ML/ANE/Metal），Android（CPU/GPU/NPU），端侧芯片（如rk3588，jetson等）。
5. 建立性能与能耗基准体系：TTFT、吞吐（tok/s 或 QPS）、峰值/常驻内存、包体/模型体积、加载时延/冷启动与稳定性。
6. 跨团队协作：与算法侧共建量化校准与精度评估；与客户端/平台侧共同开发应用。
任职要求：1.计算机科学、软件、人工智能、电子工程、数学等相关理工科专业，本科以上学历。
2.扎实的 Python / C / C++ |
|
| |
|
|
| |
|
