|
|
| |
| |
职位描述 用小程序查看更多 |
|
岗位职责
1. 大规模数据 Pipeline 开发：参与 PB 级语料的清洗、去重（MinHash/LSH）、质量分层与格式标准化，用Spark/Dask 构建高吞吐数据流。
2. 数据策略实验：协助设计并验证不同领域（代码、百科、对话、逻辑推理）的混合配比、采样权重与课程学习策略，观察其对 Loss 曲线与下游能力的影响。
3. 预训练数据质量评估：构建自动化评估体系（perplexity filtering、基于参考模型的质量打分、重复度检测），让"好数据"的定义从直觉走向量化。
4. Tokenizer 与词表分析：参与词表构建、压缩率分析与领域适配，理解 Tokenization 对模型能力的隐性约束。5、实验跟踪与指标分析：监控预训练过程中的 loss behavior、grad norm、activation 分布，协助定位数据侧导致的训练异常（loss spike、收敛停滞）。
任职要求
1. 计算机/软件/AI 相关专业硕士/博士在读；
2. 扎实的 Python 与 PyTorch 基础；熟悉 Linux 环境与 Shell 脚本；
3. 对 Transformer |
|
| |
|
|
| |
|
