能做什么

这是一条讲 HuggingFace 分词器的技能，它底层由 Rust 编写，速度远超同类。它教你加载现成的预训练分词器，用 BPE 与 WordPiece 等算法训练自己的词表，追踪字符与词元的对应关系，处理生产管线里的填充与截断，还给出性能数字与选型建议，说明中文英文都该怎么处理，以及什么情况下该换别的分词方案。

适用平台

适用于支持技能文件的通用 AI 编码与智能体环境，把技能装入目录后即可按需调用，不绑定任何特定平台。

来源与安全

2026-11-06 安全审查：示例需 pip 安装 tokenizers、transformers 并从 HuggingFace Hub 下载预训练分词器与数据集，判定留意（正当）。（本站审查为技能上架时审查，非持续性监控，来源非本站可控，调用技能请自行甄别）