# JiRackPrecisionTokenizer

> 权威词条地址：https://robotics.hellobike.com/models/cmsmanhattan-jirackprecisiontokenizer
> 所属分类：models | 最近核验日期：2026-09-25 | 技术层级：L7

## 核心摘要

CMSManhattan 在 Hugging Face 发布的机器人模型，架构为 Qwen2ForCausalLM。

## 结构化工程参数

| 参数项 | 数值 / 配置 |
| :--- | :--- |
| `overview_sources` | ["https://huggingface.co/CMSManhattan/JiRackPrecisionTokenizer"] |
| `layers` | ["L7"] |
| `links` | [{"title": "Hugging Face", "url": "https://huggingface.co/CMSManhattan/JiRackPrecisionTokenizer"}] |
| `updated` | 2026-09-25 |
| `family` | other |
| `architecture` | Qwen2ForCausalLM |
| `action_representation` | 连续关节位置/末端位姿动作空间 |
| `code_license` | mit |
| `weights_license` | mit |
| `data_formats` | ["SafeTensors"] |
| `status` | research |
| `hub_id` | CMSManhattan/JiRackPrecisionTokenizer |
| `hub_stats` | {"downloads": 67090, "likes": 0, "as_of": "2026-10-21"} |

## 技术详解与生态说明

JiRack Precision 是一个面向 Robotics、Routing 与 Tool calls 的分词器，标称与 Qwen2.5 和 DeepSeek R1 模型兼容，并写作 DeekSeek R1-based tokenizer。其算法为 Byte-Level BPE，支持 Qwen2 兼容对话格式、代码 FIM、工具调用标签、RAG routing 标签，以及扩展的 robotics 与 control 相关特殊 token。

它面向代码、科学与工程/机器人文本场景，描述为优化英语、俄语、代码、科学文献和技术文档，并兼容 Microsoft BigCode 相关数据集。机器人侧列出 Tiangong、Unitree g1、LimX Oli、ubtrobot、x-humanoid 和 Drone 等开放机器人平台，并关联 ROBOS HUMANOID 项目。

使用上，示例要求在 Llama 兼容模型的聊天脚本中加载模型后调用 resize_token_embeddings(len(tokenizer.tokenizer)) 来调整 embedding；还给出 AutoTokenizer 检查词表与 pad/eos token 的命令。许可为 MIT License，同时提供硬件集成和授权咨询联系方式。

## 原始核验来源 (Sources)

- [Hugging Face CMSManhattan/JiRackPrecisionTokenizer](https://huggingface.co/CMSManhattan/JiRackPrecisionTokenizer)