Skip to content

OneGenome-Rice/model/tokenizers/one_hot.bpe.vocab和OneGenome-Rice/model/tokenizers/one_hot.bpe.model的分词有问题吧，文章里面特殊token有<eod>.但是你现在这个开源代码里面，并没有显示出来？ #1

Open
Open
OneGenome-Rice/model/tokenizers/one_hot.bpe.vocab和OneGenome-Rice/model/tokenizers/one_hot.bpe.model的分词有问题吧，文章里面特殊token有<eod>.但是你现在这个开源代码里面，并没有显示出来？#1
@ArtBioDesign

Description

@ArtBioDesign
ArtBioDesign
opened on May 11, 2026

OneGenome-Rice/model/tokenizers/one_hot.bpe.vocab和OneGenome-Rice/model/tokenizers/one_hot.bpe.model的分词有问题吧，文章里面特殊token有.但是你现在这个开源代码里面，并没有显示出来？

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Fields

    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions