from torchtext import data


TEXT = data.Field(sequential=True, lower=True, batch_first=True)
LABELS = data.Field(sequential=False, batch_first=True, use_vocab=False)

train, valid, test = data.TabularDataset.splits(
    path='ch06', train='train2.txt',
    validation='valid2.txt', test='test2.txt', format='tsv',
    fields=[('text', TEXT), ('labels', LABELS)])

TEXT.build_vocab(train, min_freq=2)
print(TEXT.vocab.stoi)
pythonを用いて、手持ちの学習データ中の単語にユニークなID番号を付与したい。学習データ中で最も頻出する単語に`1`、2番目に頻出する単語に`2`、……といった方法で、学習データ中で2回以上出現する単語にID番号を付与せよ。そして、与えられた単語列に対して、ID番号の列を返す関数を実装せよ。ただし、出現頻度が2回未満の単語のID番号はすべて`0`とせよ。