自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 WMT数据处理

自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 WMT数据处理

• Finalizing the preprocessing of the datasets
• 星空智能对话机器人系列博客

read clean.py 代码加载已清理的数据集，预处理数据已优化：

from pickle import load
from pickle import dump
from collections import Counter
 
# load a clean dataset
def load_clean_sentences(filename