这里包括上面算total_len的时候为什么特意把可选的add_special_tokens去掉了呢

可以试下将上面def generate_examples(example_iter)改为def generate_examples()，然后return这里改为IterDataset(generate_examples, label_list=label_list)，然后将IterDataset.__iter__中的for example in self.data:改为for example in self.data():来解决IterDataset只能遍历一次的问题。

另外上面的for example in example_iter:可能也要调整，得改成for example in self._read(root):才能让example_iter也能多次遍历。这样每次遍历也都要重新读一遍数据文件。

Done

tokenizer的返回值可否考虑使用namedtuple呢，这样一方面可以使用example.input_ids这种方式像当前用dict一样表意，另一方面也可以通过索引的方式example[0]来取字段，后者和之前已有的dataset也可以更加一致，由用户选择性的使用name或者index来选取字段。

可否给DatasetBuilder加一个lazy的类属性，各DatasetBuilder子类提供默认的lazy值以支持不同数据集默认的加载方式，reader_cls(lazy)这里传入的可以更高优先级

Done,但是也不是所有的corpus数据集都希望用lazy读取，像ptb这种小的就应该用MapDataset，因为lazy方式读取就不能折叠组batch了。

如前面所述，example能否以namedtuple的形式返回，这样既能通过name取字段，也能通过index取字段。但namedtuple可能要想想对于return_position_ids == False这种不返回的情况如何处理。

namedtuple相比dict的缺点是不能方便的添加新字段，对于稍复杂的convert_to_feature方法就不太好做。