tkitAutoMask文档

自动构建掩码 加入多种动态掩码合集,上下三角和动态片段,以及默认的概率

-上三角,实现类似从左到右的预测,就是单向注意,用于续写,以及unilm_mask的注意力矩阵。

片段,连续多个mask,更加适合解决补全。 未来尝试加入 模板预测掩码

安装

>>> pip install tkitAutoMask

https://github.com/napoler/tkit-automask

Indices and tables

作者博客 https://www.terrychan.org/