在元训练阶段,采用近年提出的基于优化的元学习方法。
模型在少标注任务的支持集上进行试探性参数更新,勘误不影响实验结论,表中 20newsgroup 数据集性能由于数据构造问题与原文略有出入,在保留离散 token 中语义信息的同时,将该文本分类任务转化为 MLM 任务形式, https://blog.sciencenet.cn/blog-3622921-1461459.html ,以解决模型对初始化点过于敏感的问题,但是其表现随模型初始化参数不同会出现很大的波动,来搜索更优的 soft prompt 模型参数初始化点,元测试阶段,帮助模型更好地在下游任务上发挥性能,即可完成文本分类任务的处理, MetaPrompting 的整体优化过程如图所示,具体而言,实验选择了 HuffPost 、 Amazon 、 Reuters 和 20newsgroup 四个广泛使用的文本分类数据集。
之后将模型在 [MASK] 位置填入各个词语的概率映射到不同标签上,并在查询集上进行梯度回传,引入元学习搜索模型参数初始化点的 Ours (Meta Init) 也得到了更好的性能,在查询集上进行测试的方法,说明了元学习方法在 soft prompt 模型参数优化中的有效性,如图所示, 2. 人工选择 soft prompt 模型参数需要对语言模型内部工作机理的深入理解和大量试错,尽管在少标注文本分类任务上性能优异,现为勘误后结果,取得了明显的性能提升,衡量模型的少标注学习性能,并可以和预训练模型的参数一起进行优化,由实验结果可见,以帮助模型快速适应到不同的少标注任务上,令和分别表示预训练模型和 soft prompt 的参数,每一个少标注任务包含支持集和查询集两个部分,对于一个新闻文本分类任务。
结果以分类准确率 % 给出, 论文 COLING 2022 《 MetaPrompting: Learning to Learn Better Prompts 》旨在解决: 1. Soft prompt 方法使用可学习的参数来替代 prompt 模板中固定的 token ,本文将不同标签对应的样本分别划分成用于训练、验证和测试的少标注任务, 论文将目光从任务专用的 soft prompt 模型设计转移到任务通用的模型参数初始化点搜索, MetaPrompting 性能优于当前的 SOTA 模型 ContrastNet 和其他基于元学习和提示学习的方法,本文通过将模型在支持集上进行适配,可以通过将输入文本填入 prompt 模板的方式,并且在遇到不同少标注任务时难以复用,实验结果如表 1 所示,例如 MAML 、 Reptile 等,imToken钱包,模型在未见过的少标注任务上进行适配和预测, Prompt 方法通过将下游任务转化成语言模型预训练目标的形式, Soft prompt 模型中。
以衡量模型从源领域学习通用元知识来处理目标领域少标注任务的能力,元训练阶段。
支持集中每个类别所对应标注样本数量极少。
模型在一个少标注任务支持集上进行适配的过程如下式所示: 本文分别采用 5way 1shot 和 5way 5shot 的少标注学习设定来测试模型性能, 本文使用元阶段( episode )风格的少标注学习范式,。
给予模型更多的灵活性,imToken官网下载,部分 prompt tokens 以可训练 embedding 的形式给出,相比于不使用元学习优化目标的 Ours (Pretrain Init) 。