特性/方面 | 描述 |
定义 | 迁移学习是一种机器学习方法,它将在一个任务上学到的知识应用到另一个相关的任务上,以提升目标任务的学习效果。 |
核心思想 | 利用已有模型(在源任务上训练)作为起点,在新的任务(目标任务)上进行微调,以适应新任务的需求。 |
应用场景 | 广泛应用于自然语言处理(NLP)、计算机视觉等领域,特别是当标注数据有限时。 |
优势 | 1. 减少对大量标注数据的需求;
2. 节省计算资源和时间;
3. 提高模型在新任务上的性能和泛化能力。 |
关键步骤 | 1.预训练:在大规模数据集上训练模型,学习通用的特征表示;
2.微调:在目标任务的数据集上调整模型参数,以适应特定任务。 |
方法分类 | 1.基于样本的迁移:通过重采样或权重调整来迁移知识;
2.基于特征的迁移:学习特征表示,使源域与目标域在特征空间中相似;
3.基于参数或模型的迁移:使用预训练模型参数作为起点,进行微调。 |
微调策略 | 1.全量微调:调整预训练模型的所有参数;
2.参数高效微调(PEFT):尽量减少调整的参数数量,保持效率。 |
实际应用 | 在自然语言处理中,例如情感分析、问答系统;在计算机视觉中,例如图像分类、物体检测等。 |
未来趋势 | 1. 开发更通用的预训练模型;
2. 探索跨不同领域的迁移学习方法;
3. 提高模型在不同任务间的泛化能力。 |