MeTA-LoRA: Data-Efficient Multi-Task Fine-Tuning for Large Language Models

该文章提出了META-LORA框架，通过两阶段优化解决多任务微调中数据效率低的问题，在多任务和多语言场景下，用远少于传统方法的数据量实现了相当或更优的性能。一、文章主要内容总结研究背景LoRA作为高效参数微调（PEFT）方法，在单任务中效果显著，但多任务场景下难以高效利用跨任务知识，且需大量任务特定数据。现有数据高效策略（如核心集选择、数据剪枝）聚焦单任务，难以兼顾多任务的泛化能力，无法捕捉跨任务共享结构。META-LORA框架两阶段优化：第一阶段（任务特定适配），用每个任务的少量样本（支持集）快速学习任务专属LoRA适配器；第二阶段（元知识更新），聚合多个任务的梯度更新共享LoRA适配器，促进跨任务知识迁移。推理过程：微调后仅保留共享适配器，将其参数融入预训练模型权重，无需切换任务专属适配器，简化推理流程。实验验证多任务场景：在Flanv2子集（43个任务）和自定义五任务数据集上，META-LORA用100例/任务或50例/任务，在LLaMA2-7B/13B模型上，BBH、MMLU等基准测试性能超传统LoRA和HydraLoRA。多语言场景：在Bactrian-X数据集（52种语言