记录了一些目前在自己的知识库中不成体系但又很重要的知识点吧。

2023.3.26 更

1.模型检查点

💡在机器学习中，模型检查点（Model）是在训练期间定期保存模型的一种技术。

检查点是指在训练过程中保存的模型的快照，可以捕获模型的状态（参数和权重）。

作用：

（1）保存模型训练的进度

（2）选择最佳的模型

🙌解释（1）：

通过使用模型检查点，可以确保在发生任何故障或中断的情况下不会丢失模型的进度。

如果在训练过程中发生了中断，可以使用最后一个检查点来继续训练模型，而无需从头开始训练。

🙌解释（2）：

在每个检查点时，可以使用验证集来测试模型的性能，并根据其性能保存最佳的模型。

这使得在训练过程中选择最佳的模型，而无需等到训练完成后再进行选择。

⏰总结：

模型检查点，是机器学习中一种非常有用的技术，可以确保训练的顺利进行，并帮助选择最佳的模型。

2.超参数

在机器学习中，超参数是指那些影响模型行为但不是由模型学习得到的参数。

这些参数在训练模型之前需要手动设置，并且通常需要通过试错或经验确定最佳值。

🙌举例：

常见的超参数包括：学习率、正则化强度、批量大小、网络结构的深度和宽度等。

超参数的值对于模型的性能和效果至关重要。设置不当的超参数可能导致模型欠拟合或过拟合，从而导致性能下降。

3.预训练的模型

预训练模型是指在大规模数据集上预先进行训练的机器学习模型。

这些数据集通常包含大量的文本、图像或音频等数据，预训练模型通过学习这些数据的特征，可以学习到通用的语义表示。这些通用的语义表示可以应用于各种不同的任务中，从而能够更好地进行特定任务的训练。

预训练模型通常使用无监督学习的方法，例如自编码器、词向量模型、生成对抗网络等，通过最大化预测或生成数据的概率来训练模型。

预训练模型可以通过微调来进行特定任务的训练，微调过程通常包括在特定数据集上进行有监督学习的过程。

🙌举例：

（1）BERT

（2）GPT

（3）RoBERTa

（4）ResNet