通过预测误差来动态调整学习率。对于预测误差要有好的估计,感觉可以通过学习训练来建立预测误差估计的关联空间,即学到其中的一些特征相似度差异与学习率的映射。注意到我们的最终目标是逼近真实世界的结构,数据分布的结构只是用来辅助逼近的脚手架,因此在具身智能阶段不追求用于拟合的损失函数最小化,而要追求预测误差最小化。具身智能用来收敛出用于误差估计的关联空间。生成式的图像大模型和语言大模型作为基座,并且通过这样的过程可以极大提升文本图像的映射精度。
另外就是让大模型获得类似人脑离散化的特性,引入截断机制:可以考虑在权重低于某个正值的时候直接置为零,参数量膨胀百倍,稀疏化权重网络,这样离散化特性就出来了。
另外就是让大模型获得类似人脑离散化的特性,引入截断机制:可以考虑在权重低于某个正值的时候直接置为零,参数量膨胀百倍,稀疏化权重网络,这样离散化特性就出来了。