【简便理解】LoRA训练是在干什么?

您所在的位置:网站首页 秋天英文是啥 【简便理解】LoRA训练是在干什么?

【简便理解】LoRA训练是在干什么?

2023-04-25 06:54| 来源: 网络整理| 查看: 265

本专栏的意义就是用大白话,让8岁小朋友也能听懂的方式去理解秋葉akkki讲解的一些东西。

肯定是不准确的,不要尽信。但只是简单理解,还是没什么问题的。

1,什么是LoRA?简单翻译Low-Rank Adaptation就是低偏移率适应器。

2,低偏移适应器是什么意思?【简单理解】就是导游团的那个导游。让AI游客(大模型),尽量朝着景点去走。

3,欠拟合与过拟合是什么意思?【简单理解】欠拟合就是饭没做熟,过拟合就是菜做糊冒烟了。

4,VAE是什么意思?【简单理解】就是侦探解密卡,让AI能够读懂一堆乱码。不同的卡片看见的东西不一样。玩过的都懂,因为你会有好几张解密卡。

这个卡片就是VAE

5,正则化什么意思?【简单理解】“你看着啊,我给你打个样!”,“我给你举个例子,看好了啊!”就是正则化。

6,做梦的情况下,我们训练LoRA期待的结果。越学越深,越学越精,越学越准。到达最小变化,最大精准点。

做梦才能达到的状态做梦才行的LORA

7,常在教材里看见的。【简单理解】掉沟里,卡山腰,跑山顶。都是常常出现的情况,即使训练参数相同,在学习的最后,得到的结果也未必一样。

理论上来说应该是这样

8,实际上我们面临的问题。如同纵身跳入大峡谷做降落伞运动,你是落在谷底,还是挂在半山腰,还是卡在小山头,都是随机的,即使跳下去的点一模一样,降落伞落地的时候,也不一定会落在一个地点。

现实就是如此残酷

所以,训练LoRA,只能尽量让它到达谷底,但是不是真的能够到达谷底,还需要更多的理论和实验方法进行更进和改善。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3