第428章 动量梯度的暴力冲锋(1/2)
跨过了那个逻辑崩溃的希尔伯特旅馆,大铲子号跌入了一片连绵起伏的奇特地形。
这里没有平地,只有无数个连绵不断的山谷和丘陵。最要命的是,这里的地面摩擦系数极低,飞船一落地就像是掉进了涂满润滑油的锅底,根本刹不住车,只能顺着坡度疯狂向下滑行。
哎哟!怎么还在往下滑?这也没有底啊!
米娅抓着安全带,看着窗外飞速倒退的等高线,感觉自己像是在玩一个永无止境的滑梯。
不,有底。
9527号趴在雷达屏幕前,看着那条呈抛物线下降的轨迹,脸色却越来越难看。
老板,我们掉进了一个巨大的优化算法里。这片地形的本质是一个损失函数(Loss Fun)曲面。在这个空间里,重力就是梯度(Gradient),我们就是那个正在寻找最优解的参数球。
正说着,大铲子号猛地一顿,停在了一个深坑的底部。四周都是光滑的陡坡,无论往哪个方向开,似乎都在往上爬,而引力又把他们死死拽回坑底。
到底了?安全了?姜莱松了一口气,看着平稳的仪表盘。
不!这才是最危险的!
9527号发出了绝望的哀嚎,他指着那个坑底:
我们被骗了!这里根本不是全局极小值(Global Miu),这里只是一个局部极小值(Loiu)!
他飞快地在空中画了一个波浪线:
寻找真理就像是在群山中找最低的那个山谷。正常的梯度下降法是:哪里陡就往哪里滚。但这个算法有个致命的缺陷——如果我们滚进了一个半山腰的小坑里,因为坑底的坡度为零(梯度消失),系统就会误以为我们已经到了终点,从而停止迭代!
也就是说……李星河看着四周高耸的坑壁,眼神冷了下来,我们被困在这个舒适区了?系统判定我们已经成功了,所以不再给我们提供向下的动力?
没错!这是一种数学上的躺平!9527号哭丧着脸,在这个坑里,无论我们怎么努力,数学法则都会告诉我们:别动了,这里就是最好的。我们将永远被困在这个虚假的终点,直到饿死!
去他的虚假终点。包工头从不躺平。
李星河看着那个把他困住的坑,不仅没有沮丧,反而露出了一抹狂野的笑容。
本章未完,点击下一页继续阅读。