跨过了那个逻辑崩溃的希尔伯特旅馆,大铲子号跌入了一片连绵起伏的奇特地形。
这里没有平地,只有无数个连绵不断的山谷和丘陵。最要命的是,这里的地面摩擦系数极低,飞船一落地就像是掉进了涂满润滑油的锅底,根本刹不住车,只能顺着坡度疯狂向下滑行。
哎哟!怎么还在往下滑?这也没有底啊!
米娅抓着安全带,看着窗外飞速倒退的等高线,感觉自己像是在玩一个永无止境的滑梯。
不,有底。
9527号趴在雷达屏幕前,看着那条呈抛物线下降的轨迹,脸色却越来越难看。
老板,我们掉进了一个巨大的优化算法里。这片地形的本质是一个损失函数(Loss Function)曲面。在这个空间里,重力就是梯度(Gradient),我们就是那个正在寻找最优解的参数球。
正说着,大铲子号猛地一顿,停在了一个深坑的底部。四周都是光滑的陡坡,无论往哪个方向开,似乎都在往上爬,而引力又把他们死死拽回坑底。
到底了?安全了?姜莱松了一口气,看着平稳的仪表盘。
不!这才是最危险的!
9527号发出了绝望的哀嚎,他指着那个坑底:
我们被骗了!这里根本不是全局极小值(Global Minimum),这里只是一个局部极小值(Local Minimum)!
他飞快地在空中画了一个波浪线:
寻找真理就像是在群山中找最低的那个山谷。正常的梯度下降法是:哪里陡就往哪里滚。但这个算法有个致命的缺陷——如果我们滚进了一个半山腰的小坑里,因为坑底的坡度为零(梯度消失),系统就会误以为我们已经到了终点,从而停止迭代!
也就是说……李星河看着四周高耸的坑壁,眼神冷了下来,我们被困在这个舒适区了?系统判定我们已经成功了,所以不再给我们提供向下的动力?
没错!这是一种数学上的躺平!9527号哭丧着脸,在这个坑里,无论我们怎么努力,数学法则都会告诉我们:别动了,这里就是最好的。我们将永远被困在这个虚假的终点,直到饿死!
去他的虚假终点。包工头从不躺平。
李星河看着那个把他困住的坑,不仅没有沮丧,反而露出了一抹狂野的笑容。
9527,既然梯度下降法不好使,那我们就给它加点动量(Momentum)。
动量?
对!在优化算法里,为了防止球卡在小坑里,我们会给它一个惯性,让它在到达坑底时不要停,借着冲劲直接冲上对面的坡,翻出这个坑!
李星河猛地推下所有的节流阀,但并没有急着点火,而是开始让大辣进行原地的高频蓄力。
大辣!给我晃起来!把自己当成一颗正在摇晃的香槟软木塞!我们要在这个死寂的零梯度坑底,制造一场人为的随机震荡!
这在算法上叫随机梯度下降(SGD)!
吼!吾要越狱!
大辣庞大的身躯开始剧烈颤抖,引擎的轰鸣声在坑底回荡,制造出了恐怖的共振。
就是现在!动量因子拉满!给我……冲!
轰————!!!
积蓄已久的动能瞬间爆发。大铲子号没有理会坑底那安逸的引力挽留,像是一颗暴躁的弹珠,借着巨大的惯性,咆哮着冲上了陡峭的坡壁。
它冲过了那个代表着梯度为零的死点,冲上了坑沿,然后高高跃起,在空中划出了一道优美的抛物线,狠狠地把那个虚假的局部极小值甩在了身后。
这就出来了?姜莱看着下方那个越来越小的坑,惊魂未定。
只要速度够快,就没有爬不出的坑。
李星河看着前方那片更加深邃、更加广阔的谷底——那才是真正的全局最优解。
他拍了拍手,对着全船宣布:
记住了,路只有在走的时候才是路。如果你觉得舒服了、想停下来了,那你大概率是……掉坑里了。
继续滚!我们要滚到这个宇宙的最底端去!
喜欢星际包工头请大家收藏:(m.shuhaige.net)星际包工头书海阁小说网更新速度全网最快。