什么是k-摇臂赌博机,与强化学习有什么关系?
0 614
0
该提问暂无详细描述
收藏
2021-02-12 11:49 更新 空心人 •  2540
共 1 个回答
高赞 时间
0

K-摇臂赌博机

K-摇臂赌博机有K个摇臂,赌徒在投入一个硬币之后可选择按下其中一个摇臂,每个摇臂以一定的概率吐出硬币,但这个概率赌徒并不知道。赌徒的目标是通过一定的策略最大化自己的奖赏,即获得最多的硬币。 k-摇臂赌博机对应了强化学习中的单步强化学习,考虑的是单步奖赏的两个方面:一是需要知道每个动作带来的奖赏,二是要执行奖赏最大的动作。若每个动作对应的奖赏是一个确定值,那么尝试一遍所有的动作便能找出奖赏最大的动作。然而,更一般的情形是,一个动作的奖赏值是来自于一个概率分布,仅通过一次尝试并不能确切的获得平均奖赏值。

K-摇臂赌博机应对策略

仅探索

若仅为获知每个摇臂的期望奖赏,则可采用“仅探索”法:将所有的尝试机会平均分配给每个摇臂机,最后以每个摇臂各自平均吐币概率作为其奖赏期望的近似估计。

仅利用

若仅为执行奖赏最大的动作,则可采用“仅利用”法:按下目前最优的(即到目前为止平均奖赏最大的)摇臂,若有多个摇臂同时为最优,则从中随机选取一个。

两种方法评价比较

显然,“仅探索”法能很好地估计每个摇臂的奖赏,却会失去很多选择最优摇臂的机会。“仅利用”相反,它没有很好的估计摇臂的期望奖赏,很可能经常选不到最优摇臂。因此,这两种方法都难以是最终的累计奖赏最大化。 事实上,“探索”(即估计摇臂的优劣)和“利用(即选择当前最优的摇臂)这两者是矛盾的,因为尝试次数(即总投币数)有限,加强了一方则会自然削弱另一方,这就是强化学习所面临的“探索-利用窘境”显然,欲累计奖赏最大,则必须在探索与利用之间达成较好的折中。

收藏
2021-02-12 11:56 更新 小眼的铁板烧 •  2910