增强学习贪心算法与Softmax算法

(一)image

这个算法是基于一个概率来对探索和利用进行折中:每次尝试时,以image概率进行探索,即以均匀概率随机选取一个摇臂,以image的概率进行利用,即以这个概率选择当前平均奖赏最高的摇臂(如有多个,则随机选取)。

 

image

image

其中:小k表示第k个摇臂。因为大K表示摇臂总数;n表示尝试的次数,vn表示第n次尝试的奖赏。

Qn的直观意思为:image为前n-1次的平均奖赏。当其与n-1相乘所得是前n-1次总奖赏。再加上第n次的奖赏,处于n,则为n次的平均奖赏。

image

其中:argmax为选取最优的Q(i)。count是从0开始的,故count(k)+1的值为n,算出的Q(k)为n次的平均奖赏。

 

(二)Softmax算法

softmax算法是基于当前已知的摇臂平均奖赏来对探索和利用进行折中。若各摇臂的平均奖赏相当,则选取各摇臂的概率也相当;如果某些概率的平均奖赏明显高于其他奖赏,则它们被选的概率也明显高。

在贪心算法中,image的取值是由用户选取的。softmax算法中摇臂概率的分配是基于Boltzmann分布image

<查>Boltzmann分布

image

image

从算法中并没有看出botlzmann分布的利用?

至于两个算法的取舍还要看实际情况。从下图看出,softmax当温度=0.01时,曲线与“仅利用”的曲线几乎重合。

image

 
 
所属分类:架构

 0条回应

我有话说:
    ×
    订阅图标按钮