Double Q-Learning原理详解

DeepRLearner

论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf

本论文由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。

前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函数(max)逼近，该过程目标是为了最大的累计期望奖励，而在这个过程中产生了正向偏差。而本文章作者巧妙的是使用了两个估计器(double estimator)去计算Q-learning的值函数，作者将这种方法定义了一个名字叫“Double Q-learning”（本质上一个off-policy算法），并对其收敛过程进行了证明(缺点：当然double Q-learning算法有时会低估动作值，但不会像Q学习那样遭受过高估计）

1. 问题及原因

"过估计" (overestimate)

过估计是指对一系列数先求最大值再求平均，通常比先求平均再求最大值要大（或相等，数学表达为：E(\max (X1, X2, ...)) \geq \max (E(X1), E(X2), ...)

一般来说Q-learning方法导致overestimation的原因归结于其更新过程，其表达为：
Q_{t+1}\left(s_{t}, a_{t}\right)=Q_{t}\left(s_{t}, a_{t}\right)+\alpha_{t}\left(s_{t}, a_{t}\right)\left(r_{t}+\gamma \max _{a} Q_{t}\left(s_{t+1}, a\right)-Q_{t}\left(s_{t}, a_{t}\right)\right)

其中的$\max\limits_{a}$表示为最大化action-value, 而更新最优化过程如下：

\forall s, a: Q^{*}(s, a)=\sum_{s^{\prime}} P_{s a}^{s^{\prime}}\left(R_{s a}^{s^{\prime}}+\gamma \max _{a} Q^{*}\left(s^{\prime}, a\right)\right)

对于任意的 $s, a$ 来说，最优值函数 $Q^{}$ 的更新依赖于 $\max \limits_{a} Q^{}(s,...)$ , 从公式中可以看出，我们把N个Q值先通过取max操作之后，然后求平均(期望)，会比我们先算出N个Q值取了期望之后再max要大。这就是overestimate的原因。

注：一般用于加速Q-learning算法的方法有：Delayed Q-learning, Phased Q-learning, Fitted Q-iteration等

2. Estimator原理与思想

通常情况下对于一个集合中的变量 $X= \left{ X{1},X{2},...,X{M} \right}$ 来说，奖励的最大化累计期望表示为：
\max \limits_{a} E \left\{ X_{i} \right\}

那么在实际的过程中，对于每个 $X{i}$，我们定义 $S=\bigcup{i=1}^{M} S{i}$为采样，其中的 $S{i}$ 表示为对于所有$X{i}$采样的一个子集，假设 $S{i}$ 满足独立同分布情况，那么期望值的“无偏估计”可以通过计算每个变量的样本平均值来获得，其计算方法如下：
E\left\{X_{i}\right\}=E\left\{\mu_{i}\right\} \approx \mu_{i}(S) \stackrel{\text { def }}{=} \frac{1}{\left|S_{i}\right|} \sum_{S \in S_{i}}

注： $\mu{i}$ 是 $X{i}$ 的估计器

这个过程是一个无偏估计，因为每一个采样 $s\in S{i}$ 是一个对 $X{i}$ 的无偏估计，因此，近似中的误差仅由估计中的 “方差“ 组成，当我们获得更多样本时会减小。

为了后面方便理解，这里我们定义两个函数：“概率密度函数”(Probability Density Function, PDF)和“累积分布函数”(Cumulative Distribution Function, CDF)，概率密度函数 $f{i}$ 表示 $i^{th}$个 $X{i}$ ，则累积分布函数表示为： $F{i}(x)= \int{-\infty}^{x} f{i}(x)dx$ ，同样的道理，对于PDF和CDF来说估计器分别表示为 $f{i}^{\mu}$和$F_{i}^{\mu}$ 。

补充
1. 概率密度函数，
其实就是给定一个值, 判断这个值在该正态分布中所在的位置后, 获得其他数据高于该值或低于该值的比例，其中的曲线就是概率密度函数(PDF)，通常情况下pdf的曲线下面积(AUC)总和为1，且曲线末端不会接触到x轴(换句话说, 我们不可能100%的确定某件事)。

2. 累积分布函数
累积分布函数 (CDF) 计算给定 x 值的累积概率。可使用 CDF 确定取自总体的随机观测值将小于或等于特定值的概率。还可以使用此信息来确定观测值将大于特定值或介于两个值之间的概率。
在这里插入图片描述
例如，罐装苏打水的填充重量服从正态分布，且均值为 12 盎司，标准差为 0.25 盎司。概率密度函数 (PDF) 描述了填充重量的可能值的可能性。CDF 提供每个 x 值的累积概率。
此处参考PDF-CDF指导

（1）单估计器方法（Single Estimator）

所谓的单估计就是使用一组估计量的最大值作为近似值，

即近似$\max \limits{a} E \left{ X{i} \right}$的最好的方式就是最大化估计器,表示为：
\max _{i} E\left\{X_{i}\right\}=\max _{i} E\left\{\mu_{i}\right\} \approx \max _{i} \mu_{i}(S)

$\mu$表示为估计器，而此处对于最大的估计器$f{max}^{\mu}$来说，它是依赖于 $f{i}^{\mu}$ 的，若要求取PDF，首先需要考虑CDF，但它的概率分布中最大的估计器小于等于$x$，这等同于所有的估计均小于等于$x$，数学表示为：

x: F_{\max }^{\mu}(x) \stackrel{\text { def }}{=} P\left(\max _{i} \mu_{i} \leq x\right)=\prod_{i=1}^{M} P\left(\mu_{i} \leq x\right) \stackrel{\text { def }}{=} \prod_{i=1}^{M} F_{i}^{\mu}(x)

那么$\max{i}\mu{i}(S)$是对$E\left{\max {j} \mu{j}\right}=\int{-\infty}^{\infty} x f{\max }^{\mu}(x)dx$的无偏估计，详细表示为：
E\left\{\max _{j} \mu_{j}\right\}=\int_{-\infty}^{\infty} x \frac{d}{d x} \prod_{i=1}^{M} F_{i}^{\mu}(x) d x=\sum_{j}^{M} \int_{-\infty}^{\infty} x f_{j}^{\mu}(s) \prod_{i \neq j}^{M} F_{i}^{\mu}(x) d x

（2）双估计器方法（Double Estimator）

对每个变量使用两个估计器，并将估计器的选择与其值解耦。

问题：单一估计器方法导致过高估计可能会对使用此方法的算法（例如Q学习）产生很大的负面影响。为了解决这个问题，double estimator方法用来解决过高估计。

那么对于原来的 $\max{i} E \left{ X{i} \right}$来说，此处我们需要定义两个估计器：$\mu^{A}$和$\mu^{B}$，他们分别表示为：$\mu^{A}=\left{\mu{1}^{A}, \ldots, \mu{M}^{A}\right}$，$\mu^{B}=\left{\mu{1}^{B}, \ldots, \mu{M}^{B}\right}$，然后两个估计器都使用采样的样本子集来更新，其规则表示为:
\left\{ \begin{aligned} S=S^{A} \cup S^{B} \\ S^{A} \cap S^{B}=\emptyset \\ \mu_{i}^{A}(S)=\frac{1}{\left|S_{i}^{A}\right|} \sum_{s \in S_{i}^{A}} s \\ \mu_{i}^{B}(S)=\frac{1}{\left|S_{i}^{B}\right|} \sum_{s \in S_{i}^{B}} s \end{aligned} \right.

那么像单估计器$\mu{i}$一样，如果我们假设样本以适当的方式（例如随机地）分布在两组估计器上，则$\mu{i}^{A}$和$\mu{i}^{B}$也都是无偏的。设 $\operatorname{Max}^{A}(S) \stackrel{\text { def }}{=}\left{j | \mu{j}^{A}(S)=\max {i} \mu{i}^{A}(S)\right}$ 为$\mu^{A}(S)$ 中最大估计值集合，由于$\mu^{B}$是一个独立的无偏估计值，那么 $E\left{\mu{j}^{B}\right}=E\left{X{j}\right}$对于任何$j$都成立，包括 $j \in Max^{A}$

此处有疑问，为什么包括$j \in Max^{A}$？？

设$a^{}$ 是最大化 $\mu^{A}$ 的估计器，表示为：$\mu^{A}: \mu_{a^{}}^{A}(S) \stackrel{\text { def }}{=} \max {i} \mu{i}^{A}(S)$，如果存在多个最大化的$\mu^{A}$ 是最大化估计量，我们可以例如随机选择一个，然后我们可以将$\mu_{a^{*}}^{A}$用作$\max {i} E\left{\mu{i}^{B}\right}$的估计值，那么对于$\max{i}E\left{X{i}\right}$可以近似为：

\max _{i} E\left\{X_{i}\right\}=\max _{i} E\left\{\mu_{i}^{B}\right\} \approx \mu_{a^{*}}^{B}

随着我们获得更多的样本，估计量的方差减小，在极限情况下，$\mu{i}^{A}(S)=\mu{i}^{B}(S)=E\left{X_{i}\right}$

具体证明过程部分如下：

3. Double Q-learning算法

我们可以解释为 Q-learning学习其实使用单估计器(single estimate)去估计下一个状态：那么$\max {a} Q{t}\left(s_{t+1}, a\right)$是 $E\left{\max {a} Q{t}\left(s_{t+1}, a\right)\right}$的一个估计，一般的，将期望理解为对同一实验的所有可能运行的平均，而不是（通常在强化学习环境中使用）对下一个状态的期望，根据原理部分，Double Q-learning将使用两个函数 $Q^{A}$和$Q^{B}$（对应两个估计器），并且每个$Q$函数都会使用另一个$Q$函数的值更新下一个状态。两个$Q$函数都必须从不同的经验集中学习，这一点很重要，但是要选择要执行的动作可以同时使用两个值函数。因此，该算法的数据效率不低于Q学习。在实验中作者为每个动作计算了两个Q值的平均值，然后对所得的平均Q值进行了贪婪探索。算法伪代码如下：

为了区分Double Q-learning算法和Q-learning的区别，本文同样Q-learning算法伪代码贴出来了。

对比：此处对于Q-learning算法和double Q-learning 算法来说，double使用了B网络来更新A网络，同样的道理对于B网络则使用A网络的值来更新。

4. 实验过程于结果

5. 附录：收敛性证明过程

对于Double Q-learning收敛性的证明过程如下：

zhhyoi

效果很炫

xluckyhappy

公式的显示有点问题哈

DeepRLearner

xluckyhappy 目前这个对latex支持有点欠缺，希望后续能够改进

kaixindelele

个人直观理解的话：原本每次计算目标Q值，都是最大值，不管这个Q值对不对，都用上。
现在在一个网络中选择最佳的动作，然后再看这个动作，在另一个网络中的Q值。
第一步保证了这个动作是好的，第二步保证这个Q值≤maxQ，所以在某种程度上降低了过估计的风险。

ccxx

看不到公式

[已注销]

Pokémon TCG Pocket: Hỗ trợ DeNA – Tranh cãi

Chính phủ Nhật Bản đã cấp cho DeNA một khoản trợ cấp gây tranh cãi trị giá 8,1 triệu Euro cho các trò chơi di động như Pokémon TCG Pocket.

Chính phủ Nhật Bản đã cấp cho nhà phát triển game di động DeNA một khoản trợ cấp của nhà nước trị giá 1,5 tỷ yên (khoảng 8,1 triệu euro). Khoản tiền này đến từ chương trình IP360 của Bộ Kinh tế, Thương mại và Công nghiệp (METI), nhằm thúc đẩy việc phát triển các IP nội địa mới và tăng cường năng lực cạnh tranh quốc tế cho ngành nội dung của Nhật Bản. Cụ thể, khoản hỗ trợ được dùng để phát triển các game mobile, bao gồm tựa game Live-Service Pokémon TCG Pocket. Thông tin này đã gây ra một cuộc tranh luận gây tranh cãi tại Nhật Bản về việc sử dụng tiền công trong ngành công nghiệp trò chơi.

Vì sao khoản hỗ trợ bị chỉ trích

DeNA là một công ty độc lập, trong đó The Pokémon Company (TPC) sở hữu 33,4% cổ phần công ty con DeNA Digital Production – đơn vị này từ năm 2024 hoạt động dưới tên Pokémon Card D Studio. Mặc dù chương trình IP360 về bản chất nhằm ưu tiên việc tạo ra tài sản trí tuệ mới, nhưng với Pokémon TCG Pocket thì một tựa game dựa trên một trong những thương hiệu thành công nhất thế giới lại được hưởng lợi. Những người chỉ trích cho rằng đây là sự phân bổ sai nguồn lực công. Trên nền tảng X, người dùng phàn nàn rằng chính phủ đồng thời cắt giảm ngân sách cho các bảo tàng và phòng trưng bày nghệ thuật, trong khi lại cho phép một công ty tư nhân vốn đã có lợi nhuận tạo thêm lợi ích. Một cáo buộc khác là chương trình hỗ trợ không đi đúng trọng tâm vào việc phát triển tài năng mới. Các bài đăng trên X cũng theo một mô-típ tương tự: chúng chỉ trích việc ưu tiên chính sách văn hóa.

Bị thiệt thòi cho các nhà phát triển indie

Các ý kiến từ ngành công nghiệp game Nhật Bản cũng chỉ ra một vấn đề mang tính cấu trúc: các nhà phát triển solo và indie quy mô nhỏ thường không có quyền tiếp cận các khoản hỗ trợ tương tự, vì dự án của họ bị đánh giá là quá rủi ro. Vì vậy, tính hợp lý về mặt kinh tế của việc hỗ trợ một studio đã có tên tuổi như DeNA bị đặt dấu hỏi. Cuộc tranh luận về sự công bằng, việc ưu tiên và những tác động dài hạn đến bối cảnh game Nhật Bản vẫn chưa kết thúc—nó phản ánh những câu hỏi nền tảng về vai trò của việc tài trợ của nhà nước trong nền kinh tế văn hóa số.

Pokémon TCG Pocket và Poké Gold là gì?

Poké Gold là đơn vị tiền tệ chính trong Pokémon TCG Pocket và được dùng để mua các vật phẩm độc quyền, mở khóa phụ kiện hoặc sử dụng các tính năng đặc biệt trong game.

Người chơi cũng có thể dùng Poké Gold để tăng cơ hội nhận được các thẻ hiếm và tùy chỉnh bộ sưu tập thẻ của mình, qua đó làm sâu sắc hơn yếu tố chiến thuật của trò chơi.

Để nhận Poké Gold, người dùng có thể, chẳng hạn, nạp tiền trên các nền tảng như LootBar và tận hưởng dịch vụ an toàn cũng như tiện lợi.

Nhờ đó, trải nghiệm của người chơi trong Pokémon Trading Card Game Pocket có thể được tùy chỉnh linh hoạt và liên tục mở rộng.

Vì sao bạn nên nạp Poké Gold tại LootBar?

Nếu người chơi đang cân nhắc việc nạp Poké Gold cho trò chơi thẻ sưu tập nổi tiếng này, bạn nên sử dụng nền tảng lootbar để thực hiện Pokemon TCG Pocket top up. Việc chọn LootBar mang đến nhiều lợi ích giúp cải thiện trải nghiệm chơi game và làm cho quá trình nạp tiền trở nên đặc biệt dễ chịu.

Một lợi thế quan trọng của LootBar là tỷ lệ giá trị/chi phí xuất sắc. Nền tảng không chỉ cung cấp giá rất rẻ để nạp Poké Gold mà còn có các chương trình giảm giá đặc biệt định kỳ dành riêng cho Pokemon TCG Pocket top up. Nhờ đó, người chơi có thể tiết kiệm tiền mặt đồng thời nhận nhanh quyền truy cập vào các thẻ và tính năng mới. Ngoài ra, một hệ thống mã hóa hiện đại đảm bảo mọi giao dịch diễn ra hoàn toàn an toàn và dữ liệu cá nhân được bảo vệ tốt.

Ngoài ra, LootBar còn thuyết phục nhờ dịch vụ chăm sóc khách hàng đáng tin cậy 24/7 và việc cung cấp nhanh chóng tiền tệ

https://www.lootbar.com

Đánh giá 007 First Light: Spy ứng tác tuyệt vời nhất

007 First Light, từ IO Interactive, pha trộn cảm giác hồi hộp của game điệp viên và sự ứng tác để tạo nên hành động sáng tạo, hỗn loạn khác biệt so với Hitman hay Uncharted.

Tôi sẽ thừa nhận rằng lúc đầu tôi khá hoài nghi khi nghe về 007 First Light. Đây là sản phẩm của IO Interactive, studio đứng sau bộ ba Hitman World of Assassination xuất sắc—vậy nên hẳn sẽ rất hợp cho một tựa game điệp viên. Nhưng các thông tin ban đầu lại so sánh nó nhiều hơn với Uncharted chứ không phải Hitman, và điều đó không hề làm tôi thấy hào hứng. Vậy nên hãy tưởng tượng sự ngạc nhiên của tôi khi nó trở thành một trong những tựa game yêu thích của tôi vào năm 2026. Bí mật ư? Hoàn toàn là ứng biến ngẫu hứng.

Ứng biến là hiệu quả

007 First Light phát triển mạnh nhờ tính ngẫu hứng. Có một cơ chế giả vờ/đánh lừa cho phép bạn nói năng để thoát khỏi những tình huống chật hẹp—nó có thể cảm giác bị “lố” trong những trường hợp mà đáng lẽ ra nó không nên hiệu quả, nhưng chính điều đó lại làm trò chơi trở nên vui hơn. Quan trọng hơn, mỗi vũ khí có lượng đạn rất giới hạn và không có bất kỳ điểm nhặt đạn nào ở đâu cả. Bạn không thể chỉ nấp sau vật che chắn rồi tỉ mỉ hạ gục từng đợt kẻ địch; bạn phải luôn di chuyển, liên tục đổi chiến thuật. Khi đạn cạn, bạn phải dựa vào các đòn cận chiến và hạ gục theo môi trường—ném cốc cà phê, đẩy những kẻ địch được bọc giáp vào hố, hoặc thậm chí ném chính khẩu súng vào đầu ai đó như kiểu thứ gì đó trong John Wick. Những khoảnh khắc này giống thất bại ít hơn và lại giống đúng “luồng” mà trò chơi muốn bạn trải nghiệm. Game liên tục buộc bạn phải nghĩ nhanh tại chỗ, biến mọi cuộc chạm trán thành một câu đố độc nhất.

Giống Hitman nhưng lộn xộn hơn

Sự lanh lợi đó kết nối 007 First Light với chính series Hitman của IO. Trong Hitman, những kỷ niệm đáng nhớ nhất đến khi một kế hoạch hoàn hảo sụp đổ và bạn phải ứng biến để tự thoát thân. 007 First Light cũng bắt được đúng nét bất định ấy. Nó không trừng phạt bạn vì sai lầm; nó thưởng cho việc bạn biết thích nghi. Mỗi cuộc giao tranh trở thành một cuộc xoay xở tuyệt vọng, và điều đó thật kích thích. Các đoạn stealth rất căng thẳng, và khi chúng đi sai—như thường xảy ra—thì màn chạy trốn hỗn loạn tiếp theo mới là lúc game thực sự tỏa sáng.

Thiếu thốn nuôi dưỡng sự sáng tạo

Sự khan hiếm vũ khí cũng khiến tôi nhớ đến The Legend of Zelda: Breath of the Wild. Việc vũ khí của game đó bị hao mòn buộc bạn liên tục đổi trang bị, khiến mỗi cuộc đối đầu trở thành một câu đố. 007 First Light làm điều tương tự với đạn. Thay vì tích trữ một khẩu vũ khí yêu thích, bạn nhặt bất cứ thứ gì có sẵn—pistol, súng tỉa, hay chai lọ—rồi dùng nó cho đến khi cạn. Thiếu tính “bền vững” khiến chiến đấu luôn tươi mới và đòi hỏi bạn phải tư duy sáng tạo.

Chính vì vậy mà 007 First Light nổi bật đối với tôi. Nó biến những điểm yếu tiềm năng—nguồn lực hạn chế, chiến đấu hỗn loạn—thành thế mạnh. Đây là một trò chơi tôn vinh việc ứng biến, và nhờ thế nó trở thành một trong những game điệp viên hay nhất mà tôi từng chơi trong nhiều năm qua. Nếu bạn đã chán với những “giấc mơ quyền lực” và muốn một game buộc bạn phải nghĩ nhanh nhạy tại chỗ, thì đây chính là liều giải. Thật sảng khoái, và tôi không thể khen hết lời.

Giới thiệu về 007 First Light

Bước vào thế giới điệp viên đầy phong cách của 007 First Light, nơi bạn sẽ điều hướng các nhiệm vụ căng thẳng với tư cách một đặc vụ 00, băng qua những địa điểm ngoạn mục đầy nguy hiểm và bí ẩn. Game kết hợp khéo léo chiến thuật tàng hình, những pha cận chiến đầy phấn khích và chuỗi lái xe dồn dập, tạo nên trải nghiệm điện ảnh đưa người chơi hòa vào “giấc mơ Bond”. Với các yếu tố mô phỏng tương tác và nhịp điệu kể chuyện, mọi chiến dịch đều trở nên có ý nghĩa, mang lại phần thưởng cho cả việc lên kế hoạch cẩn thận lẫn hành động bộc phát. Nếu bạn sẵn sàng cho một cuộc phiêu lưu hành động tàng hình được trau chuốt, [mua key 007 First Light](https://www.

https://www.lootbar.com

Document