国内外做强化学习的老师，高校以及公司总结

monkeyDshanshan

推荐中科院深圳先进技术研究院的崔允端老师：https://cuiyunduan.vercel.app/
崔老师主要是做强化学习决策控制的，主要做强化学习在自动驾驶、机器控制上的应用

whisperLiang

FSLight 学长，我想问一下这几个老师在哪个学院

TomorrowIsAnOtherDay

关于百度的强化学习工作，大家可以参考这个页面（有实习生招聘需求）：
https://github.com/TomorrowIsAnOtherDay

plclmezboss

TomorrowIsAnOtherDay 想请问下您还招实习生吗

YueYun

Eric 嗨_您好我是国内西北工业大学的博士生，想去安博老师那边作CSC访学，不知道您可以不可以引荐一下呢？

wanchenhui

FSLight 学长您好，请问您说的“Alberta：好几个理论的@蓝青峰大佬”的“蓝青峰”的名字是什么呀？

zcchenvy

天津大学郝建业老师：

天津大学-深度强化学习实验室Deep Reinforcement Learning Lab (icdai.org)

DavidYan

Eric 您好，请问您是安老师的学生吗，想跟您交流一下

半个王子

“Sergey Levine(论文高产作者)、Pieter Abbel（和Levine并列）”

Levine是Abbel的博后，这么写不妥。Levine的学术地位暂时还没法与Abbel并列。。。

Arya

alexfrom0815 你好，能分享一下国防科大徐昕老师的个人主页吗？我找了很久都没有找到 😃

Maktoub

话说，帖子怎么没有收藏功能啊

实验室官方助手

Maktoub

目前只能点击关注哈，后续我们继续完善此功能，感谢您的反馈

Napoleon

您好，我想咨询一下中山大学余超老师团队怎么样呀？想申请余老师的博士，不知道什么资格才能够老师的要求呢？

RLer

Napoleon 建议直接邮件联系吧，https://cse.sysu.edu.cn/content/4883

余超，博士生导师，中山大学“百人计划”引进副教授，国家“香江学者”。2007年本科毕业于华中科技大学电信系，获通信工程学士学位，2013年博士毕业于澳大利亚伍伦贡大学计算机系，获计算机博士学位。主要从事强化学习理论与应用研究工作。先后在IEEE TNNLS（IF:11.683）, IEEE TCB（IF:10.387），IEEE ITS（IF:4.051）, IEEE TVT（IF:4.432），ACM T等国际期刊和ICML/NeurlPS/IJCAI/AAMAS/AAAI上发表学术论文100余篇。主持科研项目20余项。获最佳论文奖3次。

担任SCI期刊IEICE TIS和JSSE副主编；组织国际会议MATCSD2015，ACAN 2016，IEEE ICA2016，IEEE ICA2017，Special Track in PRICA20I8，DAI2019, DAI2020；担任国际会议IJCAI2020, AAAI2020, IJCAI2019，AAMAS2019，AAAI2019，AAMAS2018，PRICAI2018，AAMAS2017等国际会议PC。

强化学习是当前人工智能热潮的核心技术之一，在机器人与多机器人系统、健康医疗、广告推荐、对话系统、经济博弈等领域有着广泛的应用。目前，我们团队主要的科研项目有：（1）基于强化学习的机器人行为控制（深度强化学习、人机交互、数字孪生）；（2）基于分布式强化学习的智能集群协同（智能集群、多机器人系统、智能网联汽车）；（3）基于强化学习的慢性病和重症室（脓毒症等）最优治疗；（4）非完全信息博弈（德扑麻将棋牌类游戏、王者荣耀Dota等战略游戏、博弈对抗等）；（5）强化学习理论（模型学习、探索和信任分配、多智能体强化学习、离线学习、分层学习、贝叶斯学习等）。

Sizz

Napoleon 方便加个微信聊聊吗？13164391308

Napoleon

RLer 十分感谢~已经联系余老师了，期待着老师的回复

wangjh-123

作者：朱哲清Bill
链接：https://www.zhihu.com/question/516672871/answer/2409132149
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

四大校：（目前PhD申请难度非常大，建议有非常强的两篇学界超大牛推荐信或者有三篇顶会一作论文）

Stanford: (自己学校所以知道的会更多一些)
- Benjamin Van Roy (我自己的PhD Advisor)：研究方向偏理论，最近主要是结合information theory和RL理论做exploration和epistemic uncertainty的研究。他是最早期的RL researcher之一，最早的TD learning的bound很多都是他证的。他对于理论的理解非常深，我觉得我在跟他合作的研究中对于理论的理解和应用方向有了质的提升。短期内他跟我说暂时不收新学生了。
- Emma Brunskill (我也有自己合作过)：研究方向理论和应用都有。对offpolicy policy evaluation (OPE) 非常有见解，几篇关键的OPE paper都是她的组做的。对exploration也有一定研究。应用方向有human computer interaction，education，medicine。
- Mykel Kochenderfer(简短合作过): 偏robotics和control，对formal methods也很深入（safety的应用）。
- Dorsa Sadigh(我和她合作了一年)：也是偏robotics和control，非常hands-on，能够得到很多guidance。我觉得目前她还在大方向探索中。
- Andrew Ng：之前其实RL做得不少，最近几年不太hands-on做research了。
- Chelsea Finn：Meta learning和robotics偏多，真正跟RL核心理论直接相关的还是偏少一些。
- Tengyu Ma: 纯理论研究，清华姚班的，最近开始对RL感兴趣。
Berkeley：
- Pieter Abbeel: Policy Gradient 方向的集大成者，重要的几篇policy gradient的paper都是他们这提出的，比如TRPO，PPO都是，对于这个方向有非常重要的贡献。同时在actor critic的前沿方向的贡献也很大，比如SAC。这个组工作量非常非常大，谨慎选择。偏robotics。
- Sergey Levine：最近几年开始对offline reinforcement learning有非常强的兴趣，并且最近对self-supervised learning方向的东西也开始感兴趣了。我觉得他相当聪明，和Pieter的合作也很多。也偏robotics。
- Michael Jordan：Machine learning的宗师级的人物了，Andrew Ng之前是他的学生的时候，他开始看reinforcement learning方向，最近基本paper都跟RL相关了。他的组很大，基本senior PhD带junior PhD这样。不得不说，他的学生placement真的很好。
- Stuart Russell: 也是个非常宗师级的人物了，是很多AI教授的老师，比如我本科导师Ron Parr就是他的学生。Andrew Ng当年做inverse RL的时候就是他带的。Ron Parr当年做Hierarchical RL也是他带的。后面还有Bayesian Q-learning。学生placement也很好。
- Ken Goldberg: 偏robotics比较多。很多都是跟control相关的研究。
- Anca Dragan: 也是偏robotics和planning。
CMU: (总体来说做RL我知道的比较少，CMU的小伙伴别喷我，如果我遗漏了欢迎补充）
- Geoffrey Gordon: 早年间的research偏MDP研究的比较多，对于MDP的理论性质有很多paper。近些年开始越来越多的有RL的output。Joelle Pineau是他的学生。
- Jeff Schneider：他的研究方向非常杂，而且不教课。有exploration的，纯RL的application的，和robotics相关的，都有。之前有面试过他的学生想来我司的，确实是有系统做RL的。
- Andrew Moore: 早年间RL research也有一些，但是这些年好像不怎么做了。
- Jessica K. Hodgins (我司的research director): 还在带学生，主要还是focus on human-robot interactions和control。近些年开始有蛮多RL的paper出来的。
- 值得提一句的是，robotics institute里面有好多都是对RL感兴趣的，但是主要工作还是在classic robotics领域，我估计日后RL的contribution会逐渐变多。
MIT: (都很偏robotics，也知道的可能少了一些，MIT小伙伴们欢迎补充）
- Leslie Kaelbling: 很早以前就开始关注RL领域了，是这个领域最早关注的researcher之一。很多的research都和planning相关。很多工作都关注efficient RL，很多都和robotics很相关。Multi-agent也有一些关注。
- Russ Tedrake: 这两年有一些model-based RL和policy gradient的paper。总体来说还是偏robotics。
- Nicholas Roy: 偏robotics相关的reinforcement learning，还有一些inverse RL相关的research。
- Pulkit Agrawal: 主要贡献偏robotics，Jitendra的学生。（谢谢评论中的补充，答主并不是太熟悉他的research）

Reputation (有一些personal connection在那) 特别好的一些group：

Michael Littman (Brown): 如果想做RL，他这真的非常focus，基本全都跟RL有相关性。他的research group从理论到应用都有。非常好的导师。我的两个advisor都跟他熟悉，都说他好。
Rich Sutton (U of Alberta)：这个就不用说了，开山鼻祖，还在带学生，但很少了。
Joelle Pineau (Mcgill) (我司research的managing director): 有过一些交流，我觉得她人挺好的。research方向挺focus on RL的。这些年对continual learning貌似非常感兴趣。RL方向的话也是从理论到应用都有。
Doina Precup (Mcgill)：Offline RL, option-critic, hierarchical RL, HER, options，很多最近几年很火的方向她都有涉猎。我现在带的组里面以前有个research scientist intern也在她组里，做了TD3。我也有stanford以前的同学在她组里。评价都挺不错的。
Ronald Parr (带我进RL门的Duke 本科advisor)：他的研究也偏理论，应用偏少。我觉得他数学功底很好，而且人特别踏实，能学到不少的。这两年对Generalized Value Function (GVF) 感兴趣。
Andreas Krause (ETH Zurich): 很多RL research focus在exploration和safety上面。但他本人的涉猎很广。理论Operations Research DP的paper也有不少。之前合作的教授跟他有过合作。
Jakob Foerster (Oxford) (我司的前research scientist): 他的research大多实在human-computer interaction, Multi-agent上面。对Game theory很感兴趣。

General Reputation很好的group：

Peter Stone (UTAustin): Multi-agent的忠实拥趸。很多很有意思的robotics和multi-agent work。感觉总体研究有点杂。
Charles Isbell (Georgia tech): 个人觉得他的research偏应用。对statistical learning的研究很多，也应用在了RL上面。
Satinder Singh (UMich): 最早那批和Rich Sutton合作的RL researcher之一，很多重要的结果都是他做的，比如eligibility trace，policy gradient with function approximation。很好的researcher。这些年对game theory也很感兴趣。
Michael Kearns (UPenn): 近几年RL方向的output不多，早些年和Andrew Ng还有Satinder Singh合作做了好几篇重要的paper。总体偏理论。
Phillip Thomas (UMass): 之前有好多offpolicy policy evaluation跟他相关。最近的工作感觉挺杂的，好像什么都做一点，业界也会involve一些。
Michael Bowling (U of Alberta): OPE, Policy Gradient, DP, application都有，挺全面的。Poker game的那偏paper属于出圈的paper了。
University College London 有好多位做RL的教授，虽然David Silver不带学生了，但是还有好几位。比如Marc Deisenroth, Edward Grefenstette, Tim Rocktäschel, John Shawe-Taylor。（不是太熟悉）
Carl Rasmussen (Cambridge): Gaussian process的大牛。最近几年开始做和RL相关的比较多。很多工作还是跟GP相关。

有些大牛完全进业界了或者退休了，所以不再带学生：

David Silver（AlphaGo, AlphaZero, MuZero的主创）, John Langford（非常偏theory）, Andrew Barto（和Rich Sutton都是RL鼻祖之一）

希望能帮到你。第一次来知乎发帖，大家轻踩。

wangjh-123

作者：李建平
链接：https://www.zhihu.com/question/516672871/answer/2350330143
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Nan Jiang 课程主页提到的课程资料，下面这些老师应该也是做RL的

There are also many related courses whose material is available online. Here is an incomplete list (not in any particular order; list from 2019 and has not been updated since then):

R. Srikant. UIUC ECE 586.
Ron Parr. Duke CompSci 590.2.
Ben Van Roy. Stanford MS&E 338.
Ambuj Tewari and Susan Murphy. U Michigan STATS 710.
Susan Murphy. Harvard Stat 234.
Alekh Agarwal and Alex Slivkins. Columbia COMS E6998.001.
Daniel Russo. Columbia B9140-001.
Shipra Agrawal. Columbia IEOR 8100.
Emma Brunskill CMU 15-889e.
Philip Thomas. U Mass CMPSCI 687.
Michael Littman. Brown CSCI2951-F.

列一下在蒙特利尔 / Mila 的一些研究者：

McGill
- Joelle Pineau (McGill, FAIR) 现任FAIR的老大
- Doina Precup (McGill, DeepMind) Rich Sutton的亲传，在DeepMind内部级别也很高，做过很多hierarchical RL / option / semi-MDP 方面的早期工作
UdeM
- Aaron Courville dz自己的老板，和后面的Marc合作很多，去年还拿了NeurIPS 2021的outstanding paper
- Liam Paull
- Pierre-Luc Bacon Doina的弟子
- Glen Berseth Sergey的博后
Google Brain
- Marc Bellemare distributional RL和atari benchmark的提出者
- Pablo Samuel Castro
Microsoft Research
- Harm van Seijen
- Remi Tachet des Combes
- Romain Laroche

（如果想到更多的，之后再来补充）

作者：Narsil
链接：https://www.zhihu.com/question/516672871/answer/2740525392
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

zhzhl202

补充下，国内工业界阿里妈妈在强化学习领域做了非常多的创新和实践，也是工业界为数不多的能够把强化学习大规模落地的团队。

智能投放关键技术挑战在于广告竞价环境是动态变化的，要统筹整个广告投放周期的投放才能最大化投放效果，同时广告业务的安全性要求高，需要投放策略的探索成本和风险足够低。围绕上述挑战，我们推进了强化学习（RL）在工业界广告投放场景的大规模落地，以及RL算法的代际性更迭，包括：

率先将深度强化学习算法（DRL）引入广告智能投放，很好地契合了广告投放是一个在动态竞争环境中进行序列决策的本质特点，带来了两位数的投放效果提升。
首次将离线强化学习算法（Offline-RL）引入广告智能投放，解决了传统深度强化学习算法探索成本过高问题，带来了投放效果显著的提升
首创性地提出了可持续在线强化学习（SORL），实现直接和在线广告系统交互的策略学习，并大幅提升了在线探索的效率和安全性。

一路走来，我们推动了强化学习类算法在工业界大规模落地，并持续革新算法实现对学术界研究的反哺。上述算法工作相继整理成多篇学术论文发表在KDD、NeurIPS、WSDM等学术会议。

典型强化学习代表作：

KDD 2024 : AIGB: Generative Auto-bidding via Diffusion Modeling
WWW 2024 : Trajectory-wise Iterative Reinforcement Learning Framework for Auto-bidding
KDD 2023: A Personalized Automated Bidding Framework for Fairness-aware Online Advertising
NeurIPS 2022: Sustainable Online Reinforcement Learning for Auto-bidding
WSDM 2022：A Cooperative-Competitive Multi-Agent Framework for Auto-bidding in Online Advertising
WSDM 2021：Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising

Document