Predictive Representations for Policy Gradient in POMDPs

Boularias, A; Chaib-draa, B

doi:10.1145/1553374.1553383

Predictive Representations for Policy Gradient in POMDPs

Boularias, A., & Chaib-draa, B. (2009). Predictive Representations for Policy Gradient in POMDPs. In A., Danyluk, L., Bottou, & M., Littman (Eds.), ICML '09: Proceedings of the 26th Annual International Conference on Machine Learning (pp. 65-72). New York, NY, USA: ACM Press.

Item is 公開

表示: 全項目非表示: 全項目

基本情報

表示: 非表示:

アイテムのパーマリンク: https://hdl.handle.net/11858/00-001M-0000-0013-C4A1-C 版のパーマリンク: https://hdl.handle.net/21.11116/0000-0002-F91F-4

資料種別: 会議論文

ファイル

表示: ファイル

作成者

表示:

非表示:

作成者:
Boularias, A¹, 著者
Chaib-draa, B, 著者

所属:
1External Organizations, ou_persistent22

内容説明

表示:

非表示:

キーワード: -

要旨: We consider the problem of estimating
the policy gradient in Partially Observable
Markov Decision Processes (POMDPs) with
a special class of policies that are based
on Predictive State Representations (PSRs).
We compare PSR policies to Finite-State
Controllers (FSCs), which are considered as a
standard model for policy gradient methods
in POMDPs. We present a general Actor-
Critic algorithm for learning both FSCs and
PSR policies. The critic part computes a
value function that has as variables the parameters
of the policy. These latter parameters
are gradually updated to maximize the value
function. We show that the value function
is polynomial for both FSCs and PSR policies,
with a potentially smaller degree in the
case of PSR policies. Therefore, the value
function of a PSR policy can have less local
optima than the equivalent FSC, and consequently,
the gradient algorithm is more likely
to converge to a global optimal solution.

資料詳細

表示:

非表示:

言語:

日付: 出版: 2009-06

出版の状態: 出版

ページ: -

出版情報: -

目次: -

査読: -

識別子（DOI, ISBNなど）: DOI: 10.1145/1553374.1553383
BibTex参照ID: 6827

学位: -

訴訟

表示:

Project information

表示:

出版物 1

表示:

非表示:

出版物名: ICML '09: Proceedings of the 26th Annual International Conference on Machine Learning

種別: 会議論文集

著者・編者:
Danyluk, A, 編集者
Bottou, L, 編集者
Littman, M, 編集者

所属:
-

出版社, 出版地: New York, NY, USA : ACM Press

ページ: - 巻号: - 通巻号: - 開始・終了ページ: 65 - 72 識別子（ISBN, ISSN, DOIなど）: ISBN: 978-1-60558-516-1

出版物 2

表示:

非表示:

出版物名: ACM International Conference Proceeding Series

種別: 連載記事

著者・編者:

所属:

出版社, 出版地: -

ページ: - 巻号: 382 通巻号: - 開始・終了ページ: - 識別子（ISBN, ISSN, DOIなど）: -

アイテム詳細

基本情報

ファイル

関連URL

作成者

内容説明

資料詳細

関連イベント

訴訟

Project information

出版物 1

出版物 2