Deutsch
 
Hilfe Datenschutzhinweis Impressum
  DetailsucheBrowse

Datensatz

DATENSATZ AKTIONENEXPORT
 
 
DownloadE-Mail
 DetailsÜbersicht
  Predictive Representations for Policy Gradient in POMDPs

Boularias, A. (2009). Predictive Representations for Policy Gradient in POMDPs. Proceedings of the 26th International Conference on Machine Learning (ICML 2009), 65-72.

Item is

 

einblenden: alle ausblenden: alle

Basisdaten

einblenden: ausblenden:
Datensatz-Permalink: https://hdl.handle.net/11858/00-001M-0000-0013-C4A1-C Versions-Permalink: https://hdl.handle.net/11858/00-001M-0000-0013-C4A2-A
Genre: Konferenzbeitrag

Externe Referenzen

einblenden:

Urheber

einblenden:
ausblenden:
 Urheber:
Boularias, A1, Autor           
Danyluk, Herausgeber
A., Herausgeber
Bottou, L., Herausgeber
Littman, M., Herausgeber
Affiliations:
1Department Empirical Inference, Max Planck Institute for Biological Cybernetics, Max Planck Society, ou_1497795              

Inhalt

einblenden:
ausblenden:
Schlagwörter: -
 Zusammenfassung: We consider the problem of estimating the policy gradient in Partially Observable Markov Decision Processes (POMDPs) with a special class of policies that are based on Predictive State Representations (PSRs). We compare PSR policies to Finite-State Controllers (FSCs), which are considered as a standard model for policy gradient methods in POMDPs. We present a general Actor- Critic algorithm for learning both FSCs and PSR policies. The critic part computes a value function that has as variables the parameters of the policy. These latter parameters are gradually updated to maximize the value function. We show that the value function is polynomial for both FSCs and PSR policies, with a potentially smaller degree in the case of PSR policies. Therefore, the value function of a PSR policy can have less local optima than the equivalent FSC, and consequently, the gradient algorithm is more likely to converge to a global optimal solution.

Details

einblenden:
ausblenden:
Sprache(n):
 Datum: 2009-06
 Publikationsstatus: Erschienen
 Seiten: -
 Ort, Verlag, Ausgabe: -
 Inhaltsverzeichnis: -
 Art der Begutachtung: -
 Identifikatoren: URI: http://www.cs.mcgill.ca/~icml2009/
DOI: 10.1145/1553374.1553383
BibTex Citekey: 6827
 Art des Abschluß: -

Veranstaltung

einblenden:
ausblenden:
Titel: 26th International Conference on Machine Learning
Veranstaltungsort: Montreal, Canada
Start-/Enddatum: -

Entscheidung

einblenden:

Projektinformation

einblenden:

Quelle 1

einblenden:
ausblenden:
Titel: Proceedings of the 26th International Conference on Machine Learning (ICML 2009)
Genre der Quelle: Zeitschrift
 Urheber:
Affiliations:
Ort, Verlag, Ausgabe: New York, NY, USA : ACM Press
Seiten: - Band / Heft: - Artikelnummer: - Start- / Endseite: 65 - 72 Identifikator: -