Intérêts de recherche
- Apprentissage par renforcement
- Apprentissage automatique
- Théorie des probabilités
La recherche du Dr. Kohar se concentre sur le développement d'un nouveau cadre pour la prise de décision séquentielle sous incertitude, connu sous le nom de processus de décision semi-markoviens adaptatifs des Bayes (BA-SMDP). Ce cadre met en avant le rôle crucial du timing dans la prise de décision - un facteur bien reconnu chez les êtres intelligents tels que les animaux et les humains mais souvent négligé dans la communauté de l'apprentissage automatique.
Un défi central de cette recherche est le compromis exploration-exploitation : un agent doit-il explorer l'environnement pour découvrir des récompenses plus importantes ou exploiter ses connaissances actuelles sur la localisation des récompenses ? Le modèle du Dr. Kohar aborde ce compromis en permettant aux agents d'apprendre sur les récompenses potentielles inconnues, les dynamiques de l'environnement, et le timing optimal des actions tout en maximisant les récompenses totales.
Le cadre BA-SMDP peut être reformulé comme un processus décisionnel semi-markovien partiellement observable (POSMDP), facilitant le développement d'un nouvel algorithme appelé ChronosPerseus. Cet algorithme tire parti de l'échantillonnage d'importance et des avancées récentes en calcul GPU pour fournir des solutions rapides et efficaces.
L'approche innovante du Dr. Kohar pour la prise de décision dans des environnements complexes et incertains, qui intègre les considérations de timing et gère le compromis exploration-exploitation, a des implications significatives pour la recherche théorique et les applications pratiques. Ce travail offre une base solide pour des études et des mises en œuvre pratiques futures.
Courte biographie
Dr. Kohar est professeur adjoint au Département de mathématiques et d'informatique. Il a obtenu son diplôme de BSc (avec Mention) en mathématiques et statistiques, avec une spécialisation en mathématiques appliquées, de l'Université McMaster. En 2014, il a complété son MSc en mathématiques au Collège militaire royal du Canada (CMR) à Kingston, sous la supervision du Dr. W. J. Hurley et du Dr. J. Brimberg. Dr. Kohar a ensuite poursuivi et obtenu son doctorat en mathématiques au CMR, en se concentrant sur le développement du processus de décision semi-markoviens adaptatifs des Bayes , sous la direction du Dr. F. Rivest et du Dr. A. Gosselin.
Depuis 2013, Dr. Kohar enseigne des cours de premier cycle en mathématiques discrètes, théorie des probabilités, statistiques et calcul au CMR. En 2016, son premier manuel, "Basic Discrete Mathematics: Logic, Sets, and Probability," a été publié par World Scientific et est depuis utilisé pour enseigner les mathématiques discrètes aux étudiants de la Faculté des sciences sociales et humaines.
Publications sélectionnées
- Kohar, R. (2016) Basic Discrete Mathematics: Logic, Set Theory, and Probability, World Scientific. (732 pages.) DOI: 10.1142/9851
- Rivest, F., et Kohar, R. (2020) A New Timing Error Cost Function for Binary Time Series Prediction. IEEE Transactions on Neural Networks and Learning Systems. 31:1, pp. 174-185. DOI: 10.1109/TNNLS.2019.2900046
- Hurley, W. J., Brimberg, J., Kohar, R. (2014) Examining a Gambler’s Claims: Probabilistic Fact Checking and Don Johnson’s Extraordinary Blackjack Winning Streak. Chance. 21:1, pp. 31-37 DOI: 10.1080/09332480.2014.890867
- Rivest, F., Kohar, R., Amadou Boukary, N. (2014) Learning to Predict Events On-line: A Semi-Markov Model for Reinforcement Learning NIPS 2014 Workshop: Autonomously Learning Robots, 12 Décembre 2014.
- Shoucri, R. M., Kohar, R. ESVPR and Heart Failure. World Congress on Medical Physics and Biomedical Engineering, IFMBE Proceedings, 39:180-183, 2012. DOI: 10.1007/978-3-642-29305-4_49
- Shoucri, R. M., Kohar, R. Criteria for Study of Heart Failure derived from ESPVR. 34th Annual International Conference of the IEEE EMBS, 5586-5589, 2012. DOI: 10.1109/EMBC.2012.6347260