A closed loop framework of decision-making and learning in primate prefrontal circuits using Computational Modeling and Virtual Experimentation - Archive ouverte HAL Access content directly
Theses Year : 2019

A closed loop framework of decision-making and learning in primate prefrontal circuits using Computational Modeling and Virtual Experimentation

Un cadre en boucle fermée sur la prise de décision et l’apprentissage dans les circuits préfrontaux des primates, par modélisation computationnelle et expérimentation virtuelle

Bhargav Teja Nallapu
  • Function : Author
  • PersonId : 1009972


This thesis attempts to build a computational systems-level framework that would help to develop an understanding of the organization of the prefrontal cortex (PFC) and the basal ganglia (BG) systems and their functional interactions in the process of decision-making and goal-directed behaviour in humans. A videogame environment with an aritficial agent, Minecraft is used to design experiments to test the framework in an environment that could be more complex and realistic, if necessary. Malmo, a platform developed by Microsoft, allows to communicate with the videogame Minecraft to design the scenarios in the environment and control the behavior of the agent. The framework, along with virtual experimentation forms a closed-loop architecture for studying the high-level animal behavior. It is pointed out that the generic principles behind the flexible animal behaviors also give insights into developing artificial intelligence (A.I) that is more general and autonomous in the nature of learning, in addition to the current A.I systems that are specialized in a particular task. Behavior, of a human or an animal, is a pattern of responses to a certain stimulus (physical or abstract). A response is essentially a choice among several possible options or simply a choice between whether or not to make a choice from the available options. The neural correlates of decision-making in humans is an extensively sought after question across multiple fields ranging from behavioural psychology, economics to neuroscience and artificial intelligence (AI). Especially in the field of neuroeconomics and AI, there is a huge pursuit to understand the underpinnings of decision-making in brain. With rapidly growing interest in understanding the neural substrates of decision-making, learning and behaviour, at least in higher order mammals like rodents, non-human primates and humans, more research is leading to deeper questions about our understanding of decision-making itself. It is not so surprising because, given that any species, in some degree or the other, depends on the mechanisms of action selection or decision-making for its survival in an uncertain environment. Humans are presumably the most flexible and adaptive decision-makers who can learn the underlying structure of the world, even if the structure is hidden, and rapidly adapt their behaviour. The prefrontal cortex (PFC) has been at the forefront of this proposition and is believed to have facilitated this evolution towards a wider repertoire of behaviours that emerge from underlying primitive action selection mechanisms. It is highlighted that studying complex realistic decision-making in ecological scenarios will require a more sophisticated experimentation methods than the regular numerical simulations used. The experiments designed in Minecraft can be used to test the framework in an environment that could be more complex and realistic, if necessary. Major value addition of a virtual environment and an agent interacting in it is, that the bodily characteristics of the agent can be emphasized (like needs) and their role in value-based decision making can be discussed. Subsequently the framework, along with virtual experimentation forms a closed-loop architecture for studying the high-level animal behavior. The neural systems framework in this work rests on the network dynamics between the subsystems of PFC and BG. PFC is believed to play a crucial role, in executive functions like planning, attention, goal-directed behavior, etc. BG are a group of sub-cortical nuclei that have been extensively studied in the field of motor control and action selection. Different regions in the PFC and structures within BG are anatomically organized, including a respective sensory cortical region, in parallel and segregated loops (each of them referred here as a CBG loop). These loops can be, on a high level, divided into 3 kinds : limbic loops, associative loops and sensori-motor loops. Imagine an animal interacting with stimuli in an environment. Some of the most pertinent questions to the current state of the animal with respect to the stimuli present are : (i) What is (the value of) this stimulus? (Preference) (ii) Why is this stimulus relevant to my current internal needs? (Need) (iii) Where is this stimulus located with respect to my reference in the current environment (Orientation), and (iv) How do I reach the ’desired’ stimulus (Approach). Limbic loops address the questions What? and Why?. Sensori-motor loops are concerned with the questions Where? and How?. Associative loops form a multi-modal association of the current state information, for instance which stimulus in the limbic loops is at which position represented in the motor loops. Furthermore, in each of these loops, as the subregion of PFC represents the chosen goal, the process of achieving the goal by sustained activation between the PFC subregion and the corresponding sensory cortical area is described. Especially virtual experimentation helps highlight this phenomenon by demonstrating flexible adjustments to action plan once the goal is selected. First, a comprehensive framework with the above mentioned parallel loops is implemented. All the four loops are algorithmically implemented, describing the mutual influences between each of the prefrontal sub-regions. It is important to note that, although there is no explicit hierarchy built in the system among the loops, there are two levels of hierarchy that could implicitly arise. First, although the motor loops are free to make decisions in the action space, with sufficient learning in the limbic space, the decisions in any of the limbic loops could lead the decisions in the sensori-motor space. through the associative loop. Secondly, it is assumed that the fundamental motivation of the animal is internal homeostatis, that is to maintain its internal needs in acceptable bounds. Thus, in certain situations, the internal motivation might lead the dynamics in the limbic loops, with the Why? loop for internal motivation biasing the What? loop which might be more stimulus-driven, when there is no pressing internal need. The inputs for the CBG loops is provided by the sensory perception of the framework that communicates the information provided by Malmo from the videogame environment to the corresponding representations in the framework. Similarly the output of the framework is transformed to appropriate Malmo representations of action commands that drive the agent in the environment. Since the cognitive framework is described by several biological constraints, several adaptations have been made in the way the Malmo platform is used, in terms of sensory perception of the environment and the motor control of the agent. Next, we use this framework to study more closely, the role of limbic loops in valueguided decision making and goal-directed behavior. The emphasis rests on the limbic loops. Therefore the associative and sensori-motor loops are modeled algorithmically, taking help of the experimentation platform for motor control. As for the limbic loops, the orbitofrontal cortex (OFC) is the part of a loop for preferences and the anterior cingulate cortex (ACC), for internal needs. These loops are formed through their limbic counterpart in BG, ventral striatum (VS). VS has been widely studied and reported to be encoding various substrates of value, forming an integral part of value-based decision making. Simplistic scenarios are designed in the virtual environment using the agent and some objects and appetitive rewards in the environment. The limbic loops have been implemented according to existing computational models of decision making in the BG and amygdala. Thus the framework and the experimental platform stand as a testbed to computational models of specific processes that have to fit in a bigger picture. Of the limbic loops, the role of OFC has been closely studied. Ranging over diverse studies across decades, OFC has been implicated in almost all aspects of decision-making - state representation, outcome prediction, action selection, outcome evaluation and primarily, learning. Furthermore, deficits or lesions of OFC were argued to cause multiple behavioral impairments such as response inhibition for no longer rewarding stimulus, learning when reward contingencies are reversed etc. With more advanced lesion techniques and keener analysis, several such observations were turned down. Nevertheless, the role of OFC in value-based decision making and learning is underlined time and again, while the exact ways in which it affects the process are still unknown. As part of this thesis, several outstanding observations about the role of OFC in behavior have been summarized by consolidating numerous experimental evidences and reviews. To highlight a few, OFC is implied in : perceptual decision making and value-based decision making; within a single decision-making episode (trial), different kinds of involvement at a different phase (option presentation, action selection, outcome delivery etc.,); learning stimuli-outcome (pavlovian) and action-outcome (instrumental) associations. The neurons in OFC were found to vividly correlate with the value of the outcomes, more interestingly expressing a phenomenon of range adaptation, adapting to the changing ranges of values. OFC is believed to learn a state space representation of the task space to be able to access partially observable information for a decision. The structural heterogeneity of OFC adds to the inherent underlying complexity about studying the role of Orbitofrontal Cortex (OFC) in decision making, learning and goal-directed behavior. This has been studied in the recent years, with studies focused on dissociating the roles of lateral and medial subparts of OFC. Often, ventromedial prefrontal cortex (vmPFC) is considered under medial OFC. Bouret et al., 2010, Noonan et al., 2010, Rudebeck & Murray 2011 are some of the few comprehensive studies that clearly argued for separate roles of lateral and medial OFC. Lastly, to explain the findings of different roles of lateral and medial regions of OFC, existing computational architecture of CBG loops, pavlovian learning in amygdala and multiple evidences of amygdala-OFC-VS interactions are put together into a single model. The learning rules of reinforcement have been adapted to accommodate the appropriate credit assignment (correct outcome to correct chosen stimulus) and the value difference of the choice options. As a result, several findings from animal experiments studying the separable roles, were replicated. Particularly in the context of different roles of lateral and medial OFC in decision making as a function of the value difference between options, distinct and dissociate roles of lateral and medial were observed. Medial OFC seemed to be more crucial for the choice between two options that are close to each other, whereas lesions to medial OFC did not seem to affect the animal’s performance when the difference between the values of the options are sufficiently apart. On the contrary, surprisingly lateral OFC appeared to be crucial when the decisions are easy to make whereas lesions to lateral OFC did not seem to affect the difficult choices where the values of the options are close to each other. Similar results were found in the performances of the monkeys with lesions to to lateral and those with lesions to medial OFC. Dissociable roles in Pavlovian Instrumental Transfer were also observed. Notwithstanding the detailed neural architectures and basic neuronal descriptions used in certain parts of this work, the neural mechanisms of all the behavioral paradigms were discussed at a very simplistic level. Throughout the work, only appetitive behavior has been described, whereas most of the processes described in this work are also known to account for aversive behaviors like avoiding punishments. In addition, the role of dopamine as the neurotransmitter facilitating learning has been extremely simplified. Furthermore, with multiple systems of reinforcement learning involved in the framework, it demands for a detailed role of how dopamine could have a differential effect on these systems. One of the most important elements of behavior that is not accounted for in the framework is memory. In fact by complementing the framework with an existing computational account of a minimal working memory model, the mechanisms of sustained activities to maintain goals until achieving, aspects like giving up if the goal hasn’t been reached for a long time etc, can be explored further. Adding an explicit memory to store minimum spatial and episodic information would allow the framework to explain more flexible behaviors like pure goal-directed or opportunistic behaviors. However, that would require much sophisticated implementations of motor loops where a desired position can be navigated. Nevertheless, the investigations into the observed evidences around OFC offer great insight into understanding the very process of decision-making, value computation in general. By venturing into a realm of bio-inspired adaptive learning in an embodied virtual agent, describing the principles of motivation, goal-selection and self-evaluation, it is highlighted that the field of reinforcement learning and artificial intelligence has a lot to gain from studying the role of prefrontal systems in decision-making.
Cette thèse tente de construire un cadre de travail au niveau des systèmes informatiques qui aiderait à comprendre l’organisation des systèmes du cortex préfrontal (PFC) et des ganglions de base (BG) et leurs interactions fonctionnelles dans le processus décisionnel et le comportement ciblé chez les humains. Environnement de jeu vidéo avec un agent artificiel, Minecraft est utilisé pour concevoir des expériences visant à tester le cadre dans un environnement qui pourrait être plus complexe et réaliste, si nécessaire. Malmo, une plateforme développée par Microsoft, permet de communiquer avec le jeu vidéo Minecraft pour concevoir les scénarios dans l’environnement et contrôler le comportement de l’agent. Le cadre, avec l’expérimentation virtuelle forme une architecture en boucle fermée pour l’étude du comportement animal de haut niveau. Il est souligné que les principes génériques qui sous-tendent les comportements animaux flexibles donnent également un aperçu du développement de l’intelligence artificielle (I.A.) qui est plus générale et autonome dans la nature de l’apprentissage, en plus des systèmes actuels d’I.A. qui sont spécialisés dans une tâche particulière. Le comportement, d’un humain ou d’un animal, est un ensemble de réactions à un certain stimulus (physique ou abstrait). Une réponse est essentiellement un choix parmi plusieurs options possibles ou simplement une décision entre faire un choix parmi les options disponibles ou non. Les corrélats neuronaux de la prise de décision chez l’homme sont une question très recherchée dans de multiples domaines allant de la psychologie du comportement, de la neuroéconomie et à l’intelligence artificielle (I.A.). En particulier dans le domaine de la neuroéconomie et de l’I.A., il y a une recherche énorme pour comprendre les fondements de la prise de décision dans le cerveau. Avec l’intérêt croissant pour la compréhension des substrats neuronaux de la prise de décision, de l’apprentissage et du comportement, du moins chez les mammifères d’ordre supérieur comme les rongeurs, les primates non humains et les humains, plus de recherche mène à des questions plus profondes sur notre compréhension du processus décisionnel lui-même. Ce n’est pas si surprenant, étant donné qu’une espèce, dans une certaine mesure, dépend des mécanismes de sélection des actions ou de prise de décision pour sa survie dans un environnement incertain. L’homme est sans doute le décideur le plus souple et le plus adaptable qui peut apprendre la structure sous-jacente du monde, même si cette structure est cachée, et il peut adapter rapidement son comportement. Le cortex préfrontal (PFC) est à l’avant-garde de cette faculté et on croit qu’il a facilité cette évolution vers un répertoire plus large de comportements qui émergent des mécanismes sous-jacents de sélection des actions primitives. Il est souligné que l’étude de la prise de décisions complexes et réalistes dans des scénarios écologiques nécessitera des méthodes d’expérimentation plus sophistiquées que les simulations numériques classiques utilisées. Les expériences conçues dans Minecraft peuvent être utilisées pour tester le cadre dans un environnement qui pourrait être plus complexe et réaliste, si nécessaire. La valeur ajoutée majeure d’un environnement virtuel et d’un agent qui y interagit est que les caractéristiques corporelles de l’agent peuvent être soulignées (comme les besoins) et leur rôle dans la prise de décision basée sur la valeur peut être discuté. Par la suite, le cadre, avec l’expérimentation virtuelle forme une architecture en boucle fermée pour l’étude du comportement animal de haut niveau. Le cadre des systèmes neuronaux dans ce travail repose sur la dynamique des réseaux entre les sous-systèmes de PFC et BG. On croit que le PFC joue un rôle crucial dans les fonctions exécutives comme la planification, l’attention, le comportement ciblé, etc. Les BG sont un groupe de noyaux sous-corticaux qui ont fait l’objet d’études approfondies dans le domaine du contrôle moteur et de la sélection d’action. Différentes régions du PFC et structures au sein des BG sont anatomiquement organisées, en association avec une région corticale sensorielle respective, en boucles parallèles et séparées (chacune d’entre elles étant appelée ici une boucle CBG). Ces boucles peuvent être, à un niveau élevé, divisées en 3 types : les boucles limbiques, les boucles associatives et les boucles sensorimotrices. Imaginez un animal interagissant avec des stimuli dans un environnement. Voici quelques-unes des questions les plus pertinentes relatives à l’état actuel de l’animal en ce qui concerne les stimuli présents : (i) Quel est (la valeur de) ce stimulus ? (Préférence) (ii) Pourquoi ce stimulus est-il pertinent pour mes besoins internes actuels ? (Besoin) (iii) Où est ce stimulus situé par rapport à ma référence dans l’environnement actuel (Orientation), et (iv) Comment atteindre le stimulus ’souhaité’ (Approche). Les boucles limbiques répondent aux questions Quoi? et Pourquoi? Les boucles sensori-motrices sont concernées par les questions Où? et Comment?. Les boucles associatives forment une association multimodale de l’information sur l’état actuel, par exemple quel stimulus dans les boucles limbiques est représenté à quelle position dans les boucles motrices. En outre, dans chacune de ces boucles, comme la sous-région de la PFC représente l’objectif choisi, le processus de réalisation de l’objectif par une activation soutenue entre la sous-région de la PFC et la région corticale sensorielle correspondante est décrit. L’expérimentation, en particulier virtuelle, permet de mettre en évidence ce phénomène en faisant preuve de souplesse dans l’adaptation du plan d’action une fois l’objectif choisi. Tout d’abord, un cadre global avec les boucles parallèles susmentionnées est mis en oeuvre. Les quatre boucles sont mises en oeuvre de manière algorithmique, décrivant les influences mutuelles entre chacune des sous-régions préfrontales. Il est important de noter que, bien qu’il n’y ait pas de hiérarchie explicite établie dans le système entre les boucles, deux niveaux de hiérarchie pourraient implicitement apparaître. Premièrement, bien que les boucles motrices soient libres de prendre des décisions dans l’espace d’action, avec suffisamment d’apprentissage dans l’espace limbique, les décisions dans n’importe laquelle des boucles limbiques pourraient conduire les décisions dans l’espace sensorimoteur à travers la boucle associative. Deuxièmement, on suppose que la motivation fondamentale de l’animal est l’homéostasie interne, c’est-à-dire de maintenir ses besoins internes dans des limites acceptables. Ainsi, dans certaines situations, la motivation interne peut conduire la dynamique dans les boucles limbiques, avec la boucle Pourquoi?. Les entrées pour les boucles CBG sont fournies par la perception sensorielle du cadre qui communique les informations fournies par Malmö à partir de l’environnement de jeu vidéo aux représentations correspondantes dans le cadre. De même, la sortie du cadre est transformée en représentations Malmo appropriées des commandes d’action qui entraînent l’agent dans l’environnement. Le cadre cognitif étant décrit par plusieurs contraintes biologiques, plusieurs adaptations ont été apportées à l’utilisation de la plate-forme de Malmo, en termes de perception sensorielle de l’environnement et de contrôle moteur de l’agent. Ensuite, nous utilisons ce cadre pour étudier de plus près le rôle des boucles limbiques dans la prise de décision guidée par les valeurs et le comportement ciblé. L’accent est mis sur les boucles limbiques. Les boucles associatives et sensori-motrices sont donc modélisées de manière algorithmique, à l’aide de la plate-forme d’expérimentation pour le contrôle moteur. Comme pour les boucles limbiques, le cortex orbitofrontal (OFC) est la partie d’une boucle pour les préférences et le cortex cingulaire antérieur (ACC), pour les besoins internes. Ces boucles sont formées par leur contrepartie limbique en BG, striatum ventral (VS). Le VS etait fait l’objet de nombreuses études et on a signalé qu’il encode divers substrats de valeur, faisant ainsi partie intégrante de la prise de décisions fondées sur les valeurs. Des scénarios simplistes sont conçus dans l’environnement virtuel en utilisant l’agent et certains objets et des récompenses appétissantes dans l’environnement. Les boucles limbiques ont été mises en oeuvre selon les modèles informatiques existants de prise de décision dans les BG et l’amygdale. Ainsi, le cadre et la plate-forme expérimentale servent de banc d’essai à des modèles informatiques de processus spécifiques qui doivent s’inscrire dans une perspective plus large. Parmi les boucles limbiques, le rôle de l’OFC a été étudié de près. Au fil des décennies, l’OFC a été impliqué dans presque tous les aspects de la prise de décision - représentation de l’état, prédiction des résultats, sélection des actions, évaluation des résultats et surtout, l’apprentissage. En outre, les déficits ou les lésions de l’OFC ont été argués pour causer des déficiences comportementales multiples telles que l’inhibition de réponse pour ne plus récompenser le stimulus, l’apprentissage quand les contingences de récompense sont inversées, etc. Avec des techniques de lésions plus avancées et une analyse plus fine, plusieurs de ces observations ont été rejetées. Néanmoins, le rôle d’OFC dans la prise de décision et l’apprentissage fondés sur les valeurs est souligné à maintes reprises, alors que l’on ignore encore la manière exacte dont il affecte le processus. Dans le cadre de cette thèse, plusieurs observations remarquables sur le rôle d’OFC dans le comportement ont été résumées en consolidant de nombreuses preuves expérimentales et revues. En voici quelques exemples : la prise de décision perceptive et la prise de décision fondée sur les valeurs ; au sein d’un même épisode de prise de décision (l’essai), différents types de participation à une étape différente (présentation des options, sélection des actions, prestation des résultats, etc.) ; les associations des stimuli et des résultats d’apprentissage (Pavlovien) et d’actions-résultats (instrumental). On a constaté que les neurones d’OFC présentent une corrélation frappante avec la valeur des résultats, exprimant de façon plus intéressante un phénomène d’adaptation de l’intervalle, s’adaptant à l’évolution de l’intervalle des valeurs. L’OFC est censé apprendre une représentation spatiale d’état de l’espace de travail pour pouvoir accéder à des informations partiellement observables en vue d’une décision. L’hétérogénéité structurelle d’OFC ajoute à la complexité sous- jacente inhérente à l’étude du rôle d’OFC dans la prise de décision, l’apprentissage et le comportement ciblé. Cette question a été étudiée au cours des dernières années, avec des études axées sur la dissociation des rôles des sous-parties latérale et médial de l’OFC. Souvent, le cortex préfrontal ventromédial (vmPFC) est pris en compte dans le cadre d’OFC médial. Bouret et al 2010, Noonan et al 2010, Rudebeck & Murray 2011 sont quelques-unes des rares études approfondies qui ont clairement plaidé en faveur de rôles distincts pour l’OFC latéral et médial. Enfin, pour expliquer les résultats des différents rôles des régions latérales et médianes de l’OFC, l’architecture informatique existante des boucles CBG, l’apprentissage pavlovien dans l’amygdale et les multiples preuves des interactions amygdales-OFC-VS sont réunies dans un modèle unique. Les règles d’apprentissage du renforcement ont été adaptées pour tenir compte de l’attribution de crédits appropriée (résultat correct pour corriger le stimulus choisi) et de la différence de valeur des options de choix. Par conséquent, plusieurs résultats d’expériences sur des animaux étudiant les rôles séparables ont été reproduits. En particulier dans le contexte des différents rôles de l’OFC latéral et médial dans la prise de décision en fonction de la différence de valeur entre les options, des rôles distincts et dissociés des régions latérale et médiale ont été observés. L’OFC médial semblait plus crucial pour le choix entre deux options proches l’une de l’autre, alors que les lésions de l’OFC médial ne semblaient pas affecter la performance de l’animal lorsque la différence entre les valeurs des deux options est suffisamment éloignée. Au contraire, de manière surprenante, l’OFC latéral s’est avéré crucial lorsque les décisions sont faciles à prendre alors que les lésions de l’OFC latéral ne semblaient pas affecter les choix difficiles où les valeurs des options sont proches les unes des autres. Des résultats similaires ont été trouvés dans les performances des singes avec des lésions a l’OFC latéral et celles avec des lésions à l’OFC médial. Des rôles dissociables dans le transfert instrumental pavlovien ont également été observés. Nonobstant les architectures neuronales détaillées et les descriptions neuronales de base utilisées dans certaines parties de ce travail, les mécanismes neuronaux de tous les paradigmes comportementaux ont été discutés à un niveau très simpliste. Tout au long du travail, seul le comportement appétitif a été décrit, alors que la plupart des processus décrits dans ce travail sont également connus pour expliquer les comportements aversifs comme éviter les punitions. En outre, le rôle de la dopamine en tant que neurotransmetteur facilitant l’apprentissage a été extrêmement simplifié. De plus, avec les multiples systèmes d’apprentissage de renforcement impliqués dans le cadre, il exige un rôle détaillé sur la façon dont la dopamine pourrait avoir un effet différentiel sur ces systèmes. L’un des éléments les plus importants du comportement qui n’est pas pris en compte dans le cadre est la mémoire. En fait, en complétant le cadre par un compte rendu informatique existant d’un modèle de mémoire de travail minimale, les mécanismes des activités soutenues pour maintenir les objectifs jusqu’à ce qu’ils soient atteints, des aspects comme l’abandon si l’objectif n’a pas été atteint depuis longtemps, etc. peuvent être explorés davantage. L’ajout d’une mémoire explicite pour stocker un minimum d’informations spatiales et épisodiques permettrait au cadre d’expliquer des comportements plus flexibles comme des comportements purement ciblés ou opportunistes. Cependant, cela nécessiterait des implémentations très sophistiquées de boucles de moteur où l’on peut naviguer dans une position désirée. Néanmoins, les recherches sur les preuves observées autour de l’OFC permettent de mieux comprendre le processus même de la prise de décision et le calcul de la valeur en général. En s’aventurant dans un domaine d’apprentissage adaptatif bio-inspiré dans un agent virtuel incarné, décrivant les principes de motivation, de sélection d’objectifs et d’auto-évaluation, il est souligné que le domaine de l’apprentissage par renforcement et de l’intelligence artificielle a beaucoup à gagner à étudier le rôle des systèmes préfrontaux dans le processus décisionnel.
Fichier principal
Vignette du fichier
NallapuBhargav19.pdf (5.54 Mo) Télécharger le fichier
Origin : Files produced by the author(s)

Dates and versions

tel-02431814 , version 1 (08-01-2020)


  • HAL Id : tel-02431814 , version 1


Bhargav Teja Nallapu. A closed loop framework of decision-making and learning in primate prefrontal circuits using Computational Modeling and Virtual Experimentation. Neural and Evolutionary Computing [cs.NE]. Université de Bordeaux, 2019. English. ⟨NNT : ⟩. ⟨tel-02431814⟩
286 View
254 Download


Gmail Facebook Twitter LinkedIn More