Le gestionnaire de ressources de fil

La composante de base de fil (Yet Another négociateur des ressources) est le gestionnaire de ressources, qui régit toutes les ressources de traitement de données dans le cluster Hadoop. Autrement dit, le gestionnaire de ressources est un ordonnanceur dédié qui attribue les ressources aux applications demandant. Ses seules tâches sont de maintenir une vision globale de toutes les ressources du cluster, le traitement des demandes de ressources, la planification de la demande, puis l'affectation de ressources à l'application demandeuse.

Le gestionnaire de ressources, un élément essentiel dans un cluster Hadoop, devrait fonctionner sur un noeud maître dédié.

Même si le gestionnaire de ressources est fondamentalement un ordonnanceur pure, elle repose sur des modules de planificateur pour la logique de planification réelle. Vous pouvez choisir parmi les planificateurs mêmes qui étaient disponibles dans Hadoop 1, qui ont tous été mis à jour pour fonctionner avec FILS: FIFO (premier entré, premier sorti), Capacité, ou Fair Share.

Le Gestionnaire de ressources est totalement agnostique en ce qui concerne à la fois les applications et les cadres - il ne possède pas de chiens dans ces chasses particuliers, en d'autres termes. Il n'a pas de concept de carte ou de réduire les tâches, il ne suit pas la progression des travaux ou de leurs tâches individuelles, et il ne gère pas les basculements.

En bref, le gestionnaire de ressources est une rupture totale avec le démon JobTracker pour Hadoop 1 environnements. Qu'est-ce que le gestionnaire de ressources ne fait est la charge de travail d'horaire, et il le fait bien ce travail.

Ce haut degré de séparation de fonctions - en se concentrant sur un aspect tout en ignorant tout le reste - est exactement ce qui rend FIL beaucoup plus évolutif, capable de fournir une plate-forme générique pour les applications, et en mesure de soutenir une multi-locataire Clusters Hadoop - multi-locataires parce que les différentes unités d'affaires peut partager le même cluster Hadoop.


» » » » Le gestionnaire de ressources de fil