Exécution de plusieurs instances de Hadoop sur une même machine

Question

Je souhaite lancer une deuxième instance de Hadoop sur une machine qui a déjà une instance de fonctionnement Hadoop. Après la distribution untar'ing Hadoop, certains fichiers de configuration doivent changer de répertoire Hadoop version / conf. L'utilisateur linux sera identique pour les deux instances. J'ai identifié les attributs suivants, mais je ne suis pas sûr si cela est assez bon.

hdfs-site.xml: dfs.data.dir et dfs.name.dir

core-site.xml: fs.default.name et hadoop.tmp.dir

mapred-site.xml: mapred.job.tracker

Je ne pouvais pas trouver les noms d'attributs pour le numéro de port de suivi travail / tâche tracker / DFS interface web. Leurs valeurs par défaut sont 50030, 50060 et 50070 respctively.

Y at-il d'autres attributs qui doivent être modifiés pour faire en sorte que la nouvelle instance Hadoop est en cours d'exécution dans son propre environnement?

Answer 1

Rechercher ".Address" dans src / hdfs / hdfs-default.xml et src / mapred / mapred-default.xml, et vous trouverez des attributs d'abondance qui y sont définis.

BTW, j'ai eu une boîte avec un pare-feu activé, et j'observé que les ports efficaces dans la configuration par défaut sont 50010, 50020, 50030, 50060, 50070, 50075 et 50090.