Запуск нескольких экземпляров hadoop на одном компьютере

Question

Я хочу запустить второй экземпляр Hadoop на компьютере, на котором уже запущен экземпляр Hadoop.После распаковки дистрибутива hadoop некоторые конфигурационные файлы необходимо изменить из каталога hadoop-version/conf.Пользователь Linux будет одинаковым для обоих экземпляров.Я определил следующие атрибуты, но я не уверен, что этого достаточно.

hdfs-site.xml : dfs.data.dir и dfs.name.dir

core-site.xml : fs.default.name и hadoop.tmp.dir

mapred-site.xml : mapred.job.tracker

Я не смог найти имена атрибутов для номера порта job tracker / task tracker / DFS web interface.Их значения по умолчанию равны 50030, 50060 и 50070 соответственно.

Существуют ли еще какие-либо атрибуты, которые необходимо изменить, чтобы гарантировать, что новый экземпляр hadoop работает в своей собственной среде?

Answer 1

Найдите ".address" в src/hdfs/hdfs-default.xml и src/mapred/mapred-default.xml, и вы найдете множество атрибутов, определенных там.

Кстати, у меня было окно с включенным брандмауэром, и я заметил, что эффективными портами в конфигурации по умолчанию являются 50010, 50020, 50030, 50060, 50070, 50075 и 50090.