R 2.15.1;Rhipe 0.73;CDH 5 - جافا.io.IOException:لا الملفات على المخطط:hdfs

StackOverflow https://stackoverflow.com//questions/23010542

  •  21-12-2019
  •  | 
  •  

سؤال

كنت قد ركبت CDH5 على دبيان 7.لقد عمل Hadoop مع MapReduce1 في عقدة واحدة الزائفة وضع الموزعة.

وأود أن تشغيل Rhipe داخل R.بعد تنزيل كنت قد ركبت عليه:

sudo R CMD INSTALL Rhipe_0.73.1.tar.gz

ثم تصديرها متغيرات البيئة:

export HADOOP_CONF_DIR="/etc/hadoop/conf"
export HADOOP="/usr/lib/hadoop"
export HADOOP_BIN=/usr/lib/hadoop/bin
export HADOOP_HOME=/usr/lib/hadoop

بعد تشغيل R:

> library(Rhipe)
------------------------------------------------
| Please call rhinit() else RHIPE will not run |
------------------------------------------------
> rhinit()
Rhipe: Using Rhipe.jar file
Initializing Rhipe v0.73
14/04/11 12:21:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
java.io.IOException: No FileSystem for scheme: hdfs
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
    at org.godhuli.rhipe.PersonalServer.run(PersonalServer.java:321)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:616)
    at RJavaTools.invokeMethod(RJavaTools.java:386)
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl,  : 
  java.lang.NullPointerException
> 

أنا في عداد المفقودين شيئا ؟

جافا المستخدمة في النظام:

There are 2 choices for the alternative java (providing /usr/bin/java).

  Selection    Path                                            Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java   1061      auto mode
* 1            /usr/lib/jvm/j2sdk1.7-oracle/jre/bin/java        317       manual mode
  2            /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java   1061      manual mode
هل كانت مفيدة؟

المحلول

على rhinit() وظيفة تحاول تحميل hadoop الجرار التي تكون موجودة في الدليل المحدد في HADOOP_HOME متغير.منذ هذه الوظيفة فقط تحميل تلك الجرار في HADOOP_HOME إلى فئة المسار لديك للحفاظ على كل hadoop محددة الجرار في هذا الدليل نفسه.

هل يمكن أن نفهم هذا إذا نظرتم إلى zzz.R الملف في rhipe الحزمة.

مرخصة بموجب: CC-BY-SA مع الإسناد
لا تنتمي إلى StackOverflow
scroll top