R 2.15.1;Rhipe 0.73;CDH 5 - جافا.io.IOException:لا الملفات على المخطط:hdfs
-
21-12-2019 - |
سؤال
كنت قد ركبت CDH5 على دبيان 7.لقد عمل Hadoop مع MapReduce1 في عقدة واحدة الزائفة وضع الموزعة.
وأود أن تشغيل Rhipe داخل R.بعد تنزيل كنت قد ركبت عليه:
sudo R CMD INSTALL Rhipe_0.73.1.tar.gz
ثم تصديرها متغيرات البيئة:
export HADOOP_CONF_DIR="/etc/hadoop/conf"
export HADOOP="/usr/lib/hadoop"
export HADOOP_BIN=/usr/lib/hadoop/bin
export HADOOP_HOME=/usr/lib/hadoop
بعد تشغيل R:
> library(Rhipe)
------------------------------------------------
| Please call rhinit() else RHIPE will not run |
------------------------------------------------
> rhinit()
Rhipe: Using Rhipe.jar file
Initializing Rhipe v0.73
14/04/11 12:21:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
at org.godhuli.rhipe.PersonalServer.run(PersonalServer.java:321)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at RJavaTools.invokeMethod(RJavaTools.java:386)
Error in .jcall("RJavaTools", "Ljava/lang/Object;", "invokeMethod", cl, :
java.lang.NullPointerException
>
أنا في عداد المفقودين شيئا ؟
جافا المستخدمة في النظام:
There are 2 choices for the alternative java (providing /usr/bin/java).
Selection Path Priority Status
------------------------------------------------------------
0 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 auto mode
* 1 /usr/lib/jvm/j2sdk1.7-oracle/jre/bin/java 317 manual mode
2 /usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java 1061 manual mode
المحلول
على rhinit() وظيفة تحاول تحميل hadoop الجرار التي تكون موجودة في الدليل المحدد في HADOOP_HOME متغير.منذ هذه الوظيفة فقط تحميل تلك الجرار في HADOOP_HOME إلى فئة المسار لديك للحفاظ على كل hadoop محددة الجرار في هذا الدليل نفسه.
هل يمكن أن نفهم هذا إذا نظرتم إلى zzz.R الملف في rhipe الحزمة.
لا تنتمي إلى StackOverflow