Nutch multithreading

Question

Iam cercando di configurare nutch per l'esecuzione di scansione multi-threaded.

Tuttavia, Iam affrontare un problema. Io non sono in grado di eseguire passo d'uomo con più thread, ho modificato il nutch-site.xml da usare 25 thread, ma ancora posso vedere solo 1 thread in esecuzione.

<property>
  <name>fetcher.threads.fetch</name>
  <value>25</value>
  <description>The number of FetcherThreads the fetcher should use.
    This is also determines the maximum number of requests that are 
    made at once (each FetcherThread handles one connection).</description>
</property>

<property>
  <name>fetcher.threads.per.host</name>
  <value>25</value>
  <description>This number is the maximum number of threads that
    should be allowed to access a host at one time.</description>
</property>

Ho sempre trovato il valore di activeThreads = 25, spinWaiting = 24, fetchQueues.totalSize = certo valore.

Che cosa è il significato di questo, si può spiegare che cosa è il problema e come posso risolverlo.

I apprezzare molto il vostro aiuto.

Grazie, Sumit

Answer 1

Credo che il problema è legato a un bug noto w / il nuovo fetcher Nutch. Vedere Nutch-721 .

Puoi provare a utilizzare OldFetcher (se avete Nutch 1.0) per vedere se questo risolve il problema.

- Ken