Проект распределенной обработки “Новичок”

Question

Долгое время я интересовался созданием кластера разнородных узлов в попытке создать домашний суперкомпьютер, поскольку мне очень интересно проводить исследования в области искусственного интеллекта.

Однако проблема заключается в том, что, несмотря на то, что у меня есть множество аппаратных средств (2 двухъядерных сервера для монтажа в стойку, 8 графических процессоров 285GTX, 6 PS3, 2 взломанных 360s (они могут запускать Linux), доступ к множеству обычных ПК, а также к нескольким рабочим станциям) У меня нет большого набора данных, который нужно было бы перерабатывать, или даже какого-либо программного обеспечения, которое я мог бы запускать распределенным.Я напортачил с компиляцией распределенного кода, но в лучшем случае из-за этого сборка моего ядра заняла от 10 минут (в худшем случае) до 30 секунд (и я думаю, что 20 из этих секунд - это просто настройка).

Итак, с чего мне следует начать?У меня приличное понимание Obj-C / C / C ++, так что написать что-то не должно быть слишком сложно, но что я должен написать?

Answer 1

Если вы хотите, чтобы данные были точными, их там предостаточно:

• Широкий спектр наборов данных для интеллектуального анализа данных и обнаружения знаний
• множество очищенных и /или подлежащих удалению наборов данных
• Полный Сетевой список пакетов данных архива знаний
• коллекция больших наборов данных о состоянии здоровья

Что касается вопроса "что я должен построить", то реальный вопрос заключается в том, что вас интересует?

Answer 2

Что ж, я думаю, лучше всего определить, для какого подмножества имеющегося у вас оборудования вы будете разрабатывать свое приложение.Программное обеспечение для PS3 требует особого внимания и потребует отдельной разработки от чего-либо, созданного для работы на обычных серверах Linux.

Возможно, вам также потребуется провести некоторое исследование о том, как вы могли бы разработать приложение для 360;Честно говоря, я не уверен, действительно ли это даст вам то, что вы ищете.

После того как вы определились с подмножеством аппаратных средств, для которых вам необходимо разработать, было бы неплохо начать с некоторой базовой разработки, чтобы убедиться, что вы сможете создать фундамент, обеспечивающий коммуникацию.Имея прочную основу, вы сможете расширить свой код для поддержки различных распределенных проектов.

Надеюсь, я правильно понял ваш вопрос!

Ваше здоровье

Answer 3

Если вы действительно склонны к приключениям, вы могли бы попробовать портировать одно из них / оба Спрайт (Unix-y) или/и План 9 (просто странно) для каждого из имеющихся у вас аппаратных средств (Plan 9 уже работает на ПК).