的Map Reduce框架/基础设施

Question

的Map Reduce是，似乎得到了很多牵引最近一个模式，我开始看到它在我的项目，重点是事件处理管线（iPhone加速度计和GPS数据）的一个清单。我需要建立大量的基础设施项目，实际上它重于逻辑代码通过2个与它交互。一些I构建的组件，其中EventProcessors（具有输入和outputbuffers，定时等），事件侦听器，聚合器和一个分级管道。

这使我对我的问题是什么在地图的“共同”需要infrastrucutre减少是。由于我与.net的工作很多，我可以看到地图缩小内置的框架和语言结构的基础设施。函数式语言支持本身这种模式。似乎每一种语言可以用地图使用减少。甚至有语言的内置的周围的概念（如围棋）。

的Apache的Hadoop 带来地图，减少到Java。谷歌已经了专利地图，减少框架。 ？他们提供什么样的基础设施，使地图降低？什么是函数式语言表现出对实现地图减轻结构？需要什么/应地图 - 简化框架提供？

Answer 1

好了Hadoop的是基于谷歌文件系统。 Hadoop的MapReduce的实现也是基于由谷歌纸。对于这两种谷歌和Hadoop允许的MapReduce到成功地运行在并行大量数据是分布式文件系统，该成分

Answer 2

据我所知，Hadoop是通常基于HDFS和/或基础设施的HBase，其充当所述数据分发机制的Hadoop本身进行操作。

还有亚马逊弹性MapReduce，它是使用EC2和Hadoop，以使事情更容易有光泽的web前端。的“基础设施”在这种情况下是EC2和S3。

P.S。遗憾的snippy评论：）

Answer 3

由于您使用与.NET的工作，你可能想看看DryadLINQ。 http://research.microsoft。 COM / EN-US /下载/ 03960cab-bb92-4c5c-BE23-ce51aee0792c / Default.aspx的