便宜VPS网 - 便宜VPS_香港VPS_美国VPS主机
如何使用Python为Hadoop编写一个简单的MapReduce程序
用户配置并将一个Hadoop作业提到Hadoop框架中，Hadoop框架会把这个作业分解成一系列map tasks 和reduce tasks。Hadoop框架负责task分发和执行，结果收集和作业进度监控。
安装 Hadoop：在你的计算机上安装 Hadoop。安装 Python：请确保你的计算机上已经安装了 Python。配置 Hadoop 环境：编辑 Hadoop 的配置文件，以确保 Hadoop 可以与 Python 配合使用。
方法一：将自己的编译软件与hadoop相连（我用的是MyEclipse去链接hadoop），直接运行程序。MyEclipse连接hadoop的教程待会我会在文章结尾处给出一个链接供大家参考。
包括MapReduce程序的构成，不同语言开发MapReduce的方法等。因为涉及了很多代码，直接看原文会比较方便。
mapreduce程序是用java写的，写好传到linux系统里，使用hadoop相关命令运行就行了。
当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
