便宜VPS网hadoop集群部署方式以及使用场景
这里先来梳理一下整个Hadoop集群的物理架构图，大家有一个直接的观念和认识，上表中已经和明确了，总共需要5台服务器来使用，四台用来搭建Hadoop集群使用，另外一台（可选）作为MySQL等外围管理Hadoop集群来使用。
(1)Hadoop最底层是一个HDFS(Hadoop Distributed File System，分布式文件系统)，存储在HDFS中的文件先被分成块，然后再将这些块复制到多个主机中(DataNode，数据节点)。
Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。Hadoop这个名字不是一个缩写，而是一个虚构的名字。
我们这里采用三台CnetOS服务器来搭建Hadoop集群，分别的角色如上已经注明。
方案 Swift+Apache Hadoop MapReduce 在私有云环境中。常见的大数据部署模型之中的一个是：将 OpenStack 的 Swift 存储技术部署到 Apache Hadoop MapReduce 集群，从而实现处理功能。使用这样的架构的优势是。
分布式与集群的区别是什么
1、性质不同：分布式是不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题。集群是同一个业务部署在多台机器上，提高系统可用性。
2、分布式是指不同的业务分布在不同的地方，集群指的是将几台服务器集中在一起，实现同一业务。白话理解的话，比如公司项目上线初期（举例电子商务网站）初期：用户访问量低，只弄了一台服务器，一个tomcat项目运行一个web工程。
3、集群强调高可用，分布式强调多业务协作 物理与逻辑 集群倾向于物理概念，即多台机器组成一个集群。
4、服务器集群：服务器集群就是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。
5、集群就是逻辑上处理同一任务的机器集合，可以属于同一机房，也可分属不同的机房。分布式这个概念可以运行在某个集群里面，某个集群也可作为分布式概念的一个节点。
RabbitMQ分布式部署方案简介
不像其他软件的集群方案，RabbitMQ集群中节点之间没有主从节点之分。
RabbitMQ本身是基于Erlang编写，Erlang语言天生具备分布式特性(通过同步Erlang集群各节点的magic cookie来实现)。 因此，RabbitMQ天然支持Clustering。这使得RabbitMQ本身不需要像ActiveMQ、Kafka那样通过ZooKeeper分别来实现HA方案和保存集群的元数据。
如果我们希望即使在rabbitmq服务重启的情况下，也不会丢失消息，我们可以将Queue与Message都设置成可持久化的(durable)，这样就可以保证绝大部分情况下我们的rabbitmq消息不会丢失。
