iscsi共享存储的简单配置和应用
1、环境介绍
SCSI(Small Computer System Interface)是块数据传输协议,在存储行业广泛应用,是存储设备最基本的标准协议。从根本上说,iSCSI协议是一种利用IP网络来传输潜伏时间短的SCSI数据块的方法,ISCSI使用 以太网 协议传送SCSI命令、响应和数据。ISCSI可以用我们已经熟悉和每天都在使用的以太网来构建IP存储局域网。通过这种方法,ISCSI克服了直接连接存储的局限性,使我们可以跨不同 服务器 共享存储资源,并可以在不停机状态下扩充存储容量。
所需软件与软件结构
CentOS 将 tgt 的软件名称定义为 scsi-target-utils ,因此你得要使用 yum 去安装他才行。至于用来作为 initiator 的软件则是使用 linux-iscsi 的项目,该项目所提供的软件名称则为 iscsi-initiator-utils 。所以,总的来说,你需要的软件有:
scsi-target-utils:用来将 Linux 系统仿真成为 iSCSI target 的功能;
iscsi-initiator-utils:挂载来自 target 的磁盘到 Linux 本机上。
那么 scsi-target-utils 主要提供哪些档案呢?基本上有底下几个比较重要需要注意的:
/etc/tgt/targets.conf:主要配置文件,设定要分享的磁盘格式与哪几颗;
/usr/sbin/tgt-admin:在线查询、删除 target 等功能的设定工具;
/usr/sbin/tgt-setup-lun:建立 target 以及设定分享的磁盘与可使用的
客户端等工具软件。
/usr/sbin/tgtadm:手动直接管理的管理员工具 (可使用配置文件取代);
/usr/sbin/tgtd:主要提供 iSCSI target 服务的主程序;
/usr/sbin/tgtimg:建置预计分享的映像文件装置的工具 (以映像文件仿真磁盘);
这次的实验结构
(sdx1、sdy1是物理的磁盘通过lun连接到target虚拟的共享块,在客户端挂载这个块。这里我们添加一块硬盘sdb,创建sdb1(400m)和sdb2(500m))
2、server端配置
添加一块磁盘后
复查一下
安装target并加入开机自启动
yum install -y target*
systemctl start target
systemctl enable target
配置target的ctl将sdb1和sdb2共享出去
(一)、block关联磁盘
(二)、创建target
(三)、创建lun关联block和target
至此服务器端就配置完了,详细的配置可以到/etc/target/saveconfig.json修改
3、client端配置
(一)、安装iscsi*
软件包 iscsi-initiator-utils-6.2.0.873-29.el7.x86_64
软件包 iscsi-initiator-utils-iscsiuio-6.2.0.873-29.el7.x86_64
[root@200 ~]# yum install -y iscsi*
(二)、加入开机自启
[root@200 ~]# systemctl restart iscsid.service
[root@200 ~]# systemctl enable iscsid.service
(三)、做一个发现的操作,发现服务器共享的target名字是什么
(四)、查看发现的条目
(五)、修改客户端的acl并登录
注:这个自动加载过来的磁盘重启之后是自动加载过来的
4、客户端挂载iscsi的盘
格式化sdb和sdc
创建挂载点并挂载
[root@200 ~]# mkdir /sdb
[root@200 ~]# mkdir /sdc
注:如果需要实时同步的话需要使用gfs集群文件系统
5、总结
(一)、增加iscsi存储
(1)发现iscsi存储:iscsiadm
-m discovery -t st -p ISCSI_IP
(2)查看iscsi发现记录:iscsiadm
-m node
(3)登录iscsi存储:iscsiadm
-m node -T LUN_NAME -p ISCSI_IP -l
(4)开机自动:
iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op
update -n node.startup -v
automatic
(二)、删除iscsi存储
(1)登出iscsi存储
iscsiadm -m node -T LUN_NAME -p ISCSI_IP -u
(2)对出iscsi所有登录
iscsiadm -m node --logoutall=all
(3)删除iscsi发现记录:iscsiadm
-m node -o delete -T LUN_NAME -p ISCSI_IP
Windows Server 2012 iSCSI共享磁盘服务端搭建
1.安装iSCSI服务
1.1.打开服务器管理器添加角色和功能
1.2.基于角色或基于功能的安装
1.5.按需要选择功能,或者直接下一步
2.4.设置磁盘大小及类型
Linux文件系统-ISCSI存储和Multipathd
iscsi是由scsi协议发展而来,简单来讲,iscsi是对scsi的封装,并通过以太网来进行scsi指令的传输. 传统的scsi存储设备,通过总线连接到主机,供主机使用. 通过iscsi,主机可以直接通过以太网(TCP/IP)连接使用scsi存储设备,这也是通常所说的NAS存储的一种,它提供的是块级存储服务.
通过iscsi连接的存储设备,由于中间经过了交换机等网络设备,从主机到同一个存储设备,可能会存在多条路径. 每条路径在linux系统上都会被识别成一个设备,如果把每条路径都当成独立设备去处理的话,不同路径之间的读写操作就可能会造成数据的紊乱.
multipathd可以解决上述的多路径问题,其主要原理包括:
a. 每一个scsi设备都有唯一的scsi_id,multipathd通过探测scsi_id来判断不同路径后面是不是同一个存储设备.
b. 通过内核device-mapper功能,将多条路径映射为单一的块设备,提供给文件系统使用.
c. 由于多路径的存在,multipathd可以提供负载均衡和高可用的服务.
整个环境通过两台虚拟机搭建,一台虚拟机作为iscsi存储服务器,另一台作为客户端. 两台虚拟机都配置了两张网卡,从客户端到iscsi服务器,可以形成两条路径.
通过openfiler搭建iscsi存储服务器,openfiler镜像包及部署手册,具体参考openfiler官网.
部署完成后,创建了2个iscsi target:
需要安装如下软件包:
iscsi-initiator-utils:提供iscsid服务,及iscsi管理工具iscsiadm
device-mapper-multipathdevice-mapper-multipath-libs:提供multipathd服务及multipath管理工具
通过iscsiadm命令探测openfiler服务器上的iscsi target,具体如下:
可以看到,openfiler返回了2个target,每个target 2条路径. 执行命令后,在/var/lib/iscsi/目录生成了如下文件:
对iscsi target执行login操作后,系统才能识别到设备并使用,login命令如下:
执行login命令后,识别到了sda、sdb、sdc、sdd 4个设备,查看它们的scsi_id;可以看到sda、sdc是同一设备的不同路径,sdb、sdd是同一设备的不同路径.
启动multipathd服务后,multipathd会自动识别多路径,并自动在/dev/mapper/目录下创建多路径映射后的设备.
查看multipathd工作模式,命令multipath -ll
从上面输出可以看到,multipathd默认的策略是两条路径一主一备.
使用dd往/dev/mapper/mpathb中写入数据,数据从sda写入,sdc处于备用状态
将sda网络断开,过几秒后,切换到sdc写数据
再查看sda、sdc主备情况如下:
修改multipathd path_grouping_policy、path_selector(路径选择策略),在/etc/multipath.conf配置文件中,加入如下配置修改mpathb的工作模式.
重启multipathd服务后,查看multipathd工作模式,可以看到sda sdc都处于active状态:
dd测试mpathb写入数据时的情况如下,sda sdc轮询写入,所以吞吐量一样:
如何通过Windows Server 2008 R2建立iSCSI存储
在我们日常工作的某些实验中,会需要使用存储服务器。而硬件存储成本高,如StarWind之类的iSCSI软存储解决方案需要单独下载服务器端程序,且配置比较繁琐,令很多新手们很是头疼。
事实上,利用Windows Server 2008 R2,我们可以很容易地将其作为一台NFS存储服务器,方便地得到一个NFS软存储,轻松解决某些环境下的问题。接下来以Windows Server 2008 R2 SP1 企业版为例,分享一下具体的实现步骤。
首先,打开服务器管理器,选择”添加角色”;
点击下一步,开始添加服务器角色;
添加”文件服务”,点击下一步;
点击下一步,开始添加角色服务;
添加”网络文件系统服务”,即”Network File System (NFS)”;
点击安装,开始执行;
安装完成后,在容量适合的分区下建立一个文件夹,选择属性,找到”NFS共享”选项卡,点击”管理NFS共享”;
保持选项默认,点击”权限”;
此处可以看到此存储的默认访问权限,默认为所有计算机都具有只读权限。我们可以将这条权限策略调整为”不可读”,并点击”添加”设置其他策略;
点击”添加”后,会出现如上图窗口,在”添加名称”栏填写允许访问此存储的主机的IP地址,设置访问类型,并按需勾选是否允许访问根目录即可。
以上,通过其他设备添加 “此服务器IP地址:/共享文件夹名称”,即可访问NFS存储
如何将Windows服务器变成iSCSI存储服务器
1、使用账号密码登录到NAS存储服务器。
2、点击左上角的主菜单,点击主菜单列表中的“存储空间管理员”,打开存储空间管理员面板。
3、点击左边菜单列表的“ISCSI LUN”,可以查看当前已创建的LUN,点击“新增”,为NAS存储服务器创建一个新的LUN。
4、选择LUN种类,点击下一步。
5、输入LUN的名称,选择LUN的位置,必须是已创建好的存储空间。
6、一个新的LUN就创建好了。