求教: 关于建立 RAID5

电脑,手机,硬件,软件,电子产品等

版主: Jack12345

头像
huangchong楼主
论坛元老
论坛元老
帖子: 24294
注册时间: 7月 22, 2022, 1:22 am
昵称(选填): 净坛使者

求教: 关于建立 RAID5

帖子 huangchong楼主 »

最近我买了8个18TB的大硬盘,想做个RAID5,给linux普通台式计算机送数据。我的数据一般都是几T几T的连续读,希望能有400MB/s或者更好的速度。速度要求其实也不太高,赶上SATA SSD就很知足。主要目的是有点冗余度,顺便获得比单个机械硬盘稍快的速度。

目前有几个方案:

1 买个专门的8-bay RAID外接盒子,用usbC连在台式机上。但是看到的盒子是个软raid盒子,说他们的软件只支持windows或者mac os。 不知道买来以后能不能在linux里用。还看到amazon上有5bay USB3.1的盒子,倒是很便宜,也支持RAID5(OS没提)但是说明很老实,说测出来可以有200MB/s的速度。速度如果真是这样就有点让人失望了,因为我现在的单硬盘就180MB/s,下面方案2不花钱应该就可以轻松达到这种性能.

2 直接搞个台式机,把硬盘用主板上的SATA口接进去,用linux里自带的工具mdadm做软RAID5。目前比较倾向这个方案,就是不知道最后得到的性能会如何,理论上似乎是8个硬盘可以得到7x150MB/s的读取速度,但是不清楚是不是会受主板SATA带宽的限制,会不会放了8个硬盘才得到2x150MB/s的速度。不过其实这也可以接受了。

这个方法不需要什么投资,似乎值得先试试。就是目前的电脑机箱里面空间不大够,再有有点担心电源和散热(似乎合理的解决方案是花两三百买个合适的机箱换上)。



3 买个二手的文件服务器。ebay上看到一些带很多SAS口的,也不算贵。如果可行的话,用它们做个类似2的结构,然后想办法建立一个10G网。这个感觉会非常吵,而且特别占地方,特别费电,接口可能还比较古老,怕花一大笔钱买个古董回来。


4 买RAID卡,装载pcie插口上。这个方法,除了可能快一点外,似乎跟用主板SATA口比优势不太大。新一些的主板似乎都自带RAID功能。再说PCIE口也很宝贵,不一定能腾出来,所以这个选项优先级不高。



请问大家有没有这方面的经验?能否分享一下?先谢谢了!
头像
(ヅ)
著名点评
著名点评
帖子: 4578
注册时间: 8月 21, 2022, 2:20 pm

Re: 求教: 关于建立 RAID5

帖子 (ヅ) »

huangchong 写了: 5月 30, 2023, 7:02 pm 最近我买了8个18TB的大硬盘,想做个RAID5,给linux普通台式计算机送数据。我的数据一般都是几T几T的连续读,希望能有400MB/s或者更好的速度。速度要求其实也不太高,赶上SATA SSD就很知足。主要目的是有点冗余度,顺便获得比单个机械硬盘稍快的速度。

目前有几个方案:

1 买个专门的8-bay RAID外接盒子,用usbC连在台式机上。但是看到的盒子是个软raid盒子,说他们的软件只支持windows或者mac os。 不知道买来以后能不能在linux里用。还看到amazon上有5bay USB3.1的盒子,倒是很便宜,也支持RAID5(OS没提)但是说明很老实,说测出来可以有200MB/s的速度。速度如果真是这样就有点让人失望了,因为我现在的单硬盘就180MB/s,下面方案2不花钱应该就可以轻松达到这种性能.

2 直接搞个台式机,把硬盘用主板上的SATA口接进去,用linux里自带的工具mdadm做软RAID5。目前比较倾向这个方案,就是不知道最后得到的性能会如何,理论上似乎是8个硬盘可以得到7x150MB/s的读取速度,但是不清楚是不是会受主板SATA带宽的限制,会不会放了8个硬盘才得到2x150MB/s的速度。不过其实这也可以接受了。

这个方法不需要什么投资,似乎值得先试试。就是目前的电脑机箱里面空间不大够,再有有点担心电源和散热(似乎合理的解决方案是花两三百买个合适的机箱换上)。



3 买个二手的文件服务器。ebay上看到一些带很多SAS口的,也不算贵。如果可行的话,用它们做个类似2的结构,然后想办法建立一个10G网。这个感觉会非常吵,而且特别占地方,特别费电,接口可能还比较古老,怕花一大笔钱买个古董回来。


4 买RAID卡,装载pcie插口上。这个方法,除了可能快一点外,似乎跟用主板SATA口比优势不太大。新一些的主板似乎都自带RAID功能。再说PCIE口也很宝贵,不一定能腾出来,所以这个选项优先级不高。



请问大家有没有这方面的经验?能否分享一下?先谢谢了!
没什么RAID经验,所以说的可能错

8个盘没必要用server,用一个靠谱的8bay机箱加阵列卡就行了,一定要风扇装够,硬盘持续跑起来很热,对寿命影响大

10Gbps 网卡ethernet很贵,用spf端对端的解决办法非常便宜

实验数据最好用ECC内存,还有就是万一有盘挂了,RAID5重建很慢,以天计的
图片
头像
CanGuanGong
论坛精英
论坛精英
CanGuanGong 的博客
帖子: 7728
注册时间: 7月 23, 2022, 6:05 pm
昵称(选填): 调戏作风优良能打胜仗的小粉红

Re: 求教: 关于建立 RAID5

帖子 CanGuanGong »

看了看几个方案,目测蝗虫是想直接接在机器上。这样的话,不赞成方案2,理论速度7x150MB/s,问题是SATA的带宽也才600MB/s,还包括overhead。

个人建议方案4,买个PCIe接口的SAS卡,然后接那8个硬盘,带宽能轻松满足7x150MB/s。SAS卡俺也不熟,没啥型号可推荐,找个上代主流型号,然后ebay上买个二手就行了,最好买带连接线的,单独买不便宜。哥前年折腾chia币的时候,研究过几天sas卡,现在全忘了。
======================================================
| 离岸小粉红研究中心首席科学家 +新老买提双料精神领袖兼党组书记 +行为艺术买提第一人 |
=======================================================
头像
huangchong楼主
论坛元老
论坛元老
帖子: 24294
注册时间: 7月 22, 2022, 1:22 am
昵称(选填): 净坛使者

Re: 求教: 关于建立 RAID5

帖子 huangchong楼主 »

(ヅ) 写了: 5月 30, 2023, 10:17 pm 没什么RAID经验,所以说的可能错

8个盘没必要用server,用一个靠谱的8bay机箱加阵列卡就行了,一定要风扇装够,硬盘持续跑起来很热,对寿命影响大

10Gbps 网卡ethernet很贵,用spf端对端的解决办法非常便宜

实验数据最好用ECC内存,还有就是万一有盘挂了,RAID5重建很慢,以天计的
哦, 谢谢。

我不知道原来RAID5 修复要花很多天。不过总比全丢了好些。这些数据就偶尔用一下,它慢慢修倒是没问题。。不用RAID的话,数据是用两个硬盘拷贝的土办法备份,又费钱,又不保险。

我倒是确实已经有了个端对端的10G SPF,又便宜又好用。再往10G网里加设备确实也很头疼,ebay上有二手的交换机,但是 要考虑SPF和Base10000T 接口的选择,在其他设备没定下来之前也没法预先决定。

感觉简单的办法确实是你说的大机箱加风扇。 我倒是有个不用的电脑,机箱目前比较空旷。不过那个主板很老,有10年多新,不知道它带RAID卡速度如何。好在RAID卡似乎ebay上很便宜。
头像
huangchong楼主
论坛元老
论坛元老
帖子: 24294
注册时间: 7月 22, 2022, 1:22 am
昵称(选填): 净坛使者

Re: 求教: 关于建立 RAID5

帖子 huangchong楼主 »

CanGuanGong 写了: 5月 30, 2023, 10:29 pm 看了看几个方案,目测蝗虫是想直接接在机器上。这样的话,不赞成方案2,理论速度7x150MB/s,问题是SATA的带宽也才600MB/s,还包括overhead。

个人建议方案4,买个PCIe接口的SAS卡,然后接那8个硬盘,带宽能轻松满足7x150MB/s。SAS卡俺也不熟,没啥型号可推荐,找个上代主流型号,然后ebay上买个二手就行了,最好买带连接线的,单独买不便宜。哥前年折腾chia币的时候,研究过几天sas卡,现在全忘了。
甚好,谢谢! 我还不知道有SAS卡这种东西,待我看看。
drifter
论坛点评
论坛点评
帖子: 2573
注册时间: 9月 1, 2022, 4:17 am
昵称(选填): drifter

Re: 求教: 关于建立 RAID5

帖子 drifter »

Raid5 已经没人用了 大硬盘几乎不可用
raid 1+0
或者只做mirror
头像
(ヅ)
著名点评
著名点评
帖子: 4578
注册时间: 8月 21, 2022, 2:20 pm

Re: 求教: 关于建立 RAID5

帖子 (ヅ) »

huangchong 写了: 5月 30, 2023, 10:42 pm 哦, 谢谢。

我不知道原来RAID5 修复要花很多天。不过总比全丢了好些。这些数据就偶尔用一下,它慢慢修倒是没问题。。不用RAID的话,数据是用两个硬盘拷贝的土办法备份,又费钱,又不保险。

我倒是确实已经有了个端对端的10G SPF,又便宜又好用。再往10G网里加设备确实也很头疼,ebay上有二手的交换机,但是 要考虑SPF和Base10000T 接口的选择,在其他设备没定下来之前也没法预先决定。

感觉简单的办法确实是你说的大机箱加风扇。 我倒是有个不用的电脑,机箱目前比较空旷。不过那个主板很老,有10年多新,不知道它带RAID卡速度如何。好在RAID卡似乎ebay上很便宜。
经常有人RAID重铸失败的。你不是有ssd吗,完全可以在ssd上跑任务,然后cron job rsync每天多次备份到hdd上
图片
drifter
论坛点评
论坛点评
帖子: 2573
注册时间: 9月 1, 2022, 4:17 am
昵称(选填): drifter

Re: 求教: 关于建立 RAID5

帖子 drifter »

现在还用raid5 知识还停留在20年前 😄
Jack12345
论坛精英
论坛精英
帖子: 8119
注册时间: 7月 22, 2022, 11:46 am

Re: 求教: 关于建立 RAID5

帖子 Jack12345 »

我没用过 RAID. 还是 有点 不太理解,现在这个年代 还有 用 在线的 机械硬盘的 ?

比如 三星 这个 SSD,都 8T 容量了。买 2,3个 绝对 够用了
https://www.amazon.com/SAMSUNG-870-QVO- ... th=1&psc=1
drifter
论坛点评
论坛点评
帖子: 2573
注册时间: 9月 1, 2022, 4:17 am
昵称(选填): drifter

Re: 求教: 关于建立 RAID5

帖子 drifter »

Jack12345 写了: 5月 30, 2023, 10:50 pm 我没用过 RAID. 还是 有点 不太理解,现在这个年代 还有 用 在线的 机械硬盘的

比如 三星 这个 SSD,都 8T 容量了
https://www.amazon.com/SAMSUNG-870-QVO- ... th=1&psc=1
据说备份硬盘比SSD靠谱一点
买几个硬盘 定期备份文件 平时都不mount 也不怕小孩黑客乱搞
Jack12345
论坛精英
论坛精英
帖子: 8119
注册时间: 7月 22, 2022, 11:46 am

Re: 求教: 关于建立 RAID5

帖子 Jack12345 »

drifter 写了: 5月 30, 2023, 10:54 pm 据说备份硬盘比SSD靠谱一点
买几个硬盘 定期备份文件 平时都不mount 也不怕小孩黑客乱搞
机械硬盘 可靠性 比 SSD 差远了。怕震动,怕 什么。。。 多了

唯一 机械硬盘的 优点是 大容量 便宜 离线保存时间长一点。只适合 做备份,不适合 在线存储了
drifter
论坛点评
论坛点评
帖子: 2573
注册时间: 9月 1, 2022, 4:17 am
昵称(选填): drifter

Re: 求教: 关于建立 RAID5

帖子 drifter »

Jack12345 写了: 5月 30, 2023, 10:57 pm 机械硬盘 可靠性 比 SSD 差远了。怕震动,怕 什么。。。 多了

唯一 机械硬盘的 优点是 大容量 便宜 离线保存时间长一点
备份硬盘又不抱着跑 一年只用几个小时 但要用个10年 20年的
Jack12345
论坛精英
论坛精英
帖子: 8119
注册时间: 7月 22, 2022, 11:46 am

Re: 求教: 关于建立 RAID5

帖子 Jack12345 »

drifter 写了: 5月 30, 2023, 10:59 pm 备份硬盘又不抱着跑 一年只用几个小时 但要用个10年 20年的
楼主的目的 又不是 做备份
drifter
论坛点评
论坛点评
帖子: 2573
注册时间: 9月 1, 2022, 4:17 am
昵称(选填): drifter

Re: 求教: 关于建立 RAID5

帖子 drifter »

raid10好了
千万不要raid5 估计你18t的硬盘 raid5没建起来 硬盘就全坏了 😄
yanb
职业作家
职业作家
帖子: 700
注册时间: 10月 24, 2022, 7:21 pm

Re: 求教: 关于建立 RAID5

帖子 yanb »

我的工作站是8x16TB raid6,MegaRAID 9460-16i PCIe 3.1,前段时间硬盘坏了一块,换了块盘两三天就rebuild了,其间也不影响工作,否则这么大的数据丢了或停工简直是灾难。

Linux装在Dual 1TB M.2 NVMe SSD RAID1,不过我用的是LVM,就是说在raid1 os + raid6 data的硬件之上建立LVM,感觉也有点傻,但是os安装的时候用LVM好像最简单。

外接usb-c或文件服务器只适合备份,用起来就太慢了。
MaLaRabbit
知名作家
知名作家
帖子: 962
注册时间: 7月 24, 2022, 2:16 am

Re: 求教: 关于建立 RAID5

帖子 MaLaRabbit »

Sas raid controller + 24bay sas enclosure.
eBay 上买二手,不贵
头像
YouHi
论坛元老
论坛元老
帖子: 19812
注册时间: 7月 22, 2022, 10:36 pm

Re: 求教: 关于建立 RAID5

帖子 YouHi »

买个二手dell sff,装Unraid或者TrueNAS。
nk
著名点评
著名点评
帖子: 4004
注册时间: 3月 15, 2023, 6:49 am

Re: 求教: 关于建立 RAID5

帖子 nk »

从对硬盘的磨损来讲,还是不要弄任何RAID。我知道的IT部门可是每天都要不停的换硬盘(主要是RAID 对硬盘损坏太严重,当然IT部门的用户对硬盘也是用的更频繁)。

我就是把8个12T在Linux 里用 mergerfs 建成一个大的逻辑盘。没有弄任何RAID, 到现在至少有7-8年了,一点问题没有。

这种系统就是把一个盘一个盘地按顺序地写完,不会8个盘一起写,因此对盘的磨损很小。如果数据丢失了,也就是影响某一个盘的一个文件而已。这个对懒人很适用。如果不够了,再加一个硬盘也是很方便进入那个大的逻辑盘。

当然这样读/写盘的数据就是一个盘的数据。
头像
YouHi
论坛元老
论坛元老
帖子: 19812
注册时间: 7月 22, 2022, 10:36 pm

Re: 求教: 关于建立 RAID5

帖子 YouHi »

搞个Synology就行了。要速度就设置RAID0,要保险就RAID1。
头像
Fuck
论坛点评
论坛点评
帖子: 2185
注册时间: 5月 13, 2023, 12:32 am
昵称(选填): 骂人专家

Re: 求教: 关于建立 RAID5

帖子 Fuck »

太费劲了吧
回复

回到 “电脑手机(IT)”