更新時(shí)間:2023年03月15日13時(shí)56分 來(lái)源:傳智教育 瀏覽次數(shù):
MinIO 是一個(gè)非常輕量的服務(wù),可以很簡(jiǎn)單的和其他應(yīng)用的結(jié)合使用,它兼容亞馬遜 S3 云存儲(chǔ)服務(wù)接口,非常適合于存儲(chǔ)大容量非結(jié)構(gòu)化的數(shù)據(jù),例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機(jī)鏡像等。
它一大特點(diǎn)就是輕量,使用簡(jiǎn)單,功能強(qiáng)大,支持各種平臺(tái),單個(gè)文件最大5TB,兼容 Amazon S3接口,提供了 Java、Python、GO等多版本SDK支持。
MinIO集群采用去中心化共享架構(gòu),每個(gè)結(jié)點(diǎn)是對(duì)等關(guān)系,通過(guò)Nginx可對(duì)MinIO進(jìn)行負(fù)載均衡訪問(wèn)。
那去中心化有什么好處呢?
在大數(shù)據(jù)領(lǐng)域,通常的設(shè)計(jì)理念都是無(wú)中心和分布式。Minio分布式模式可以幫助你搭建一個(gè)高可用的對(duì)象存儲(chǔ)服務(wù),你可以使用這些存儲(chǔ)設(shè)備,而不用考慮其真實(shí)物理位置。
它將分布在不同服務(wù)器上的多塊硬盤組成一個(gè)對(duì)象存儲(chǔ)服務(wù)。由于硬盤分布在不同的節(jié)點(diǎn)上,分布式Minio避免了單點(diǎn)故障。如下圖:
Minio使用糾刪碼技術(shù)來(lái)保護(hù)數(shù)據(jù),它是一種恢復(fù)丟失和損壞數(shù)據(jù)的數(shù)學(xué)算法,它將數(shù)據(jù)分塊冗余的分散存儲(chǔ)在各各節(jié)點(diǎn)的磁盤上,所有的可用磁盤組成一個(gè)集合,上圖由8塊硬盤組成一個(gè)集合,當(dāng)上傳一個(gè)文件時(shí)會(huì)通過(guò)糾刪碼算法計(jì)算對(duì)文件進(jìn)行分塊存儲(chǔ),除了將文件本身分成4個(gè)數(shù)據(jù)塊,還會(huì)生成4個(gè)校驗(yàn)塊,數(shù)據(jù)塊和校驗(yàn)塊會(huì)分散的存儲(chǔ)在這8塊硬盤上。
使用糾刪碼的好處是即便丟失一半數(shù)量(N/2)的硬盤,仍然可以恢復(fù)數(shù)據(jù)。 比如上邊集合中有4個(gè)以內(nèi)的硬盤損害仍可保證數(shù)據(jù)恢復(fù),不影響上傳和下載,如果多于一半的硬盤壞了則無(wú)法恢復(fù)。
北京校區(qū)