您当前浏览器版本过低,为了不影响您的使用,建议您使用最新的谷歌浏览器、火狐浏览器、 360浏览器,更换浏览器后使用更流畅!(注意!双核浏览器请切换为极速模式)
工信部人工智能赋能中小企业典型应用场景案例(科研领域)

几个存储节点一起坏了,让新节点帮忙

2026-05-26
384

11.png


分布式存储系统平时最怕好几个节点一起掉线。现实里可能是一大片区域断电,也可能是一批机器同时离网,或者系统把修复攒到一起。问题是很多经典修复方法已经比“整文件重传”省流得多,但大多还是按默认前提在设计:即便坏了多个节点,也是一台一台各修各的。


如果有多台新节点要一起补位,为什么让它们各自去找幸存节点拿数据,互相之间却不配合?新节点本来就在同一轮恢复里上线,它们之间也能传数据。如果把 “新节点的互助”用起来,恢复时总的网络流量会不会更低?


会,且不是一点点优化,是一整类恢复思路的变化。论文提出 “互相协作恢复”机制(MCR):就是多个节点一起坏掉时,不是每个新节点单独向幸存节点拿数据,而是从幸存节点各拿一部分,再在新节点间交换各经拿到的信息,最后拼出自己需要保存的数据。原来恢复流量是不同新节点重复去拿相互重叠的信息;如果让它们中途先共享,就有可能把这部分重复流量压下去。


图 2回答了多个新节点参与恢复时,数据路径应该怎么走。传统做法是“每个人都去仓库各搬各的”;MCR 更像“大家先各搬一部分,再在现场互相分一下”。这一步看起来简单,却改变了恢复流量的分摊机制。


12.png


能省到什么程度?作者用信息流图和最小割分析,推出了一个恢复带宽下界,然后给出一套传输方案和线性网络编码方案,证明MCR 方案正好能达到这个下界。换句话说: 这套模型和约束下,很难再把恢复流量压得更低了。


论文给出的关键量是:每次传输的数据块大小可以压到 M / [k(n-k)] 这个量级,M 是原文件大小,nk 是纠删码参数。把结果放回论文给出的总恢复流量里,MCR 的总维护带宽会变成 [(n-1)/(n-k)] · (M/k) · r,这里 r 是同时失效、需要补回来的节点数。非专业读者不需要盯住公式本身,只需知道:多节点一起坏时,恢复总流量并非只能线性叠加地往上涨,通过协作可以压到一个最低、最优的水平。


论文还给了几组很具体的比较。表 II回答的问题是:在一个 n=16、r=8、k=4 的场景里,MCR 跟两类代表性非协作恢复方法相比,账怎么算。表 II 里,MCR 和 MSR 的总存储成本同样都是 4 M,但 MCR 的维护带宽是 2.5 M,MSR 是 3.2 M,如论文总结的那样,维护带宽降了 22%。此外,MCR 和 MBR 的维护带宽同样都是 2.5 M,但 MBR 的总存储成本要到 4.9 M,MCR 只要 4 M,少了大约 23%。


13.png


表 III 把结论放到更大冗余规模下再看一遍。在 n=32、r=24、k=4 的例子里,MCR 和 MSR 的总存储成本同样都是 8 M,但维护带宽从 9.6 M 降到了 6.6 M,论文把这总结为 23% 的下降;和 MBR 相比,MCR 不只把总存储成本从 9.8 M 压到 8 M,还把维护带宽从 7.4 M 压到 6.6 M。说明 MCR 不只在一种指标上占便宜,更在“恢复时要跑多少流量”和“平时总共要存多少冗余”之间,给出了一种更平衡的做法。


14.png


这篇论文局限性在于:第一,研究的是多节点同时失效的场景,不是单节点坏盘的日常修复。第二,最优性结论建立在论文定义的模型上,包括节点之间对称通信、每轮恢复的组织方式,以及线性网络编码的构造前提。第三,这套随机线性编码方案的解码复杂度不低,后续工作还需要去找更确定、更轻量的编码实现。


作者简介:胡燏翀,华中科技大学计算机科学与技术学院教授、博士生导师。主要研究分布式存储系统与容错编码技术,聚焦数据中心环境下的高效数据修复与系统可靠性优化。


DOI:10.1109/JSAC.2010.100216

已收藏 0
点赞 0

学术会议

【IEEE冠名|华南理工大学主办】第七届IEEE计算机工程与智能控制国际学术会议(IEEE-ICCEIC 2026)
第七届计算机工程与智能控制国际学术会议(ICCEIC 2026)将于2026年10月16日至18日在广州举办,聚焦计算机工程与智能控制前沿,涵盖网络安全、硬件系统、软件工程、嵌入式创新等多个核心议题
2026-10-16
【斯普林格出版,EI检索稳定】第十二届水利、土木工程国际学术会议暨丝路国际深地储能与地下空间开发(ICHCE&SRIF 2026)
第十二届水利、土木工程国际学术会议由西安建筑科技大学和陕西省岩土力学与工程学会联合主办。会议主题为“工程智能建造”。本次会议将汇聚国内外顶尖学者、企业领袖与技术先锋,共同分享最新研究成果、典型实践案例
2026-10-16
【SPIE出版|多位院长主讲】第二届电子信息工程与光电材料国际学术会议(OMEIE 2026)
第二届电子信息工程与光电材料国际学术会议定于2026年10月9至11日在江西南昌市召开,会议旨在为“电子信息工程与光电材料”领域的专家、学者提供一个可交流学术成果的平台。
2026-10-09
【EI稳定检索|经济、管理、大数据可接收】第二届人工智能、业务转型和数据科学创新国际学术会议(ICBTDS 2026)
探讨AI技术前沿、分享最佳实践、促进跨界合作,第二届人工智能、业务转型和数据科学创新国际学术会(ICBTDS 2026)议将于2026年10月09-11日在中国-南京隆重召开
2026-10-09
【9.14截稿丨院士+国际学会领衔丨稳定EI检索丨往届3个月EI检索】第五届环境遥感与地理信息技术国际学术会议(ERSGIT 2026)
第五届环境遥感与地理信息技术国际学术会议(ERSGIT 2026)将于2026年9月28-30日在中国南京召开。由国际自然资源学会主办,江苏海洋大学、中国矿业大学、江苏师范大学、山东建筑大学协办
2026-09-28
【IEEE丨多场平行Workshop丨EI期刊同步征稿】第六届智能电力与系统国际学术会议(ICIPS 2026)
第六届智能电力与系统国际学术会议(ICIPS 2026)拟于2026年10月24-26日在辽宁大连召开。 电力丨电子丨电气丨能源丨储能丨电网丨半导体丨物联网丨计算机丨人工智能丨大数据
2026-10-24
相关资讯

打破纪录!中国科学家让薛定谔的猫活了23分钟

中科大团队成功让薛定谔的猫活了长达整整23分钟!

43268

5

2024-11-25

性行为缺失会促癌?华中大最新:性行为缺失会削弱抗癌免疫力,保持性行为则有利于抗癌

性行为缺失会促癌?华中大最新:性行为缺失会削弱抗癌免疫力,保持性行为则有利于抗癌

36560

4

2026-01-30
立即开启