高性能异构大内存系统关键技术及应用

大内存系统是实现数据高时效处理的IT基础设施关键部件。当前，人工智能、大数据、云计算等数字时代支柱产业的数据规模爆炸式增长，引发了内存系统的容量危机。通过融合小容量、高性能、高成本的传统易失性DRAM内存和大容量、低性能、低成本的新型非易失性内存NVM来实现单机大内存系统，并通过高速互连网络实现分布式内存资源的高效扩展，构建高性能异构分布式大内存系统，是解决内存容量危机的必由之路。

然而，融合异构内存器件形成大容量、高性能、低成本的内存系统尚面临“灵活组织、高效扩展、异构兼容”三大关键挑战：

1）在单节点中，内存介质异构化打破了传统单一内存构建形式，异构内存架构难以灵活组织以高性能适配动态多样的访存需求；

2）在分布式环境下，内存访问网络化改变了传统集中内存管理模式，分布式异构大内存难以高效扩展以满足低延迟、高可靠、强一致的访存需求；

3）在编程层面，内存数据持久化模式颠覆了传统易失性内存的使用方式，异构大内存难以高效编程以实现对现有软件生态的兼容。

解决方案

针对上述关键难题，项目组围绕异构内存组织架构、分布式扩展方法和编程模式等关键挑战展开研究，历时十年攻关，构建了异构大内存系统的核心技术体系，研发了大容量、高性能、低成本的TB级单节点大内存系统和PB级分布式内存池系统，主要创新如下：

1）提出软件定义的单节点异构大内存构建方法：揭示异构内存的访存局部性原理，创建可组合的性能预测模型，发明软件定义的异构内存软硬协同架构设计方法，解决了混合多种介质的异构内存灵活组织难题，研发了可动态适配平行和层次架构的TB级异构大内存系统。相比IBM设计的异构内存系统HDRC，应用性能提高达9.6倍，性价比提升3.2倍，是当前记录的最高水平。

2）提出分布式异构大内存的动态扩展方法：发明无中心化的分布式异构内存池架构，提出分布式高速缓存的自组织方法，设计实现分布式异构内存池的高效数据持久化和副本复制机制，突破分布式内存高效扩展难题，研发了大容量、高性能、高可靠和易扩展的PB级分布式异构内存池系统。相比谷歌设计的分布式内存组织方法CHT，写吞吐提高2.4倍，写延迟降低36.8%，端对端访存延迟降低到1.5微秒的最好水平。

3）构建异构兼容的大内存高效编程环境：创建面向异构大内存的统一地址操作语义扩展方法，提出大内存的推测日志执行方法和数据语义冗余检测消除方法，攻克异构内存系统的软件生态零代码移植难题，研发了大内存的数据持久化新型统一编程模型、编程库和编译器。相比当前唯一商用的持久内存编程库Intel PMDK，典型大数据应用性能提升5.1倍。

图1 基于RISC-V架构的异构内存扩展卡

图2 异构内存服务器

图3 异构内存池系统

技术指标

项目的多项成果解决了企业产业升级面临的一些关键技术难题，可显著提升大数据应用面临的内存容量危机，为云计算、大数据、AI等典型场景提供高效的IT基础设施，支撑大内存服务器、云计算平台、大数据分析与处理系统、人工智能服务平台的高效处理，广泛应用于智能电网、电信服务、银行证券、智慧交通、医疗健康、智能物流等行业领域。

已有样品/样机。

本项目研发的单机大内存系统具有容量大、性能高、成本低、易使用的优势，研发的分布式内存池系统具有易扩展、低延迟、高可靠、易使用的特点，与现有技术的对比如下：

①本项目研发的TB级单机大内存系统与典型层次结构异构内存系统IBM HDRC相比，吞吐量提升最高达9.6倍，平均77.2%；与美国卡内基梅隆大学提出的典型平行结构异构内存系统RBLA相比，吞吐量提升30.8%。性能/成本效益相比上述层次架构和平行架构分别提升3.2倍和1.9倍，大幅提高了应用性能并降低了大内存系统的硬件成本。

②本项目研发的PB级分布式异构内存池系统端对端访问延迟降低至1.5微秒左右，是使用40/56 GbE RDMA网卡的最好水平。分布式内存池可大幅提升并行与分布式编程框架MapReduce、内存文件系统、分布式存储系统、键值存储系统等典型应用的性能。

③本项目研制的大内存系统软件栈可以大幅提高文件系统、键值存储、文档数据库及键值缓存等典型系统软件的性能。与韩国延世大学提出的SelectISR机制（发表于操作系统顶会OSDI 2018）相比，I/O响应时间平均降低了67%，长尾延迟降低3.5倍；与威斯康星大学麦迪逊分校提出的键值存储系统NoveLSM相比，吞吐率提高8.3倍，长尾延迟降低17.1倍；与典型文档数据库系统LiteDB相比，吞吐率提升2到6倍；与应用非常广泛的键值缓存系统Memcached相比，吞吐率提高50%。