近日,由中国电信云计算研究院研究团队梁雨萌、常建慧、臧明远、吴杰教授合作撰写的论文《RCNet: Resilient Collaborative DNN Inference for Wireless Networks with High Packet Loss》已被IEEE TNSE接收,并正式发表。该研究聚焦于解决无线网络高丢包率场景下端云协同的模型推理性能瓶颈,为提供高可靠、低时延的智能泛在云服务创造条件。
当前智算业务的实时响应需求对深度神经网络(DNN)的推理速度提出了较高的要求,然而移动端有限的计算资源难以满足。因此,端云协同的DNN推理框架成为了最近的研究热点:将部分推理任务从移动设备转移到具有强大计算资源的云服务器从而提高整体响应速度。然而,许多边缘场景下,无线网络链路状况不佳、丢包率高,这给中间特征传输带来了巨大的障碍,因而影响了协同推理的性能。
针对这一挑战,该论文提出了一种名为RCNet的端云协同DNN推理框架,能够在无线网络高丢包率的情况下保持高精度的性能。它利用不均衡冗余编码机制,有效地保护移动设备上提取出的重要特征的传输,并在云端设计基于Transformer的特征重构模块,利用云服务器强大的计算资源恢复缺失的特征。在真实测试平台的实验结果证明了RCNet能够在超过90% 特征丢失的恶劣网络条件下依然以超过90%的准确率实现高可靠的协同推理。
该研究工作为移动场景下的高可靠端云协同提供了创新的解决方案,有望在无线资源有限的边缘环境下提供高可靠、低时延的智能泛在云服务,高效发挥中国电信在泛在基础设施方面的优势与特色,保障整体智算业务的响应速度。
作为中国电信的高层次学术研究机构,中国电信云计算研究院通过在端云协同等新兴技术方面的布局,密切关注在移动计算场景下智能泛在云的服务性能,致力于通过技术创新推动云边端的智能协同,为规模化智算业务提供更加高效、可靠的服务。
IEEE网络科学与工程汇刊(IEEE Transactions on Network Science and Engineering,IEEE TNSE)是网络科学领域的国际著名期刊,致力于发表同行评审的高水平技术论文,探讨网络科学的理论和应用,以及构成网络系统中各元素之间的相互联系。被期刊收录的论文会被SCI数据库检索,中国科学院SCI期刊分区为二区。目前该期刊由IEEE Fellow、新加坡南洋理工大学计算机学院教授Dusit Niyato担任主编,截至2024年12月31日的影响因子为7.041,同时在JCR Q1分区多个分类排名中名列前茅(前10%)。
近日,由中国电信云计算研究院研究团队梁雨萌、常建慧、臧明远、吴杰教授合作撰写的论文《RCNet: Resilient Collaborative DNN Inference for Wireless Networks with High Packet Loss》已被IEEE TNSE接收,并正式发表。该研究聚焦于解决无线网络高丢包率场景下端云协同的模型推理性能瓶颈,为提供高可靠、低时延的智能泛在云服务创造条件。
当前智算业务的实时响应需求对深度神经网络(DNN)的推理速度提出了较高的要求,然而移动端有限的计算资源难以满足。因此,端云协同的DNN推理框架成为了最近的研究热点:将部分推理任务从移动设备转移到具有强大计算资源的云服务器从而提高整体响应速度。然而,许多边缘场景下,无线网络链路状况不佳、丢包率高,这给中间特征传输带来了巨大的障碍,因而影响了协同推理的性能。
针对这一挑战,该论文提出了一种名为RCNet的端云协同DNN推理框架,能够在无线网络高丢包率的情况下保持高精度的性能。它利用不均衡冗余编码机制,有效地保护移动设备上提取出的重要特征的传输,并在云端设计基于Transformer的特征重构模块,利用云服务器强大的计算资源恢复缺失的特征。在真实测试平台的实验结果证明了RCNet能够在超过90% 特征丢失的恶劣网络条件下依然以超过90%的准确率实现高可靠的协同推理。
该研究工作为移动场景下的高可靠端云协同提供了创新的解决方案,有望在无线资源有限的边缘环境下提供高可靠、低时延的智能泛在云服务,高效发挥中国电信在泛在基础设施方面的优势与特色,保障整体智算业务的响应速度。
作为中国电信的高层次学术研究机构,中国电信云计算研究院通过在端云协同等新兴技术方面的布局,密切关注在移动计算场景下智能泛在云的服务性能,致力于通过技术创新推动云边端的智能协同,为规模化智算业务提供更加高效、可靠的服务。
IEEE网络科学与工程汇刊(IEEE Transactions on Network Science and Engineering,IEEE TNSE)是网络科学领域的国际著名期刊,致力于发表同行评审的高水平技术论文,探讨网络科学的理论和应用,以及构成网络系统中各元素之间的相互联系。被期刊收录的论文会被SCI数据库检索,中国科学院SCI期刊分区为二区。目前该期刊由IEEE Fellow、新加坡南洋理工大学计算机学院教授Dusit Niyato担任主编,截至2024年12月31日的影响因子为7.041,同时在JCR Q1分区多个分类排名中名列前茅(前10%)。