你所在的位置: 首页 > 正文

拒绝马赛克!基于残差抽取的单图像超分辨率技术

2019-08-11 点击:1256
诚博娱乐平台

  将门创业2019.7.18我要分享i1.go2yd.comimage.php?url=0MdZrp7PKc

  From:arxiv 编译:T.R

  近年来基于深度学习的单图像超分辨技术得到飞速发展,从SRCNN到VDSR,从DRCN到MSRN深度学习模型,解决了一个又一个超分辨率领域的难题。但目前的研究结果也表明,盲目地使用残差结构和稠密连接将导致模型过分地复用特征,使得网络臃肿膨胀同时难以训练。

  为了解决这一问题,来自西安电子科技大学的研究人员基于残差网络提出了一种简单高效的信息提炼方法DRN(distilling with residual network)用于单图像超分辨率技术,利用高效获取信息的残差精炼单元(RDB,residual distilling block)及其堆叠的组操作(RDG, residual distilling group),实现了对于信息更好的抽取和提炼,并平衡了模型的大小与性能,达到了非常好的图像超分辨率效果。

  残差精炼模块RDB

  为了有效地抽取并提炼低分辨率图像中的信息,研究人员提出了高效的残差精炼单元RDB来对图像进行操作。RDB中包含了两个分支,其中一个分支用于进行基本的残差操作;另一个分支则用于从输入中提炼出有效的信息,在融合信息的同时保持了对于重要特征的抽取能力。

  i1.go2yd.comimage.php?url=0MdZrpQc0W

  图中显示的残差精炼单元的构造

  其中的块状结构为每次操作输出的张量输出

  上图显示了RDB模块的基本构成,其中Di表示输入,Di+1表示模块的输出。在模块最开始的位置,输入的Di 通过卷积的作用得到量两个中间输出(1*1,3*3,1*1的卷积),其中Dout,i表示这一层级侧残差输出,而d则表示第i层和第i+1层之间的信息精炼通道。

  随后输入Di与残差输出Dout,i相加,并与d相接,构成的整个RDB模块将从中抽取有效的信息辅助超分辨率中高频信息的重建。此外在RDB的最后位置引入了1*1的卷积核用于特征融合。

  i1.go2yd.comimage.php?url=0MdZrpGVw2

长程的跳接,用于保存先前阶段信息,在有效抽取特征的同时将有助于网络融合局部与全局特征,并得到有利于图像重建的有效特征。

  i1.go2yd.comimage.php?url=0MdZrpNYqi

  网络架构

  在RDB和RDG的基础上,研究人员构建了基于残差网络的精炼模型,其中主要包含三个组成部分:低层级特征抽取LFE,残差精炼组的操作RDGs以及最终进行图像重建的操作。

  i1.go2yd.comimage.php?url=0MdZrpRppu

  在这一网络架构中,除了进行底层信息抽取和图像重建的模块外,最重要的就是n个残差精炼的组操作RDGs,其中每个组操作中包含了K个残差精炼模块RDB。整个模型可以表达成下面的式子:

  i1.go2yd.comimage.php?url=0MdZrp9NIr

  从内到外分别表示了特征提取操作,残差组操作和信息融合以及最后的图像重建。针对每个组操作中的特征抽取模块,可以看作是多个RDB模块操作Fg的融合以及长程跳接的衔接:

  i1.go2yd.comimage.php?url=0MdZrpXSQL

  整个模型的结构可以理解为多个残差模块的操作堆叠成残差提炼组操作,而多个组操作又结合在一起实现了更有效的特征抽取和残差提炼,最终层层叠加与与融合实现了最后的特征输出。

  基于这些特征研究人员利用pixelshuffle的方法进行上采样和图像重建,并选择了MAE作为损失函数进行训练。

  i1.go2yd.comimage.php?url=0MdZrpyDmg

  最终研究人员在DIV2K上进行了充分地训练,并在Set5,Set14,Urban100,BSDB100,Manga109等基准数据集上进行了测试,分别在2x-3x-4x倍的超方便率尺度上进行了实验。

  结果表明,与其他先进的方法相比,DRN系列方法在峰值信噪比和结构相似性等方面均取得了较好的提升。

  i1.go2yd.comimage.php?url=0MdZrpY5fT

  在使用更少参数的训练下能达到与先前的模型接近甚至更好地结果:

  i1.go2yd.comimage.php?url=0MdZrpO7Bl

  最后来看一下在数据集图像上取得的显著效果,可以看到DRN模型可以更好地克服人工恢复的模糊痕迹,并保留更多的细节信息。

  i1.go2yd.comimage.php?url=0MdZrptOZu

  恢复出的文字也较为清晰可辨:

  i1.go2yd.comimage.php?url=0MdZrphwBN

细节的恢复较好:

  i1.go2yd.comimage.php?url=0MdZrpRxjw

  如果想要了解更多深入的内容,请参看论文:

  ref:

  arxiv.orgabs1907.

  -The End-

  将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

  将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。

  将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。

  将门创投基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在三年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

  如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

  将门创投

  让创新获得认可!

  

  收藏举报投诉

  i1.go2yd.comimage.php?url=0MdZrp7PKc

  From:arxiv 编译:T.R

  近年来基于深度学习的单图像超分辨技术得到飞速发展,从SRCNN到VDSR,从DRCN到MSRN深度学习模型,解决了一个又一个超分辨率领域的难题。但目前的研究结果也表明,盲目地使用残差结构和稠密连接将导致模型过分地复用特征,使得网络臃肿膨胀同时难以训练。

  为了解决这一问题,来自西安电子科技大学的研究人员基于残差网络提出了一种简单高效的信息提炼方法DRN(distilling with residual network)用于单图像超分辨率技术,利用高效获取信息的残差精炼单元(RDB,residual distilling block)及其堆叠的组操作(RDG, residual distilling group),实现了对于信息更好的抽取和提炼,并平衡了模型的大小与性能,达到了非常好的图像超分辨率效果。

  残差精炼模块RDB

  为了有效地抽取并提炼低分辨率图像中的信息,研究人员提出了高效的残差精炼单元RDB来对图像进行操作。RDB中包含了两个分支,其中一个分支用于进行基本的残差操作;另一个分支则用于从输入中提炼出有效的信息,在融合信息的同时保持了对于重要特征的抽取能力。

  i1.go2yd.comimage.php?url=0MdZrpQc0W

  图中显示的残差精炼单元的构造

  其中的块状结构为每次操作输出的张量输出

  上图显示了RDB模块的基本构成,其中Di表示输入,Di+1表示模块的输出。在模块最开始的位置,输入的Di 通过卷积的作用得到量两个中间输出(1*1,3*3,1*1的卷积),其中Dout,i表示这一层级侧残差输出,而d则表示第i层和第i+1层之间的信息精炼通道。

  随后输入Di与残差输出Dout,i相加,并与d相接,构成的整个RDB模块将从中抽取有效的信息辅助超分辨率中高频信息的重建。此外在RDB的最后位置引入了1*1的卷积核用于特征融合。

  i1.go2yd.comimage.php?url=0MdZrpGVw2

长程的跳接,用于保存先前阶段信息,在有效抽取特征的同时将有助于网络融合局部与全局特征,并得到有利于图像重建的有效特征。

  i1.go2yd.comimage.php?url=0MdZrpNYqi

  网络架构

  在RDB和RDG的基础上,研究人员构建了基于残差网络的精炼模型,其中主要包含三个组成部分:低层级特征抽取LFE,残差精炼组的操作RDGs以及最终进行图像重建的操作。

  i1.go2yd.comimage.php?url=0MdZrpRppu

  在这一网络架构中,除了进行底层信息抽取和图像重建的模块外,最重要的就是n个残差精炼的组操作RDGs,其中每个组操作中包含了K个残差精炼模块RDB。整个模型可以表达成下面的式子:

  i1.go2yd.comimage.php?url=0MdZrp9NIr

  从内到外分别表示了特征提取操作,残差组操作和信息融合以及最后的图像重建。针对每个组操作中的特征抽取模块,可以看作是多个RDB模块操作Fg的融合以及长程跳接的衔接:

  i1.go2yd.comimage.php?url=0MdZrpXSQL

  整个模型的结构可以理解为多个残差模块的操作堆叠成残差提炼组操作,而多个组操作又结合在一起实现了更有效的特征抽取和残差提炼,最终层层叠加与与融合实现了最后的特征输出。

  基于这些特征研究人员利用pixelshuffle的方法进行上采样和图像重建,并选择了MAE作为损失函数进行训练。

  i1.go2yd.comimage.php?url=0MdZrpyDmg

  最终研究人员在DIV2K上进行了充分地训练,并在Set5,Set14,Urban100,BSDB100,Manga109等基准数据集上进行了测试,分别在2x-3x-4x倍的超方便率尺度上进行了实验。

  结果表明,与其他先进的方法相比,DRN系列方法在峰值信噪比和结构相似性等方面均取得了较好的提升。

  i1.go2yd.comimage.php?url=0MdZrpY5fT

  在使用更少参数的训练下能达到与先前的模型接近甚至更好地结果:

  i1.go2yd.comimage.php?url=0MdZrpO7Bl

  最后来看一下在数据集图像上取得的显著效果,可以看到DRN模型可以更好地克服人工恢复的模糊痕迹,并保留更多的细节信息。

  i1.go2yd.comimage.php?url=0MdZrptOZu

  恢复出的文字也较为清晰可辨:

  i1.go2yd.comimage.php?url=0MdZrphwBN

细节的恢复较好:

  i1.go2yd.comimage.php?url=0MdZrpRxjw

  如果想要了解更多深入的内容,请参看论文:

  ref:

  arxiv.orgabs1907.

  -The End-

  将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

  将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。

  将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。

  将门创投基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在三年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

  如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

  将门创投

  让创新获得认可!

  

达到当天最大量
诚博娱乐平台 版权所有© www.wlzkx.com 技术支持:诚博娱乐平台 | 网站地图