服装搭配

　　原问题:CVPR 2018 中科大&微软提出立体神经气度转移模型，可用于3D视频气魄化 选自ar

　　原问题:CVPR 2018 中科大&微软提出立体神经气派转移模型，可用于3D视频风格化

　　比年来，在自然图像上体现名画气派的气派更换才能成为内容成立的热门话题。比方，迩来的片子「至爱梵高」是第一部全数由磨练有素的艺术家建造的动画影戏。然而，一时还没有将气魄改换把持于立体图像或视频的本事。现有的派头转移次序会使当中视图不一样的气魄化纹理，接头者过程办理该标题，突破了立体气派转移的一大瓶颈。

　　立体 3D 正在成为一种民众耗费媒体，比方 3D 影戏、电视以及游戏。今朝，随着头戴式 3D 显示器（比如 AR/VR 眼镜）和双镜头智高手机的孕育，立体 3D 越来越受爱护，并勉励了许多趣味的磋商劳动，譬喻立体修理 [36,27]、视频宁静 [15]，以及全景 [39]。在这些磋议中，创建筑体 3D 内容总是令人感幽默的。

　　近年来，在自然图像上浮现名画气魄的气概改换本事成为内容创办的一个热门话题。例如，近来的片子「至爱梵高」是第一部总共由陶冶有素的艺术家创造的动画片子。受卷积神经汇聚 ( CNN ) 妙技的开拓，Gatys 等人的始创性管事 [ 13 ] 提出了一种将指定文章的风格自动改变为任何图像的通用解决设计。[ 21，19，34，12，11 ] 提出了很多后续办事，以革新或扩张该项目。这些工夫还被独霸于很多凯旅的物业操纵 (比如，Prisma [ 1],Ostagram [2] 和 Microsoft Pix [3])。

　　然则，据作者介绍，暂时还没有将气魄改换操纵于立体图像或视频的才力。在这篇论文中，作者进程初度提出立体神经气概交换算法来应对这种新兴 3D 内容的需要。大家出手独顷刻专一考验了现有的气概调动措施在左视图和右视图上的大概独揽。

　　所有人闪现一再这些步伐很难在两个视图上产生几何肖似的气派化纹理。下场便是，它会引起有问题的深度感知，而且变成侦察者的 3D 疲乏（如图 1 所示）。于是全班人须要天资和和两个视图相同的气派化纹理。别的，还须要一个疾速的措置宗旨，卓殊是在实践的实时 3D 揭示中（例如 AR/VR 眼镜）。最后但不是最不吃紧的一点，作为进一步增添的立体视频中的气派更改应当同时顺心年光的连贯性。

　　本文提出了第一个用于快速立体气度变换的前馈网络。除了盛大操作的派头浪费函数 [13,19] 以外，作者还引入了一个附加的视差似乎性亏损，用它来处罚派头化了局在非掩护地域的不对。具体而言，在给定双向视差和掩盖掩膜的境况下，可能建造左视图和右视图之间的对应相合，而且责罚了两个视图中都可见的重叠区域的气度不肖似。

　　作者起头在基于优化的处分方案 [13] 中验证了这个新的花消项。如图 1 所示，过程在优化经过中结纳惦记派头化和视差相通性，该举措可以为两个视图天分稀奇犹如的气派化结局。然后作者进一步将这种新的视差销耗结合在了为立体气概化所设计的前馈深度辘集中。

　　图 1. 图（a）给出立体图像对和一副派头图像，立体图像的旁边视图都被举行了气派化（第一行），左视图的气魄化结果（b）和右视图的风格化收场（c）会在空间对应地域（d）不一致。这会导致不盼愿的垂直差别和不精准的程度区别，进而在立体图像（e）中变成 3D 疲倦。相对而言，始末引入新的视差相像性束缚，本文的步伐（第二行）可觉得两个视图天才肖似的气度化结果。

　　本文提出的辘集由两个子聚集组成。一个是风格化子搜集 StyleNet，它操纵了和 [19] 中一样的架构。另一个是视差子汇聚 DispOccNet，它没关系揣测出输入立体图像对的双向视差图和隐瞒掩膜。这两个子密集被集成在特点级其它中心域中。它们起源分袂职掌各自责任的孤傲锤炼，而后当作一个整体承当拉拢磨练。

　　1 ) 与把握慢慢全部优化本事的少少早先进的立体立室算法 [ 33，22 ] 比拟，它可以实实际时办理；

　　2 ) 它是第一个同时估量双向视差和遮掩掩模的端到端网络，而另外次序 [ 26，38 ] 在每个前向流程中仅揣度单个双向视差图，况且需要后处置步伐来获得遮挡掩模。著作的 5.2 部分展示了这种双向安排优于单向策画的意义。

　　该密集还能够很随意地原委集成 [10] 中的子聚集实行到立体 3D 视频中。这样，终末的风格化结局不但可能连续每个时刻步的水准空间宛如性，况且无妨纠合相邻时期步之间的岁月连贯性。这项做事无妨会诱导电影创办者忖量自动地将 3D 影戏或电视改变为名画气魄。

　　推行终局注明，该举措不管在数量上仿照在质地上都优于这个领域中的基准结果。星欧地址总体而言，本文厉重劳绩由以下四限度组成：

　　通过将新的视差似乎约束连接到原始的风格花费函数中，本文提出了第一个立体气派变更算法。

　　本文提出了第一个用于速快立体气度调度的前馈蚁集，它把风格化、双向视差和掩饰掩码联贯成了一个端到端编制。

　　本文提出的视差子聚集是第一个可能同时计算双向视差图和装饰掩码的端到端收集。

　　思虑到视差近似性和工夫连贯性，本文原委集成一个附加的子麇集把该环节扩张到了立体视频的气魄交换上。

　　本文的糟粕限制将初步详细少许相闭的管事。在该程序中，咨询者驾驭了基于基线优化的步骤验证了新提出的视差管束，然后介绍了快速立体气度改换的前馈聚集，并将其施行到立体视频。实施究竟表明了该次序的有效性，还表示了对该环节的少许强迫变量申明。在本文末端作者作了进一步评论。

　　本文提出了一个快快立体风格转换的前馈辘集。全数收集由两个子聚集组成:一个是与现有的气势化聚集 [ 10,11,12,16 ] 彷佛的气魄化辘集 StyleNet，另一个是同时揣测双向视差图和掩饰掩码的 DispOccNet。这两个子汇聚被集成在一个特性级核心域中，使左视图和右视图整个对称。

　　StyleNet：作者掌握了 [19] 最早提出的，并在其我们办事中 [10, 11, 12, 16] 得到无边摆布的默认气派收集布局。该架构根基上雷同图像主动编码器，它由若干个指定步幅的卷积层 (将图像编码到特质空间中)、五个残差模块和少数指定步幅的卷积层 (将特征解码为图像) 组成。在该杀青中，遵命了与 [ 10 ] 近似的创修，个中第三个残差块 (席卷第三个残差块) 之前的层被视为编码器，而盈余层被视为解码器。

　　DispOccNet：近来，Mayer 等人引入了称为 DispNet 的端到端卷积汇聚，它被用于视差揣度 [26]。不过，它只能预计每个前向的单向视差图 DI ( l→r )。在本文中，作者把握一样的汇聚结构，但在扩充局部中为每个识别率 ( 1 / 64，...1 / 2 ) 扩张了三个分支。这三个分支用于回归视差 Dr 和双向掩护掩码 Ml 和 Mr。

　　图 3. 速速立体派头迁徙的总体麇集构造。它包括两个子汇聚：StyleNet 和 DispOccNet，它们被集成在特质级别重心域 H 中。

　　图 4. 立体视频风格迁移的总体结构。左边是韶光汇集的简化管事流。右边是用于结合上述立体搜集和左边附加的光阴密集的递归公式。

　　图 6. 与操纵 [10] 中所用步伐（第一行）的一个好像变体的到底比拟，该变体程序生计重影轻风格化不宛如的标题。重心行是应用了本文的措施构成掩码更换的结局，重影消失了，但是不一致性照样生计。比拟之下，本文的结果（最底行）没有上述问题。

　　图 7. 与真实街说视图立体图像对的基准举办斗劲。第一行中带有红色标记框是基准到底，底行含有对应的绿色框的是本文的结束。清爽，本文的下场具有更好的视差宛如性。

　　提纲：本文初次实践达成立体神经派头更调，以应对 3D 电影或 AR/VR 的新需求。全部人们初阶细致磨练了将现有的分离摆布于立体图像的左视图和右视图的单目风格更动设施，讲明在终末的气势化结果中不能很好地连结原始的视差一致性，这给观望者造成了 3D 委顿。为拜候决这个问题，大家经过在非粉饰区域中巩固双向视差拘束，向汜博选用的气魄消耗函数中参预了一个新的视差失掉。为非常到关用的实时性处置策动，他提出了第一个前馈搜集：它收买磨炼一个气魄化子麇集和一个视差子密集，并将它们集成在一个特色级的中央域中。全班人的视差子聚集也是用于同时计算双向视差和掩盖掩码的首个端到端汇聚。末尾，综关思考时候连贯性和视差一样性，大家将该搜集有效地扩展到立体视频上。践诺到底阐述，该措施不论在数量上依然质量上都显露优于基准算法。新航平台，新航登录