BYR Achieve · 镜像论坛

## 分享去背景软件Apollo 2.0，欢迎欢迎大家来玩~ 在Apollo 1.0 中我们想要将去除及更换背景功能集成到我们实验室项目中，于是我们开发了 apollo1.0来测试“去除及更换背景功能”的效果。在Apollo 2.0中我们将功能升级，添加了对bmv2和paddleseg的支持，新增了共享桌面窗口融合前景的功能，并且对页面进行了改进。如果大家想了解我们团队，欢迎登陆我们的主页了解详情: 主页链接：https://hi.seekloud.org:50443/#/README **算法简介** - 我们主要采用了四种深度学习模型，可以按照需求自主选用 - Espnet，采用segmentation和matting的思路，先分割得到人像的轮廓，然后再使用一个羽化网络精细化边缘。该模型速度快，稳定性好，适用于背景轻度复杂的场景，缺点是手部识别效果不佳，背景复杂时容易误分割。 - Modnet模型主要由语义分割模块，边缘优化模块和融合模块组成以及并且使用注意力机制，模型精度较高，能够适应背景比较复杂的场景，缺点是速度稍慢，手部识别效果不佳。 - BMv2模型，主要采用了先验背景信息辅助推理和基于patch的优化模块，在背景固定的场景中能够做到高精度实时人像分割，对手部识别效果也很好，缺点是背景必须固定，**使用前需要先拍一张无人像的纯背景图**。 - paddleseg开源模型，包含ShuffleNetv2，PPseg_lite，FCN_seg,Deeplabv3等常见语义分割模型，使用大规模人像数据集训练，除Deeplabv3外推理速度极快，适用于移动端和pc端(不需GPU)，精度高，目前正在使用光流估计进一步优化。 ### 参考链接 - Espnet： [https://arxiv.org/pdf/1803.06815.pdf，https://arxiv.org/pdf/1707.08289.pdf](https://arxiv.org/pdf/1803.06815.pdf%EF%BC%8Chttps://arxiv.org/pdf/1707.08289.pdf) - Modnet模型参考链接：[https://arxiv.org/pdf/2011.11961.pdf](https://arxiv.org/pdf/2011.11961.pdf) - BMv2: [https://arxiv.org/abs/2012.07810](https://arxiv.org/abs/2012.07810) - paddleseg开源模型: [https://github.com/PaddlePaddle/PaddleSeg](https://github.com/PaddlePaddle/PaddleSeg) ### 模型性能以下数据都是在cpu下得到 | 模型 | 分辨率 | FPS | | ------------------ | ------------- | ---------- | | ShuffleNetv2 | 1280x720 | 16～18 | | PPseg_lite | 1280x720 | 16～19 | | FCN seg | 1280x720 | 15～18 | | Deeplabv3 | 1280x720 | 0.5 | | Espnet | 1280x720 | 15~18 | | Modnet | 1280x720 | 6 | | BMv2 | 1280x720 | 3～4 | | BMv2 | 640x480 | 8～10 | ### 讨论与建议 - 关于如何改进算法使其适应更复杂背景、快速动作变化以及提升手部识别效果，大家如果有什么思路欢迎留言讨论。 ## **下载指南** 【链接：[https://pan.baidu.com/s/1-pnEDBVkknc4Gez9beWEzQ ](https://pan.baidu.com/s/1-pnEDBVkknc4Gez9beWEzQ) 提取码：btlb 】 windows的同学们下载压缩包到本地解压（暂不支持mac）,解压路径不能带中文，打开文件夹双击apollo.exe即可使用！ ## **Apollo使用指南：** **1. 点击 “选择背景” 按钮** - 窗口：可以选择电脑正在运行的程序页面作为背景； - 注：共享窗口不可以共享隐藏的窗口。e.g.当QQ挂靠在侧边时，不可以点击共享窗口为“[QQ.exe]QQ”； - 【共享窗口是要保证窗口不是隐藏状态】； - 文件(图片或视频)：可以打开本地的图片以及视频作为背景。 - 恢复默认背景，即可恢复空白默认背景。 **2. 点击”开始录制“按钮** - 即可以录制去除或者更改背景后的视频。 **3. 点击”设置“按钮** - 模型参数设置： - 选择输入模型（路径不能带中文）:选择想体验的模型，有四种模型可供选择。分别是 modnet，esp，bmv2,paddle_seg。 - 选择模型宽度&高度。 - 前景选择 - 摄像头； - 视频：可以选择本地视频。 - 镜像 - 翻转图像。 - 原始图像预览 - 会显示摄像头采集的原始图像，或者导入的原始视频。 **4. 查看已经去除或者更改背景后的视频** - 进入解压的文件夹，点击“record”子文件夹，查看原视频及处理过的视频； - 原始导入文件命名为“xxxxxxxxxxxxxo.mp4”, 处理过的视频命名为：“xxxxxxxxxxxxxp.mp4”。 ## **效果图与效果视频展示** ### **效果图片：** ### **效果视频链接：** [效果展示视频](https://www.bilibili.com/video/BV1Uy4y1j7gp/)

分享一个去背景软件apollo ，欢迎大家来玩