BYR Achieve · 镜像论坛

有了解AIGC文生图的同学，对ControlNet应该都不陌生，通过 ControlNet，允许添加额外条件来控制Stable Diffusion模型生成的图像。它的原理简单来说是给预训练模型增加一个额外的输入，以控制它生成的细节，这里额外的输入可以是人体姿势、草图、轮廓等，也就是可以通过给定的图片提取控制信息，以生成相对应的图片上个月开源社区Huggingface和Google cloud联名举办了jax sprint活动（https://mp.weixin.qq.com/s/o7PTTyTXsLjo8ayq93W55w），为参赛者提供一系列支持：包括免费的TPU v4-8使用权，谷歌和开源社区技术专家的讲座，开放讨论的线上平台和线下交流活动，帮助参赛者训练自己的AIGC/Stable diffusion/ControlNet模型。参赛者可以天马行空地构思创意、自行收集数据、训练模型，并制作Demo进行展示。楼主机缘巧合下得知了这个活动并报名了，本来还担心名额有限，没想到谷歌财大气粗，几乎是报名的队伍人人有份，每个队伍都获得了半个月的TPU v4-8的使用权和3TB存储，240核CPU的虚拟机，可以说是富的流油。接触过TPU的同学应该不多，大多数同学应该和楼主一样，只是知道它比GPU牛逼（1TPU ≈ 1.7A100），但是因为TPU只有谷歌有，接触使用的机会并不多。这次借着这个机会利用TPU训练了ControlNet才发现：1. TPU并不难获取，可以通过Google cloud platform申请虚拟机，只要有钱，可以包年；2. 虽然GPU的训练代码无法直接在TPU上使用，但是修改并不困难，JAX库是专门用于开发TPU模型训练代码的，API和使用方式与Numpy相差不多，入门门槛并不高；3. TPU模型训练的社区也有许多积累，你可以找到大部分知名模型的TPU训练代码，简单修改就能使用。比赛过程中，所有参赛者会在Discord上公开讨论和记录自己的idea、遇到的问题和项目进展。不得不说，Huggingface作为目前最活跃的AI开源社区，社区成员的专业性和活跃度都很不错，楼主自己体验下来，在线上发帖求助能很快得到专业建议。此外，社区还在谷歌北京办公室举办了线下交流会，到场的除了参赛者之外，还有大量的创业者、设计行业从业者，都是对图像AIGC有兴趣的开源工作者。比较出乎我意外的是当天参加分享的参赛成员，大多不是技术背景出身的，给我印象最深的也是两个设计行业背景的参赛队伍，他们的想法很有趣并且有很高的执行力，能感受到艺术和AI碰撞的火花。完整跟下整个活动让我感觉收获很大，能用最牛逼的硬件训练数百万的图像数据，并且没有功利性的目的，很放松地参与开源社区的活动，为开源社区贡献idea和代码。多说一句，Huggingface和google cloud好像经常会举办这类社区活动，大家有兴趣的话平时可以多关注huggingface的官方公众号和中文博客，除了有活动通知外，还会定期发布高质量的技术文章最后给自己的项目拉拉点赞，我前期做了一个以高度还原全球地标建筑的ControlNet，不过由于数据实在收集困难，辛苦收集清洗后剩下1万张数据，用了各种手段数据扩增后效果仍然不好，在线下交流会上看到其他小组用开源的大数据集轻松出效果，本着打不过就加入的原则，俺换方向了！（不是，是受到灵感启发），重新梳理了思路，做了一个能结合色彩构图和图像边缘特征的ControlNet，原理和实现并不复杂，就是把图片处理成大色块马赛克再和Canny边缘叠加作为控制图，训练出来效果看起来还行，能够实现控制图像的轮廓和色彩构成，和T2I Adapter的思路有点像，只不过用一个ControlNet实现了，在最初的设想里还有更深入的改变，比如把两个模态的控制图合并后，再做解耦控制等等。。这里放上链接(https://huggingface.co/spaces/ghoskno/ColorCanny-Controlnet)和效果图，欢迎有Huggingface账号的同学帮忙点个赞~

Huggingface社区冲刺活动经验帖-ControlNet Finetune