手把手教你用AI 制作治愈系钢琴演奏视频,运镜+人物弹奏特写
今日分享
前两天做了一个超写实的治愈系小提琴演奏的视频,但是图片生成工具(Midjourney)对于有的同学不是很友好,所以今天给大家分享一个即梦创作的超治愈系Q版卡通人物弹钢琴的教学
感兴趣的同学可以直接复刻,遇到任何问题都可以在评论区留言,我看到会帮你逐一解答
楼主从事AIGC行业,做教程纯纯为爱发电,注意本人不收费,不收徒,任何打着我的名义搞收费的都是骗子,注意甄别
点击这里查看本篇教程的制作效果《钢琴演奏》
接下来咱们开整!
这种弹钢琴的视频制作还是核心老三步
第一步:文生图
第二步:图生视频
第三步:配音剪辑
接下来咱们进行实操教学
图片生成
我们打开即梦,模型选择3.0,输入下边的提示词,修改背景描述部分,然后选择你需要的尺寸,最后点击生成图片
3D卡通风格。一位身着彩虹光泽礼服的女孩,透明发光的头发,坐在半透明且发光的平台上弹钢琴。身后是宇宙海洋,巨大明亮的星光弧如彩虹横跨地平线。天空暗,有微弱星云,水面映星光,营造超现实梦幻感。以侧面视角拍摄,女子位于画面左侧,突出演奏姿态,右侧展现广阔宇宙海洋
图片转视频
我们打开即梦,使用图生视频功能,模型选择3.0,输入下边的提示词,修改镜头后边的部分
镜头1:全景,侧面拍摄,镜头固定,波光粼粼的水面,女孩弹奏着钢琴,远景是闪烁着星光的宇宙
镜头2:中景,侧面拍摄,镜头固定,聚焦女孩弹钢琴的动作,琴键、手部动态清晰,背景是模糊的星光宇宙
镜头3:特写,俯视拍摄,镜头固定,特写女孩双手有节奏的按动琴键、细节呈现
女孩弹着钢琴,水面波纹自然,流畅的镜头衔接
我们继续使用即梦的首尾帧功能,上传我们上一张画面最后的特写镜头和下一个画面,输入下边的提示词,修改运镜部分
女孩弹奏着钢琴,镜头从左侧环绕女孩,然后快速后拉,展现女孩在云端弹奏钢琴的画面,微风吹动女孩的头发,自然的光影效果,流畅自然的运镜
剪辑成片
将我们第二步的视频导入到剪映,然后添加转场特效,最后导出
顺滑如丝 解密英伟达慢动作视频技术
英伟达曾经发布过一段视频,演示了通过人工智能如何将一段普通视频转化为平滑自然的慢动作视频,效果就像是电影上展示的慢动作特效,观众可以清楚看到一系列连续的慢动作。那么这个特效是怎样实现的呢?就让我们一探其背后的技术支撑。
慢动作,没你相像的那么简单
相信大家在各种影视作品中都看到过慢动作特效,比如在刚刚结束的世界杯就有许多球员进球,射门,身体接触的慢动作回放,通过VAR逐帧回看,这些慢动作可以清晰看到一瞬间发生的事情(图1)。
图1 世界杯上的VAR逐帧回看
对于电影里的慢动作特效,实际上是借助设备进行高速摄影,比如拍摄速度达到50帧/秒、100帧/秒甚至更高,然后在回放时候仍然选择24帧/秒常规速度播放,这就相当于把实际1秒钟拍摄的图像用2秒多到4秒多时间回放,从而实现慢动作效果。
当然对于普通用户来说,我们没有高速摄影设备,那么怎么实现慢动作效果?英伟达近日推出基于cuDNN 加速的PyTorch 深度学习框架实现任意视频慢动作,通过这个这个人工智能框架,结合NVIDIA Tesla V100 GPU强大处理能力,它可以将任意一段视频拉长,从而实现类似电影特效里的慢动作(图2)。
图2 英伟达演示网球拍击打有颜色的墨水瞬间
视频拉长的背后——人工智能慢动作技术
通过上面介绍我们知道,常规的慢动作是将高速摄影的视频低速播放实现。那么对于普通的视频(已经是低速摄影成品了),英伟达又是怎样实现慢动作效果的呢?
慢动作的核心是将原来的视频拉长而实现慢速效果,但是如果将普通的视频直接使用低速效果播放,实际效果则会变为卡顿、帧与帧之间动作变得不连贯。因此将普通的视频拉长后还要实现平滑的慢动作效果,此时就需要对视频物体进行定位和补帧。
比如一段汽车漂移的视频,如果要实现漂移的慢动作演示,我们首先需要对视频中的汽车进行定位,只有对汽车进行准确定位后,比如精确定位汽车每一秒的漂移位置,这样才可以对汽车后续整个漂移动作进行全程的展示(图3)。
图3 漂移汽车
实现对展示物体的定位后,因为展示的是慢动作效果,我们还需要对视频进行补帧。因为原来视频本身就是低速摄影拍摄的,现在将视频拉长后,为了让拉长的视频不出现卡顿(掉帧),此时就需要进行精确的补帧,使得视频拉长后播放仍然非常顺滑(图4)。
图4 英伟达展示舞蹈演员跳舞的慢动作视频
这样通过视频定位和补帧,英伟达的人工智能框架技术就实现将任意视频慢动作化。那么这样的效果是怎样实现?
英伟达的这项技术是借助NVIDIA Tesla V100 GPU强大视频处理能力+人工智能学习框架实现的。英伟达搭建好人工智能学习框架后,通过预先准备的约1.1万段的视频素材作为数据源给人工智能进行学习,让它从这些视频素材中学习定位和补帧。比如上述跳舞视频,人工智能技术可以对视频中的舞者进行定位,并且可以对舞者每一帧动作进行学习,知道下一帧的人物是怎样的状态显示。这样通过一定的算法和学习模型,并且通过人工智能的深度学习和自我学习,这个人工智能框架就可以对其他视频进行同样的定位和分解,从而通过完美的定位和补帧技术,实现将普通视频慢动作化(图5)。
图5 英伟达展示人从高空跳下压破气球瞬间慢动作
当然不仅仅是视频慢动作,借助新的训练方式,让人工智能可以从已有的图像中,生成新的图像,甚至可以利用不同的人像,生成新的肖像。比如类似影片中的换脸特效。英伟达的人工智能框架可以精准的实现人物从一个人脸无缝转换到另一个人脸的特效(图6)。
图6 英伟达展示变脸特效
慢动作,带给我们生活更多乐趣
通过上面的展示,我们见识到了英伟达人工智能框架在视频处理方面的强大功能。这个技术的出现可以给我们生活带来很多的乐趣。
随着手机的普及,我们使用手机来拍摄短视频,对于那些稍纵即逝的画面,我们总想看清楚整个过程。比如喜欢跳广场舞的老妈,对于队友,教练的快舞节奏总是看不清楚整个动作,现在只要使用手机拍摄,然后借助英伟达这个技术转化,舞者再快的动作都可以变慢,让老妈仔细看清楚每个舞蹈的动作。
比如英伟达的变脸技术则可以让我们再手机上制作出更多的搞笑视频,比如将舍友变成可爱的猫咪,然后通过微信、朋友圈和好友共享。当然这些技术也可以让我们视频处理变得更为简单,比如剪辑钢琴老师弹琴动作,方便我们学习指法,剪辑球员射门视频,让我们慢慢享受射门乐趣!
相关问答
单人制作3分钟动画的步骤详解-ZOL问答
一般来说,三分钟以上的完整动画作品,往往都是专业学生毕业设计的水平,如果直接让新手完成这样的任务,就好比让一个不会弹琴的人第二天就去考钢琴十级,的确不太现...
抖音肿么换推荐类型-ZOL问答
首先打开抖音短视频应用,在看视频时可以点击“评论”选项,并输入自己的评论内容,这样可以增加自己在该视频下的互动量。同时,在观看一些感兴趣的内容时,也可以...
在大学里要是没点才艺会被鄙视吗?大艺团是什么?申请方
不会遭到鄙视,但是能具有一些才能更好,我就特别羡慕那些在迎新晚会,毕业晚会上表演的不会遭到歧视哦,大学是一个小型社会,每个人都有自己的一技之长...
如何用手机制作音乐
[回答]关键是可以让你不断测试那种采样率的mp3是你的手机可以播放的。我用过6630,应该和6681一模一样,我不断的将剪辑好的片断保存成各种mp3格式,最后找到...
搜索《8090》(2010-01-18我可以爱你吗,老师)的用到的背景...
3、接着是老师的回忆,老师弹钢琴的时候哭了放五月天的《突然好想你》4、最后...如果真感兴趣的话,建议你把视频反复听几遍,也许能识别出旋律来想找这期节目的...
韩剧《都是美男啊》的全部歌曲-ZOL问答
以下是《是美男啊》OST未收录插曲剪辑歌曲目录:第1集中(1)美男唱的基督教圣歌...第15集中(11)美男唱的《如何是好》(12)幻想美男和Jeremy嬉戏弹钢琴唱的歌第16...
