实时动画造梦者|DreamMaker
作为实时动画全流程的支撑平台,DreamMaker是由若干复杂的软件硬件组件构成,涵盖了动画制作的全流程,除了少量必要的第三方软件外,DreamMaker实现了动漫制作的ALL IN ONE。另外,DreamMaker的新流程采用了实时渲染引擎,让一切整合和效果所见即所得,并采用虚拟拍摄的类影视化方法,改变了传统动画僵化的创作流程,转向以镜头和拍摄为核心,为创作者,特别是为传统影视的创作者提供了进入动画行业的可能性,也为所有创作者提供了更大的自由度。
按照制作流程,主要软硬件组件如下:
3D模型
/ReFacing
/AutoRig
/ReBuliding
3D制景

/VWorld

 

/ShadowAction

特效和物理
/WaterX/ClothX
 
/HairX/FX
动作动画
/MoCap/FaceCap
/EyeCap/HandCap
/AnimationRobot
/MotionSynthesis
镜头拍摄
/VShooting
/VRocker
 
 
剪辑合成
/StoryFlow
 
 
 

卓别林|Chaplin

Chaplin系统的主要责任就是要解决DreamMaker平台面临的各种问题,例如,如何让动作捕捉获得动作直接使用而不必人工修正,如何让角色模型的绑定可以自动进行而不必手动处理,等等。目前Chaplin已经转向了采用了人工智能的深度学习,强化学习等办法,来解决传统算法无法实现的目标,例如单张照片的3D重建问题,3D场景的风格转移问题、材质贴图的超分辨率问题、从视频中提取动作的问题等。
具体来说,目前开始涉及的相关组件和算法如下:

3D模型
/ReSuper/XStyle/DeepTexture/Photo3D

动作动画
/MotionPump/ActionGeneration/MassAction

配音配乐
/VoicePump