京东开源实时流式视频编辑模型JoyAI-Video-Edit
8月5日消息，京东宣布开源自研的实时流式视频编辑模型JoyAI-Video-Edit，用户可以一边观看视频，一边修改人物与场景，让视频创作从“先有素材再修改”变为可实时互动编辑。
JoyAI-Video-Edit的实时流式编辑能力，可为零售营销、家装设计、影视制作等大量真实场景带来新的技术支持：服装与商品展示视频可以快速更换人物穿搭、商品和背景；家装视频可以实时切换家具与装修风格；影视创作者也可以更快尝试人物造型、场景和视觉效果，减少重复拍摄与整段返工。
图源：京东黑板报公众号
视频实时编辑首先要解决速度问题。JoyAI-Video-Edit基于全自研JoyAI-Video模型，在720P分辨率下实现每秒30帧的模型推理速度，可在保持较高画面清晰度的同时，跟上常见影视视频的播放节奏。
视频长度也是流式编辑的一道门槛。此前的流式编辑模型只能处理几秒或分钟级片段，而JoyAI-Video-Edit支持任意时长的稳定流式编辑，可以随着视频持续播放、持续处理。用户不必等待整段视频生成完成，就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格，实现“边观看边创作”。
不止视频创作，JoyAI-Video-Edit还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频，但真机数据采集成本较高，危险或少见场景也难以反复采集。依托对场景、物体与画面内容的可控编辑能力，JoyAI-Video-Edit可将人手操作视频转化为机械手或机械臂操作素材，并在保留物体位置、空间关系与动作轨迹的基础上，替换场景、物体与机器人形态，让一段视频扩展出更多训练样本。
当前，京东正在加速建设全球最大物理世界运营中心，并已经形成面向物理世界的JoyAI模型矩阵。
图源：京东黑板报公众号
2、电商号平台仅提供信息存储服务，如发现文章、图片等侵权行为，侵权责任由作者本人承担。
3、如对本稿件有异议或投诉，请联系：info@dsb.cn
