‌·

AI赋能数字人,在视频内容生产领域秀身手

代替真人随时出镜 甄别评论实时互动

来源:南方都市报     2024年04月10日        版次:GA06    作者:谢小清

  AI“复活”逝者、数字人播报新闻、代替真人24小时直播……AI应用之年,市场正在以各种方式探索数字人赋能产业的途径,引起社会高度关注。与“数字生命”相遇是一种什么样的体验?

  深圳一家公司从三年前起就专注于AI算法和数字人业务开发,至今不仅能够提供超百款公用数字人模特,还支持用户通过上传一段音视频来定制自己的数字人分身。高度模仿真人肢体和面部动作的同时,也能进行直播实时互动,开启视频内容生产创作新范式。

  南都记者走进深圳市闪剪智能科技有限公司,看AI如何赋能数字人在视频内容生产领域大展身手。

  人脸数字化技术突破 实现逼真互动效果  

  在闪剪智能基于AI数字人技术的短视频和直播创作平台上,如果想让照片中的人物开口说话,用户只需上传一张人物照片,即可一键实现;如果想做出数字人口播视频,可以选择“智能成片”功能,简单设置关键词,选择数字人智能匹配转场素材,一键批量成片。当用户想将数字人搬到直播平台上,上传一段音频,即可驱动数字人实时直播。平台也支持用户定制自己的数字人形象,录制一段30秒-2分钟左右真人视频或20-100句语料声音,通过AI训练,还原真人形象及声音。

  这样做出来的数字人效果如何呢?在清晰度层面,通过人工智能技术,可以对数字人画面进行实时监测,实现和真人拍摄接近的效果;在真实度层面,数字人可以在表达中结合丰富的肢体动作和语言表达,如挥手、摊手、点头、皱眉、停顿等,并通过毫秒级别的时间戳,结合多模态模型等技术,实现音画同步,让用户感受到更加真实的直播体验;在互动层面,数字人可以在直播场景中进行简单的交流互动。据闪剪智能创始人、CEO严华培介绍,通过AI生成数字人带货话术,数字人可以甄别直播间用户发送的信息,响应提问,提供基础的实时互动服务,“我们未来会为数字人接入更高级的技术,回答范围将更加广泛,让数字人与用户的互动更加自然流畅。”

  如此效果的背后,创新技术支撑必不可少。在数字人领域,核心技术是音唇同步,即将语音中隐含的丰富语调、情感和不同的语言特征通过多模态人工智能模型转化成相应的口型,并驱动相应的表情相配合,实现更真实的数字人表达。数字人效果好与否,也主要归结于真人拍摄的素材。严华培表示,他们找到了技术突破点,“我们提升了AI面部模型算法,能做到数字人的神情动作和人物拍摄时一致,同时也在不断提高算法的效率,降低公众使用成本。”从2021年初开始研发、2022年7月上线至今,闪剪智能已更新数十个版本,几乎每两周或每月更新一次。据严华培介绍,3月底上线了新算法,会为用户带来更好的创作体验。为研发最新的AI技术,他们还建立了梵高AI实验室;超200人团队中,一半左右的人员专注于数字人业务。  

  两年内数字人技术有望大众  

  从市场反响来看,虚拟数字人“现身”各行各业,正在释放可观的商业价值。严华培表示,闪剪智能的数字人应用主要集中在四大场景,广告素材投放测试、形成短视频矩阵、视频切片助力带货、智能直播提升效率。闪剪智能数据资料显示,无论在短视频还是直播领域,不同行业的企业用户使用数字人后,视频流量、产品变现能力、直播GMV等均有提升。但在严华培看来,数字人更多是解决传播工具的问题,商家销售出圈还需要依靠货品质量、产品吸引力、销售场景、客流人数等因素。

  观察数字人行业,目前主要面向的客户群体为中小企业、自媒体创作者、个人创业者等。严华培向南都记者介绍,一方面,尽管数字人的制作成本已从之前的几十万元、万元降低到了千元级别,但对C端用户而言仍是较高;另一方面,对比C端用户现状及需求,国内中小企业的需求潜力更大,黏性更高。

  数字人内容创作何时才能从企业走向公众,推进实现大众化、智能化及规模化应用?严华培认为,首要条件是AI技术开发成本持续降低,其次用户接受度提升方面要取得更多突破;重要的是服务商技术更完善,市面上陆续出现头部数字人平台,让人人都能实现数字人自由。严华培给出自己的预判:“现在数字人技术迭代很快,相信今年底或明年可能会普及到更多的普通用户。”

  据介绍,截至目前,闪剪智能已创造了超过百位公共数字人模特,旗下数字人数量排国内行业前列。再过不久,闪剪智能将发布新版本,用户均可免费体验定制数字人。  

  未来将赋能视频创作全链路  

  如果说2023年以前,用户关心数字人更多是出于好奇心和新鲜感;到2024年,当用户对于数字人的新鲜感逐渐消退时,市场就更加注重其能否解决场景应用限制和提升用户使用率,对产品的商业价值提出了更高要求。

  严华培观察发现,苦于业务认知和场景落地,数字人企业定制化的应用产品难以进行简单的复制给下一个客户使用,投入与产出可能不成正比。虽然供应端动作频频,但需求方的态度和动作也在显著变化。他发现用户尚未更好地发挥数字人的价值,使用频次偏低、应用场景有限、用户黏性不足,难以形成规模化。

  除了技术上的积累,严华培清楚地认识到场景应用开发的重要性:“技术是必备能力,但场景也不可或缺。”他分析称,用户存在着多元化需求,内容生产上,具体表现为脚本撰写、形象出镜、语言翻译、视频剪辑等;用户运营上,则希望解决策划定位、客服服务、智能助播、平台摸清等。

  “数字人只是AI创作中的一环,我们还有搭建、推流、装扮、训练营等环节,”最近他们还推出了AI写直播脚本的功能,输入商品折扣、优惠措施等信息,系统自动完成脚本策划。在他的规划中,闪剪智能App的定位并非数字人直播软件,而是一个完整的智能播控系统,实现从内容生产到用户运营等全链条AI数字化,“帮一个不会做短视频、直播创作的用户完成全部流程,真正帮用户把账号做起来。”  

  伦理风险受关注 须建预警防范机制  

  数字生命热潮之下,当生与死、虚拟与现实之间的边界逐渐变得模糊,分歧与争议也随之而来。

  支持者认为,利用AI技术“复活”逝去的故人在一定程度上能缓解生者对逝者的思念之情。然而,也有反对者指出,尽管AI技术能够模拟逝者的外貌和声音,但它无法复制逝者的思想、情感和个性。这种技术如被滥用,甚至还有虚假宣传、网络诈骗、误导公众的风险。

  对于这样的争议,严华培也表达了自己的看法。一方面,数字人技术的应用,更多是为人们提供情绪价值,包括纪念意义、情感陪伴等精神需求;另一方面,以目前的技术而言,“AI复活”的成品,更多是表现为产品的数字化,远远达不到人们对数字生命的终极想象。

  严华培也认为数字人存在一定的安全风险,也制定了相应的规则体系。据介绍,使用闪剪智能旗下的数字人创作平台,会要求用户使用实名制号码注册;用户上传视频素材定制自己的数字人时,还需要通过App拍摄一段本人授权视频,若想要使用非本人形象来定制数字人,将无法通过系统审核,无法定制。此外,他们还会通过安全协议、使用准则、信息审核等书面形式和人工手段进行风险管控。他也认为,一个新技术的诞生必定伴随着各种各样的风险,这需要技术、平台、监管等多方共同去做好相应的防范管理、责任归属和制度规范。  

  链接

  有AI产品:数字人  

  产品特性:在清晰度层面,实现和真人拍摄接近的效果;在真实度层面,数字人可以在表达中结合丰富的肢体动作和语言表达,如挥手、摊手、点头、皱眉、停顿等,并通过毫秒级别的时间戳,结合多模态模型等技术,实现音画同步。在互动层面,数字人可以在直播场景中甄别消费者发送的评论信息,进行简单的交流互动。

  应用场景:各类口播型短视频制作、广告素材投放测试、短视频矩阵内容生产、视频切片助力带货、智能直播提升效率……

  使用效果:降低原来需要真人出镜的短视频和直播的投入成本及门槛,高效生产内容,帮助个人或商家提升在公域的曝光率……

  南都调研

  总第241期

  统筹:张纯

  采写:谢小清 实习生 李浏欣

手机看报
分享到:
返回奥一网 意见反馈