编者按

“FacePhys”——一个基于视频的非接触式健康监测项目是计算机系博士生唐健凯同学（本科毕业于新雅书院智能工程与创意设计专业）在导师计算机系史元春教授和王运涛副研究员的指导下通过手机自拍视频就实现医疗级心率检测的技术！该项目研究成果先后获得全国大学生生物医学工程创新设计竞赛一等奖、泛在智能感知技术创新应用大赛一等奖等荣誉。

新雅书院本科生纪佳彤、赵光烨、范宇轩、成松秦、李昊轩作为团队骨干参与了该项目。新雅书院“一事计划”参与了对该项目的资助。

本篇推送转自“清华大学”微信公众号。

举起手机自拍

你的实时心率

便在屏幕上跃然而出

无需额外设备

无需接触皮肤

通过常见电子产品的摄像头

就能“看”出心率

这一曾被许多人认为不易实现的畅想

正在一群清华学生手中

变为触手可及的现实

他们的探索

开始于一次好奇的奔赴

生长于无数个攻坚的日夜

如今，“FacePhys”——

一个基于视频的非接触式健康监测项目

已从实验室里走入上万用户手中

让我们跟随

“我在清华做科研”系列报道

近距离感受清华师生

大胆求索、潜心钻研的创新历程

那个夏天

科研火种就此点燃

2019年秋

唐健凯考入清华大学

成为新雅书院的一名本科生

那时的他虽有心开展学术探索

却还未描摹出“科研”的具体模样

转折发生在三年后的夏天

清华大学与华盛顿大学的老师

联合发起一项

聚焦普惠智能的暑期研究项目

“普适计算+健康”的主题

令唐健凯心生好奇

他立刻报名参与

想为自己打开新的视野

暑研期间

担任项目导师的

清华大学计算机系副研究员王运涛

与华盛顿大学的研究者

丹尼尔·麦克达夫（Daniel McDuff）、刘鑫

向同学们抛出一个令人兴奋的想法

能否仅用手机的前置摄像头

实现不亚于医疗设备的精准心率监测？

打开手机，对准面部，心率实时呈现

这一想法并非天马行空

但其背后却存在着技术瓶颈

当时

心率等生理指征的检测

主要依赖于接触皮肤的专用设备

手机摄像头面临的光线变化

手机抖动与环境噪声

让手机自拍在一定程度上

与健康监测“绝缘”

手机自拍测心率？有趣！

唐健凯一下就被这个灵感“击中”了

自此

这一课题不仅成为唐健凯持续钻研的方向

也逐渐成为他

愿为之投入长期努力的事业

唐健凯在实验室开展研究

落地不易

但他们不愿放弃

“心脏跳动带动血液流转

面部皮肤最薄，会有微小的光线变化

这变化人眼看不见，但摄像头可以捕捉”

原理说来容易

落地却阻碍重重

最初

唐健凯和暑研项目同组成员

仿佛陷入泥沼

心率信号微若游丝

干扰信息纷乱繁多

他们设计的算法不是无法收敛

就是输出一堆无意义的乱码

那段时间

唐健凯确实想过放弃

但在导师们的鼓励下

他再度沉下心来

重新扎进文献

将传统的信号处理方法

与前沿的深度学习模型融合

尝试捕捉那微不可察的规律

终于，在暑期快要结束之时

屏幕上跃动起稳定、有节律的波形

唐健凯和同组成员

让摄像头真切地捕捉到了心跳

摄像头捕捉到的心跳信号波形

更大的挑战接踵而至

模型需要验证可行性

他们必须将手机视频

与医疗级设备的数据精确同步

面对封闭的医疗设备接口

团队尝试了各种通信方案

仅是同步验证

就花了整整两个月

最终

他们巧妙利用声学脉冲信号

同时触发手机摄像头和医疗设备开始记录

完成了时间对齐

团队开展多场景数据采集实验

接踵而来的

是枯燥却至关重要的数据采集过程

唐健凯设计了严谨的实验流程

在不同运动状态和光照条件下开展实验

并招募国际学生志愿者

以丰富样本的多样性

数月耕耘，终得成果

项目建成了跨场景移动生理视频数据集

（Multi-Domain Mobile Video Physiology Dataset ，以下简称：MMPD）

这是全球首个基于手持手机采集的

多模态生理数据库

在此基础上

唐健凯作为主要贡献者

将整套处理流程标准化

开源为rPPG-Toolbox

供全球研究者使用

他认为

“好的技术应该分享给更多人”

这件事很酷

我想一起做！

唐健凯的项目

很快在清华园里

吸引了志同道合的伙伴

他本科期间就读的新雅书院

设有“一事”计划训练营

鼓励学生根据自身志趣开展有益于社会的活动

他在这一平台上

组建起最初的小组

唐健凯在新雅书院‘一事’计划训练营中进行项目汇报

计算机系、软件学院、医学院

等多个院系的本科生陆续加入进来

在每两周一次的例会上

同学们讨论热烈

优化算法、处理数据、打磨原型……

交叉碰撞中

产品也逐渐丰满

2024年，“FacePhys”团队

入选学校颠覆性创新人才培养项目

该项目旨在挖掘“不一样的好学生”

鼓励兴趣驱动下的自主探索学习

支持收获“有价值的失败”

提供个性化培养方案支持

资助颠覆性创新想法和实践

在系统性的支持之下

团队的运作逐渐从“自发探索”

走向更加成熟的项目管理

同学们也开始

从科研项目的“参与者”

转变为“主导者”

团队逐渐吸引越来越多同学加入

汪克刚在华中师范大学读研时

被唐健凯所上传的MMPD吸引

由于研究方向高度契合

他主动与团队展开交流

作为技术工程师

在“FacePhys”的核心算法攻坚中

发挥了不可或缺的作用

汪克刚在测试FacePhys系统

信息艺术设计交叉学科项目硕士生张艺儒

在计算机系开设的一门选修课上

听到了唐健凯对“FacePhys”的介绍

“我查看了项目早期的网页原型

功能惊艳，体验完善”

于是她主动提出参与设计优化

从此，从UI界面到运营推广

从材料撰写到团队协调

她成为团队触达用户的关键纽带

张艺儒与团队成员讨论交互设计

软件学院本科生张铭宇

则通过同学推荐了解到项目

当时他已在实习中积累了移动开发经验

“这件事很酷，我想一起做”

张铭宇加入团队后

便开始参与编写数据采集软件

开发安卓本地应用

并构建起完整的网页端系统

逐渐成长为团队工程开发的核心成员

张铭宇在研究后端架构

让实验室构想走入现实

同学们真的做到了

当“FacePhys”团队汇聚成型

真正的技术攻坚才刚迈入深水区

横亘眼前的最大瓶颈

就是“效率”

传统视频心率算法

必须缓存并处理整段视频

计算负载沉重，延迟显著

无法在手机等轻量设备上

实现“实时”响应

同学们决定回归生理本质进行思考

心跳并非离散的孤立点

而是一个连续变化的动态过程

每一帧面部微妙的光学变化

都承载着上一帧心跳状态的“余韵”

基于这一洞察

团队构建了状态空间模型

让算法像人眼观察一样

仅基于当前帧与前一帧的“状态”

就能实现连续、滚动的实时推理

无需缓存冗长的视频流

大幅降低内存与算力消耗

这是技术从实验室

走向人们口袋中的手机的关键

短期自查、远程问诊、即时交互

面向这类

对便携性要求极高的应用场景

最轻量的FacePhys网页端率先上线

打开链接即可完成自测

如今用户数已达数万

目前

FacePhys仍对使用环境有一定要求

在实时监测场景中

需要浏览器支持较高帧率的视频采集

在网络高峰期或算力受限设备上

可能出现短暂加载等待

这也是该技术逐步实现

规模化应用的过程中

仍需持续优化的环节

FacePhys网页端照片

在网页端之外

团队还基于FacePhys的核心算法

开发了面向公众使用的移动端应用

喵心师傅APP

该应用通过手机前置摄像头

采集面部视频信号

结合人工智能算法

提取心率等生理指标

为用户提供便捷的日常健康监测

喵心师傅APP界面

团队还与青海大学合作

推出聚焦高原反应监测的

“高原智卫”小程序

高原地区人群可通过小程序

实时检测呼吸和心跳

高原智卫小程序界面

面向严肃医疗场景的“健康镜”

集成多项生理监测功能

已在北京安贞医院被应用于临床试点

集成心率监测功能的健康镜

上传数据会不会泄露用户的隐私？

团队对此早有周全考量

所有产品均采用本地推理

视频数据无需上传

计算完毕，即刻在本地销毁

即便断开网络，服务依然可用

走向未来

做真正对社会有益的研究

回首四年旅程

唐健凯将夏令营里

点燃的那簇“科研火苗”

淬炼成为坚定的学术志趣

目前

他师从清华大学计算机系史元春教授

聚焦人机交互与普适计算领域开展研究

汪克刚、张艺儒、张铭宇等团队成员

也在一次次携手攻坚的过程中

逐渐学会将抽象理论嵌入现实世界

在科研的理想与工程的现实间搭建桥梁

团队一起攻坚

“FacePhys”的技术探索也在继续向前

团队正在研发单摄像头模块

旨在为下一代具身智能机器人

赋予感知人类生理和情绪状态的能力

让人与技术的交互更有生命温度

团队自研摄像头

在所有可能的发展方向面前

他们不忘“技术向善”的初心

“我们希望提供普惠的服务

做真正对社会有益的研究

用科技改善更广大人群的生活”

更多“我在清华做科研”的故事

我们将继续为你讲述

我在清华做科研·感悟

唐健凯：一开始听到“自拍测心率”的题目，我心里也有点没底，直到深入地一点点把它做出来、测准确，才真正体会到科研的力量。

张艺儒：从用户实验到数据分析，从算法原理到界面呈现，每一次心跳、每一次呼吸背后，都藏着人体系统的奥秘。能参与到这样一次科研探索中，是很奇妙的体验。

张铭宇：把想法"做出来"，并让人们"用得上"，是我在清华开展创新探索的初心。FacePhys是我对这份初心的回答，它带给我一段难忘的成长旅程。

来源丨清华大学 微信公众号

编辑丨张光耀

审核丨张伟特