故事
背景
去年6月份的时候，参加了微信小程序官方举办的《高校微信小程序开发大赛》，做出了《活力健身房》这个小程序。按照初版设计，除了可以检测用户的跑步数据外，还可以测量用户的静止心率。但由于个人除了要准备比赛，还要准备痛苦的概率论补考，所以导致日程太过于紧凑，因此在该情况下，我就只完成了第一个目标而忽略了第二个心率测量的目标没有实现。
改进
在暑假期间，处于追求完美的想法，我花了一部分的时间继续学习并完成了心率检测算法的V1.0版本。而后再在这周，时隔一年的时间，重写了检测算法，推出了V1.1的版本。(至于为什么算是1.1版，在文中会说明的😂)。
技术分享
今天我写这篇文章的主要目的是跟大家分享以下的三点内容：
- PPG式心率测量的原理
- PPG式心率测量的实现
- 应用到小程序端的难点
1.技术原理
光体积变化描记图法 (Photoplethysmography，简称PPG) 是借光电手段在活体组织中检测血液容积变化的一种无创检测方法。当一定波长的光束照射到指端皮肤表面，每次心跳时，血管的收缩和扩张都会影响光的透射 (例如在透射PPG中，通过指尖的光线) 或是光的反射 (例如在反射PPG中，来自手腕表面附近的光线)。当光线透过皮肤组织然后再反射到光敏传感器时，光照会有一定的衰减。像肌肉、骨骼、静脉和其他连接组织对光的吸收是基本不变的 (前提是测量部位没有大幅度的运动)，但是动脉会不同，由于动脉里有血液的脉动，那么对光的吸收自然也会有所变化。[1]
PPG检测的核心是通过心脏跳动影响血管中血液光线的吸收率变化，进而影响血液对光的反射率，估算受测者的心率数据。用人话说，心脏的跳动，会影响血液反射光的强度。反映到图表上，就如下图所示，心脏的舒张和收缩，会影响光强变化，形成下图的波动曲线。而心率的估算，则是通过计算60s内，有多少个波峰或者波谷。比如60s内，图表上产生了60个个波峰，则意味着1s中，心脏收缩和扩张了一次，即跳动了一次，进而可以得出60BPM的心率数据。
2.技术实现
根据技术原理可以知道，PPG检测中我们需要做的事情是，计算一段时间内出现了多少个波峰，即可估算出受测者的心率。由此我们需要考虑实现以下的几个功能：
- 获取视频流中的某一帧
- 检测传感器是否被覆盖
- 获取当前帧的光强数据
- 计算波峰个数
- 计算BPM
1.获取视频中的某一帧
在当今社会中，人人都会有一台的智能手机。而手机上最好的颜色传感器就是摄像头了，因此在小程序端的实现中，对于数据的来源主要是摄像头。
为了实现方便，这次我依旧是使用小程序作为我的开发平台。之所以使用小程序的核心原因是官方提供了摄像头的API，使得我可以通过简单的$API$就可以获取到来自用户摄像头的视频流数据，并且不用考虑兼容性的问题。
在小程序中，我是用的是wx.createCameraContext()API来获取到视频流，同时借助onCameraFrame()来直接获取到每一帧的视频信息，极大的降低了开发的难度。通过前述的API，我们可以直接获取到当前帧Uint8数组，也就是每个像素的RGBA值。
2.检测传感器是否被覆盖
为了避免外部光照影响血管对光线的反射，因此需要受测者的手指完全覆盖摄像头。为了检测摄像头是否覆盖，我们可以通过经验主义设定一个阈值，当每个像素的实际光强小于阈值，则代表传感器完全被覆盖，此时就可以开始测试。
3.获取当前帧的光强数据
通过API，我们可以获得视频流中特定的一帧的Uint8数据。之所以使用Uint8是因为在该RGBA中，每一个通道的颜色只有256种，而我们仅仅是需要获取该帧中的光强。因此选用Uint8可以大幅度减少运算量，提高运行效率。
通过经验主义的测量以及结合论文[2] [3]的理论支持，我们可知血液在红光和绿光的照射下的吸收率是最大的，也就意味着强度值是最大的。因此可以更好的检测到强度变化，所以在后续的开发当中，我们都将使用单个像素中的红绿通道的强度值，来作为数据的来源。由于只使用了其中两个通道的强度值，我们的运算量就可以几何级数减少。
从原来的 2^{32} 个数据转变为了 2^{16} 个数据获取光强的方法是：
该帧的光强值 = \frac{单个通道的强度值}{像素的个数}4.计算波峰个数
在1.0版本中我的实现方法是通过经验值测算出一条固定的基线，来判断历史采集的光强值，有多少个跃出基线的数据，就计作多少个波峰。
但这种设计是有问题的，比如最右侧的波峰，因为各种外部原因强度没有达到基线，导致丢失。当通过人眼的辨识，这个波峰不属于噪声，应该是要被记录的。
另外通过测试我们可以很容易的发现下图的假波峰和假波谷的噪声信号，这种变化幅度过大的数据也应该是被丢弃的。
因此在1.1版本中，基线的计算方法做了改进。通过动态基线可以适应复杂环境光线的变化，提高测量的效率和准确性。
通过动态基线，判断有多少多少次实际的跃出，进而换算出有多少个波峰。
5.计算BPM
仅仅记录波峰个数是远远不够的，我们还要计算一次跃出所消耗的时间(从波谷到跃出基线到波峰所消耗的时间)。因为受测者的光线环境如果不稳定，含有频繁的光线变化，则可能导致光强变化幅度过大，造成数据的计算误差。因此我们还需要将跃出时间作为计算的一个因素，计算平均的跃出时间。最后计算出每分钟的心率次数：
BPM = \frac{测量最大时间}{平均跃出时间}小程序端的技术难点
到目前为止，小程序端最大的难点不在于测量算法的开发上。反而是在优雅的展示上画了大量的时间。
- FrameData大小
- Canvas绘图效率低
1.FrameData大小。通过Camera组件，我们可以直接获取到手机的视频流。由于我们这个算法中仅仅需要计算帧的光强，所以仅仅需要最低质量的FrameData即可。即降低了资源的消耗也提升了算法运行的效率。通过frame-data属性，修改为small即可启用最低质量的FrameData。
2.Canvas绘图效率低。在去年小程序退出了Canvas 2D的绘图API，可以实现同层渲染。为了更高的渲染效率，我自然就是选择并使用了最新的API进行曲线的绘制。在电脑模拟器上的表现确实印证了效率更好的这一说法。但诡异的是在Android端上，Canvas2D的运行效率非常低，导致经常性假死，不知道怎么修复。因此只能暂时被搁置，待到日后有能力后再做修复。
收获
这次的开发通过学习更多前人的研究结论来帮助我将算法优化出来，收获满满。感觉到非常的振奋人心。期待后面能继续搞点好玩的DEMO。
未来的方向
最近看到Tensorflow的BlazeFace。可以用很小的体积的模型来识别人脸，感觉可以借此，结合PPG算法，实现rPPG式的检测算法，日后有时间可以继续搞一下，感觉会非常的好玩。同时Canvas的问题也需要被修复，或许能够通过WebGL来修复?但是我还不肯定，需要后续的实验才能证明，待到后面再修吧。
结尾
由于本人不是电子工程专业，所以上文中可能会涉及到部分不规范的说明和解释。如果您能够在评论中帮助我指出来并帮助我改正，我将十分感激您，谢谢。
参考
[1] ECG/PPG量测解决方案
[3] 血液成分对光吸收规律的实验研究
