BiTipText双手指尖盲打

陈伟浩

编者按：清华“挑战杯”科展诞生于1983年，每年举办一次，以集中展示学生课外科技创新成果。本届“挑战杯”科展作为清华109周年校庆活动的一部分，首次尝试在线上举办；新雅书院有三件作品入展，分别是陈伟浩同学的“BiTipText双手指尖盲打”，郑智、崔琢宜、张皓烨同学的“基于强化学习的裂脑机器人研究”，曾哲妮同学的“多情境下的交通视频多目标追踪系统”。

摘要

我们团队提出一种双手指尖盲打的概念模式，并基于此提出设计打字键盘的研究流程。在这种模式下，键盘隐形地分布在两只手的食指指肚上，用户依靠以往在QWERTY键盘上打字的肌肉记忆进行盲打。我们采用迭代式设计流程，探究了用户打字的惯用手，并在67,108,864个可能的键盘布局中选出1295个候选；基于此结果，我们考虑用户打字的速度指标和单词混淆度指标，筛选出优化后的键盘结果。在实验原型平台上，用户平均可以达到每分钟23.4个英文单词的输入速度。

我以第二作者的身份参与本项目，项目成果以论文形式收录于人机交互领域顶会ACM CHI 2020 (ACM Conference on Human Factors in Computing Systems)。

背景

指尖打字的概念和探究工作是在TipText（UIST '19 best paper）中首次完成的。指尖打字是指在用拇指点击食指的第一指节上的皮肤，让用户利用既有的打字肌肉记忆，在手指上盲打的文本输入方式。这种打字方式很直觉、不引入额外的输入设备（只使用触觉反馈）、适合公共场合使用、适合没有熟识输入的穿戴设备（如智能手表、AR/VR等），但输入面积小、存在“胖手指”问题。

相对于TipText单手指尖打字，双手版本BiTipText的优势在于双手的面积更大，可以不像TipText那样使用分组键盘，而是放置更多的按键；同时涉及双手的打字方式也让用户点击序列更不易相互混淆、更易解码出用户输入的单词，纠错算法的纠错能力更强。

目标与流程

我们的目标是设计一个双手指尖打字键盘：基于QWERTY键盘的相对布局，在两个手指上分配26个按键。这种设计需要综合考虑可用性（易学性）和输入效率，其中输入效率包括考虑手指移动速度和输入单词的混淆度。因此，我们主要解决一个优化问题：在67,108,864（2^26）种可能的键盘布局中找出最优的键盘。

我们先对所有的候选键盘进行满意度打分（Satisfaction Score），筛选出相对符合用户惯用手直觉的键盘；之后对每个键盘进行移动时间指标（Movement Time）和单词混淆度指标（Word Ambiguity）的打分。最后，综合考虑两指标分数，找到优化键盘布局，并对该布局进行实际输入效率的评估。

实验过程中三项指标均采用计算机模拟方式打分；同时需要开展两个用户实验，分别用于构建用户惯用手模型和打字速度模型。

图1 研究流程

实验平台

针对速度建模实验和评估实验，我们采用了不同的实验平台。在打字速度建模实验中，我们为被试者制作手指石膏模型并扫描3D手指模型，然后使用运动追踪系统和碰撞算法精确重构用户手指碰撞。

图2 速度建模用户实验系统

针对最终的评估实验，我们基于Arduino计算平台，使用电容柔性皮肤感知手指点击。

图3 评估实验原型系统