今年5月，机电与信息工程学院指导老师王·获得第十五届全国大学生软件创新大赛特等奖。团队以“你大脑皮层枕叶的电信号是我此生不变的信念”为口号，打造了一款新型的具有脑机接口的APP，提高了重度瘫痪患者的生活质量。这款APP可以通过脑机连接、健康检查、跟踪排障等方式，提高重度瘫痪患者的生活质量，助力医疗和失能护理的发展。让我们走进“大脑之声”项目组，听听他们讲述项目从构思到成型过程中发生的故事...
指导老师王:让“虚”变“实”
王说，起初，这个团队并不是为创新大赛而成立的，参加比赛并最终获胜似乎是“理所当然”的事情。“小时候看科幻色彩的动画片，那种虚拟现实的情节让我觉得很爽。没想到这项技术后来变成了现实，后来我更加关注虚拟现实技术。”这个队是在比赛前四个月成立的。当时王的想法是以脑机技术为起点，调查哪个领域最需要这项技术，然后做一个“把这项技术付诸实践”的项目。
用虚拟现实模拟病人漫游
看到“脑机+元宇宙”这样一个“高大上”的话题，很多人想象参与者应该都是从研究生开始的吧？但是王在我们学院选了四个本科生，给了他们很高的评价:耐心、毅力、决心，这是他最看重的品质。这四位成员中，王如数家珍，三位大三学生有着丰富的实战经验和相关比赛经验；大二学生虽然略显“稚嫩”，但潜力巨大...
我们能做这么难的项目吗？项目刚开始的时候，王经常听到学生的自我怀疑，但是随着项目一点一点向前推进，成果一点一点成型，大家越来越有动力。团结拼搏，这就是王的“大脑之声”项目组。“情绪分析”不够准确怎么办？查文献，做实验。一次做不到，就做两次。再不行，就要再“硬着头皮”了。遇到问题，大家会聚在一起讨论，分工明确，各司其职，从不推诿；在实验室里，总有一盏灯是为他们准备的。这不仅是“大脑之声”项目的“成长”，更是每个成员的自我超越。
最终用户虚拟场景模拟图
通过调研选题，克服困难，申请专利成功，获得创新大赛特等奖，似乎很突然，也很自然。在过程中，王经常和成员们讨论，不管比赛能不能拿个好名次，做出能真正应用的东西才是有意义的。在赢得比赛后，他说，这些只是“阶段性成果”，他们的目标是在虚拟现实技术的帮助下，让截瘫患者过上更好的生活。
李子璇:与此同时，我不了解高山，当我到达山顶时，我知道所有的山都很小。
李子璇从小就对编程开发感兴趣。上大学后，他不仅学习了相关课程，还在课后学习了相关知识。大一大二参加了很多相关的比赛，获得了荣誉。他和彭琪很早就进入了王教授的实验室。当他们得知老师有做这个项目的想法时，毫不犹豫地加入了。在李子璇的项目中，他主要负责虚拟世界的开发，如超宇宙中的图形渲染和视觉表现，为患者创造更真实的视觉体验。
虚拟现实开发界面
作为队长，李子璇擅长安排计划和调整节奏。整个工程从去年10月到今年5月。由于疫情防控，很多安排都改到了网上，实验一度无法顺利进行。但他总是有条不紊地执行日程，每周都组织线上会议，一起讨论进度和疑惑，确定下周的分工。由于项目涉及多学科融合，很多知识和资料需要团队成员及时学习，尤其是脑科学和病理学的知识。李子璇说，每个星期，每个人都要分工寻找和阅读相关文献，及时学习新知识。刚开始他们肯定觉得奇怪，难以理解，但是没有人气馁，所以经常早出晚归，废寝忘食。
虽然他的专业与此相关，但脑机接口领域由于其前沿性和复杂性，对于本科生来说难度很大。起初，李子璇对这个项目的接触就像面对一个不熟悉的专业一样完全盲目。但随着他们慢慢啃下一篇文献，一次次完成实验，不断试错，用耐心和毅力与时间搏斗，终于能够熟练地处理数据和实验数据，眼界也开阔了。他们这才意识到，前沿的科学研究并不是那么遥不可及，他们对相关知识也相当熟悉。
最终用户虚拟场景交互界面
李子璇说，他作为队长，也有责任帮助队员们缓解心理压力，但当被问及自己的压力时，他挠了挠头，回忆起每当自己因为没有头绪而感到沮丧时，他就会一个人去操场上散步，看看夜色空，想想自己以前遇到困难然后克服的经历，然后就释然了。他说，困难是人生的常态，没有什么是容易的，但如果没有王老师，这个项目不会进行得这么顺利。
疫情期间，实验室管理越来越严格。为了保证大家的实验时间，王老师支起了行军床，于是扎根实验室，每天陪着大家做实验，关注项目进展，关心学生状态。即使洗漱吃饭生活不方便，我也从不抱怨。而是耐心温和地鼓励大家。李子璇说，当她几次看到老师和女儿在家的视频时，她非常感动。她还能住宿舍，王小姐只能睡简易的行军床，但她比谁都乐观。他说老师是团队的粘合剂。没有老师们长期的深度参与和陪伴，大家很难有规律地推进计划，坚持到最后。
赵旭东:搭建理论与实践、软件与硬件之间的桥梁
作为最后一个加入团队的成员，赵旭东惊叹于这个项目的巨大和构思的独创性。“一开始，他不相信自己能完成”直到他能独立写开发文档，成为团队的中流砥柱。赵旭东说，“只重视项目开发，而忽视背后的文档基础，这是绝对不可能的。基础不牢，后续的每一步发展都会步履蹒跚。”因此，赵旭东将项目背景、定位、开发计划、需求等数据进行了概括性的编写，并根据现有技术进行了可行性分析，详细阐述了各个模块的功能。但他并不满足于最初的想法，即“文档辅助项目的开发，项目的开发进一步完善文档”。大胆的构思，细心的寻找，细心的打磨，无数次的修改，最终汇成300页的图文。他坚信评委和老师们会通过文件更多地了解“脑语心”这个项目。
患者主界面
此外，赵旭东还负责智能家居和大脑语音app的连接。他用Arduino平台编写程序，最终使软件控制硬件，数据在其中循环。在自学硬件知识的过程中，赵旭东创新性地想到了通过传感器实时监测环境温度和湿度，将数据传输给家庭成员，以便家庭成员及时控制家用电器，或者设置智能模式，比如温度过高时自动开启空。这个新想法与多设备集成的竞赛主题息息相关，但赵旭东严谨地说:“这并不意味着盲目地给项目增加设备，而是要发自内心地感受瘫痪患者的生活状态，寻找适合他们的创新变化。”
独立探索脑机接口的外语知识是枯燥而痛苦的，但以竞赛为契机，接触课堂上难以涉及的最新进展，却是无比新奇和快乐的。谈及未来，赵旭东认为，脑机接口是未来人机交互的发展趋势。“目前脑机接口的应用大多停留在游戏中，我们还没有充分发挥设备的优势。我希望我们能真正让它为瘫痪的病人服务。”
彭琦:软件开发的主力军
在团队中，彭琦是客户端、服务器、VR模块等软件开发的主力。，所有的界面设计都有他的参与。他精通使用c++开发服务器；并且自学，让电脑上的画面传到VR头显上...但彭琪并不总是很努力，在发展的道路上经常会有有趣的灵感闪现。结合自己本科阶段游戏设计的经历，彭琪大胆想象:患者和家属能否进入虚拟世界，通过脑机接口进行互动？于是，他用Unity游戏引擎搭建了这个模块，“多人宇宙”模块应运而生。
患者需求表达界面
脑机接口(Brain-computer interface，BCI)需要准确识别瘫痪患者的稳态视觉诱发电位，这是理解患者意图的关键。面对一开始识别准确率和速度较低的情况，彭琪通过查阅大量文献，对屏幕上图标的大小、位置和颜色进行了优化。最后，每个图标的面积较大，图标之间有一定的相对位置，因此脑机接口可以更快速准确地识别患者的视觉信号。
团队成员住在一栋宿舍楼里，不仅为团队交流提供了便利，也有助于大家集思广益，想出新点子。团队合作让彭琪意识到了跨学科的重要性。未来他还想学习美术、音乐等专业知识，与游戏开发技术相结合，帮助自己在游戏开发的道路上走得更远，也为团队的后续发展提供更多帮助。
陈建宇:看到树木和森林，你可以看到远方。
作为团队中唯一的大二学生，陈建宇负责人工智能算法模块，主要操作后台代码和指令。它的重要性就像盖楼之前先打地基一样。他说他还是高二。万一这个项目没做好，他大三还有机会。不过大四已经大三了，没有更多的时间。所以每个阶段都要控制好，不能出差错。尽管如此，没有成员给他施加压力，学长们也很宽容，经常鼓励他。他还记得去年的年夜饭，不是像以前一样坐在电视机前看春晚，而是一份英文文件陪他过年。而正是那份文件，解决了他的思考。我一直坚信的方法有点走不通，但我不知道哪里出了问题。那个文件只是讲了相关的内容。经过反复思考，陈建宇终于明白了。
模拟病人通过大脑电脑控制灯泡开关。
为了详细观察重度瘫痪患者对仪器的感知，及时测试软件和仪器的灵敏度，需要对设备进行反复试验，以满足应用场景。陈建宇扮演了一个测试员的角色，每次他都会躺在王老师的行军床上模拟病人，体验设备。实验往往要几个小时，长时间一动不动地躺在简易床上，他会觉得不舒服。他每小时都要休息和放松。亲身经历后，他深深体会到重度瘫痪病人的难处。
尽管之前做了很多实验，但万万没想到的是，在全国比赛当天，设备出了问题。经过六次排练，出现了三次异常。有时候蓝牙和pc信号是连接的，有时候没有，所以没有规律可循。眼看上午的答辩就要结束了，下午就要开演了，但是一直到中午都没有找到解决方案，大家都不知所措。陈建宇仍然清楚地记得当时的情景。他说大家都没有气馁。他忙了一上午，中午没有休息，不停地排除故障。临近比赛的时刻，队员彭起灵出现了，找到了症结所在。原来是风扇模块和嵌入式蓝牙模块之间的信号通道有问题。网上购买的简易设备没有检查信号通道占用情况的功能，导致设备之间信号不稳定。最后，我决定暂时关闭风扇模块，然后检查一下。果然畅通无阻。幸运的是，我挺过了下午的比赛。
在谈到专业问题时，陈建宇和侃侃侃侃而谈，把每一个细节都解释得清晰生动。遇到一些技术问题，他会主动搜索资料，思考内在原因，努力寻找解决方案。他说这是他一直以来的习惯，思考带来的乐趣和成长是其他东西无法替代的。
来源|山东大学传媒中心
文|秦伊婷
图|受访者提供
编辑|李春晓
