(피츠버그 2019년 6월 20일 PRNewswire=연합뉴스) 카네기멜론대학교 연구진이 미네소타대학교와의 협업을 통해 비침투성 로봇기기 제어 분야에서 획기적인 성과를 이루어냈다. 연구자들은 비침투성 뇌-컴퓨터 인터페이스(BCI)를 사용함으로써 사람의 마음에 따라 제어되며 컴퓨터 커서의 위치를 연속적으로 추적해서 따라갈 수 있는 능력을 보이는 최초의 로봇 팔을 성공적으로 개발했다.
사람의 생각만으로도 제어 가능한 비침투성 로봇 기기들은 다양한 용도가 있으며 특히 마비 환자들과 행동 장애가 있는 사람들의 삶의 질을 높여준다.
BCI는 뇌 임플란트에서 감지된 신호만을 이용하여 로봇 기기들을 제어하는데 탁월한 성능을 보여왔다. 로봇 기기들은 아주 정밀하게 제어될 경우 다양한 일상 업무를 처리하는 데 활용 가능하다. 그러나 지금까지는 로봇 팔을 제어하는 데 성공한 BCI는 침투성 뇌 임플란트들을 사용해왔다. 이 임플란트들은 비용과 대상에 대한 위험 가능성은 말할 나위 없이 정확하게 설치하고 운용하는데 필요한 상당한 수준의 의료 및 외과적 전문 지식이 필요하기 때문에 그 용도는 단 몇 건의 임상 케이스에만 한정됐다.
BCI 연구의 최대 과제는 침투를 줄이거나 심지어 마비 환자들이 그들 자신의 "생각"을 이용하여 자기 주변이나 로봇 팔을 제어할 수 있도록 해주는 완전한 비침투 기술을 개발하는 것이다. 그러한 비침투 BCI 기술이 성공적으로 개발될 경우 그렇게 많이 필요한 기술을 수많은 환자와 잠재적으로는 일반인들에게도 적용할 수 있다.
그러나 뇌 임플란트가 아닌 비침투성 외부 센서를 이용하는 BCI는 "더러워진" 신호들을 받음으로써 지금과 같이 낮은 해상도와 정밀도가 낮은 제어로 이어진다. 따라서 로봇 팔을 제어하기 위해 뇌만을 사용할 경우 비침투성 BCI는 임플란트 기기의 적수가 되지 못한다. 그럼에도 불구하고 BCI 연구자들은 앞만 보고 전진해 왔으며 그들의 눈은 전 세계 환자들을 일상적으로 도울 수 있는 침투가 적거나 비침투성 기술의 가치에 고정됐다.
카네기멜론대학교의 바이오메디컬 엔지니어링 학과장이자 종신 교수인 빈 허는 한 번에 하나의 핵심적인 발견을 통해 그 목표를 달성하고 있다.
허 교수는 "뇌 임플란트를 이용하여 마음으로 제어하는 로봇 기기에는 큰 발전이 있었다. 이는 엄청난 과학"이라면서 "그러나 비침투성이 궁극적 목표이다. 신경 디코딩 분야의 발전과 비침투성 로봇 팔 제어 기능의 실제적인 사용은 비침투성 신경 로봇을 궁극적으로 개발하는 데 큰 영향을 줄 것"이라고 말한다.
허 교수와 그의 실험실은 새로운 센서와 머신러닝 기술을 사용하여 뇌 깊은 곳에 있는 신호를 포착함으로써 높은 정밀도의 로봇 팔 제어에 성공할 수 있었다. 허 교수는 비침투성 신경 영상 및 새로운 패러다임을 지속해서 추구한 끝에 잡음이 많은 EEG 신호를 해결함으로써 EEG 기반 신경 디코딩을 크게 향상시키고 실시간의 연속적인 2D 로봇 기기 제어를 가능하게 한다.
허 교수는 컴퓨터 화면에서 커서의 위치를 추적하는 로봇 팔을 제어하기 위해 비침투성 BCI를 이용함으로써 이제는 로봇 팔이 커서를 계속 따라갈 수 있음을 인체 시험을 통해 사상 최초로 보여주었다. 사람에 의해 비침투적으로 제어되는 로봇 팔이 종전에는 마치 뇌의 명령을 "따라잡기" 위해 애쓰는 것처럼 불쑥불쑥 별개로 움직이는 커서를 따라갔다면, 이제 로봇 팔은 부드럽고 연속적인 동작선을 그리는 커서를 따라갈 수 있다.
허 교수 팀은 사이언스로보틱스에 게재된 논문에서 EEG 소스 영상을 통한 비침투성 신경 데이터의 공간 해상도의 제고뿐만 아니라 사용자의 관여와 훈련을 늘림으로써 "뇌"와 "컴퓨터" 컴포넌트들을 찾아 그 기능을 향상시키는 새로운 프레임워크를 수립했다.
"로봇 기기 제어에 필요한 연속적인 신경 위치 추적 기능을 향상시키는 비침투성 신경 영상"이라는 제목의 동 논문은 이 문제를 해결하는 허 교수 팀의 독특한 방식을 통해 BCI 학습이 전통적인 센터아웃 작업 대비 거의 60%가 향상되었을 뿐만 아니라 컴퓨터 커서의 연속적인 위치 추적 기능이 500% 이상 향상되었음을 보여준다.
동 기술은 또한 사람들이 주변 환경과 상호 작용하며 이를 제어할 수 있도록 해주는 기기들에 대한 비침투성의 안전한 "마인드컨트롤" 기능을 구현함으로써 다양한 사람들을 도울 수 있는 용도들을 갖고 있다. 지금까지 동 기술은 신체장애가 없는 사람들 68명을 대상으로 테스트했으며(개인별로 10번씩) 가상 기기 제어와 연속 동작을 위한 로봇 팔 제어 테스트가 포함되었다. 동 기술은 환자들에게 직접 적용할 수 있기 때문에 허 교수 팀은 가까운 장래에 임상 시험을 진행할 계획이다.
허 교수는 "우리는 비침투성 신호를 이용하는 기술적 난제에도 불구하고 이 안전하고 경제적인 기술을 이로 인해 혜택을 받을 수 있는 사람들에게 제공할 것임을 굳게 다짐하고 있다"면서 "이 작업은 언젠가는 스마트폰처럼 모든 사람을 돕는 대중적인 편의 기술이 될지도 모르는 기술인 비침투성 뇌-컴퓨터 인터페이스의 중요한 발걸음을 의미한다"고 말한다.
이 작업은 국립보완통합보건센터(National Center for Complementary and Integrative Health), 국립신경장애뇌졸중연구소(National Institute of Neurological Disorders and Stroke), 국립바이오메디컬영상바이오엔지니어링연구소(National Institute of Biomedical Imaging and Bioengineering)와 국립정신보건연구소(National Institute of Mental Health)가 부분적으로 후원했다.
카네기멜론대학교 공과대학: 카네기멜론대학교 공과대학은 최고의 공대로서 여러 분야의 협업 연구에 집중하는 것으로 잘 알려져 있다. 본 공대는 과학 및 실용 분야 주요 문제들의 해결을 위해 일하는 것으로 유명하다. 우리의 "해내는" 문화는 우리가 진행하는 모든 분야에 스며들어 있으며 새로운 방식과 획기적인 결과들을 만들고 있다. 우리의 유명 교수진들은 혁신적인 관리 및 엔지니어링에 초점을 맞춰 우리 커뮤니티, 국가와 전 세계의 지적이며 경제적인 활기를 견인하는 획기적인 결과들을 만들고 있다.
카네기멜론대학교: 카네기멜론(www.cmu.edu)은 국제적으로 명성이 높은 사립 대학으로서 과학, 기술 및 경영 분야에서부터 공공 정책, 인문학 및 예술 분야에 이르는 다양한 프로그램을 갖추고 있다. 동교의 일곱 개 대학원과 학부에 재학하는 1만3천 명 이상의 학생들은 적은 교수 대비 학생 비율과 실제 세상의 문제들에 대한 솔루션을 만들고 적용하며, 여러 분야의 협업과 혁신 추구에 집중하는 교육의 혜택을 받고 있다.
연락처: Emily Durham; 412-268-2406; edurham1@andrew.cmu.edu
출처: 카네기멜론대학교 공과대학(Carnegie Mellon University College of Engineering)
First-ever successful mind-controlled robotic arm without brain implants
PITTSBURGH, June 19, 2019 /PRNewswire/ -- A team of researchers from Carnegie Mellon University, in collaboration with the University of Minnesota, has made a breakthrough in the field of noninvasive robotic device control. Using a noninvasive brain-computer interface (BCI), researchers have developed the first-ever successful mind-controlled robotic arm exhibiting the ability to continuously track and follow a computer cursor.
Being able to noninvasively control robotic devices using only thoughts will have broad applications, in particular benefiting the lives of paralyzed patients and those with movement disorders.
BCIs have been shown to achieve good performance for controlling robotic devices using only the signals sensed from brain implants. When robotic devices can be controlled with high precision, they can be used to complete a variety of daily tasks. Until now, however, BCIs successful in controlling robotic arms have used invasive brain implants. These implants require a substantial amount of medical and surgical expertise to correctly install and operate, not to mention cost and potential risks to subjects, and as such, their use has been limited to just a few clinical cases.
A grand challenge in BCI research is to develop less invasive or even totally noninvasive technology that would allow paralyzed patients to control their environment or robotic limbs using their own "thoughts." Such noninvasive BCI technology, if successful, would bring such much needed technology to numerous patients and even potentially to the general population.
However, BCIs that use noninvasive external sensing, rather than brain implants, receive "dirtier" signals, leading to current lower resolution and less precise control. Thus, when using only the brain to control a robotic arm, a noninvasive BCI doesn't stand up to using implanted devices. Despite this, BCI researchers have forged ahead, their eye on the prize of a less- or non-invasive technology that could help patients everywhere on a daily basis.
Bin He, Trustee Professor and Department Head of Biomedical Engineering at Carnegie Mellon University, is achieving that goal, one key discovery at a time.
"There have been major advances in mind controlled robotic devices using brain implants. It's excellent science," says He. "But noninvasive is the ultimate goal. Advances in neural decoding and the practical utility of noninvasive robotic arm control will have major implications on the eventual development of noninvasive neurorobotics."
Using novel sensing and machine learning techniques, He and his lab have been able to access signals deep within the brain, achieving a high resolution of control over a robotic arm. With noninvasive neuroimaging and a novel continuous pursuit paradigm, He is overcoming the noisy EEG signals leading to significantly improve EEG-based neural decoding, and facilitating real-time continuous 2D robotic device control.
Using a noninvasive BCI to control a robotic arm that's tracking a cursor on a computer screen, for the first time ever, He has shown in human subjects that a robotic arm can now follow the cursor continuously. Whereas robotic arms controlled by humans noninvasively had previously followed a moving cursor in jerky, discrete motions―as though the robotic arm was trying to "catch up" to the brain's commands―now, the arm follows the cursor in a smooth, continuous path.
In a paper published in Science Robotics, the team established a new framework that addresses and improves upon the "brain" and "computer" components of BCI by increasing user engagement and training, as well as spatial resolution of noninvasive neural data through EEG source imaging.
The paper, "Noninvasive neuroimaging enhances continuous neural tracking for robotic device control," shows that the team's unique approach to solving this problem not enhanced BCI learning by nearly 60% for traditional center-out tasks, it also enhanced continuous tracking of a computer cursor by over 500%.
The technology also has applications that could help a variety of people, by offering safe, noninvasive "mind control" of devices that can allow people to interact with and control their environments. The technology has, to date, been tested in 68 able-bodied human subjects (up to 10 sessions for each subject), including virtual device control and controlling of a robotic arm for continuous pursuit. The technology is directly applicable to patients, and the team plans to conduct clinical trials in the near future.
"Despite technical challenges using noninvasive signals, we are fully committed to bringing this safe and economic technology to people who can benefit from it," says He. "This work represents an important step in noninvasive brain-computer interfaces, a technology which someday may become a pervasive assistive technology aiding everyone, like smartphones."
This work was supported in part by the National Center for Complementary and Integrative Health, National Institute of Neurological Disorders and Stroke, National Institute of Biomedical Imaging and Bioengineering, and National Institute of Mental Health.
About the College of Engineering: The College of Engineering at Carnegie Mellon University is a top-ranked engineering college that is known for our intentional focus on cross-disciplinary collaboration in research. The College is well-known for working on problems of both scientific and practical importance. Our "maker" culture is ingrained in all that we do, leading to novel approaches and transformative results. Our acclaimed faculty have a focus on innovation management and engineering to yield transformative results that will drive the intellectual and economic vitality of our community, nation and world.
About Carnegie Mellon University: Carnegie Mellon (www.cmu.edu) is a private, internationally ranked university with programs in areas ranging from science, technology and business to public policy, the humanities and the arts. More than 13,000 students in the university's seven schools and colleges benefit from a small faculty-to-student ratio and an education characterized by its focus on creating and implementing solutions for real world problems, interdisciplinary collaboration and innovation.
Contact: Emily Durham; 412-268-2406; edurham1@andrew.cmu.edu
Source: Carnegie Mellon University College of Engineering
[편집자 주] 본고는 자료 제공사에서 제공한 것으로, 연합뉴스는 내용에 대해 어떠한 편집도 하지 않았음을 밝혀 드립니다.
(끝)
<저작권자(c) 연합뉴스, 무단 전재-재배포 금지>
관련뉴스