I am a Software Engineer. My research interests center on game engine (metaverse, digital twin, simulation, rendering), AI/ML (reinforcement learning, deep learning) and healthcare (2D/3D medical imaging, computer vision, ultrasound imaging diagnosis).
I suffered from a spinal cord injury last few years ago. I have a walking disability but now I can walk around inside and outside with a cane. Since then, I had strong interests in disability awareness, human rights, rehabilitation and physical therapy.
3D 초음파 데이터를 활용한 볼륨 렌더링 기술을 개발하였습니다. Fetoscopic Rendering, Endoscopic Rendering 등 태아와 각종 장기들이 사실적으로 표현되기 위한 렌더링 방법과 Pre/Post 영상처리기능을 개발하였습니다.
3D 초음파 영상의 진단기능
3D 초음파 데이터에서 선택된 객체의 3D Segmentation을 통해서, 크기와 부피를 측정하여 진단에 필요한 요소들을 출력하고 이를 가시화하는 기능들을 개발하였습니다.
3D 초음파 영상의 인공지능
3D 초음파 데이터를 기반으로한 Object Detection, 3D Segmentation, Style Transfer 기술을 렌더링과 진단기능에 제품에 적용하였습니다.
Artificial Intelligence
다중에이전트의 강화학습 알고리즘 개발
석사과정에서 강화학습 제어이론에 대해서 연구하였습니다. 다중에이전트의 환경에서 강화학습 알고리즘이 최적의 값으로 수렴한다는 내용으로 수식으로 정의하고 이를 증명하여 논문을 출간하였습니다. 그리고 실제 로봇 실험을 통해서 제안한 알고리즘이 실험적으로도 확인하였습니다.
백내장을 구분하기 위한 딥러닝 진단기능 개발
삼성병원 해커톤에서는 백내장을 구분하기 위한 진단 기능을 수행하였습니다. 간단한 Classification 모델을 통해서 백내장이 맞는지/아닌지를 80% 확률로 추정하는 알고리즘과 UI를 개발하였습니다.
유니티 머신러닝
유니티에서 Machine Learning 관련기능 (ML-Agents, Barracuda, Computer Vision)의 활용 및 강화학습과 딥러닝, 컴퓨터 비전 관련 기술 컨설팅을 담당하고 있습니다.
Ar3d Rendering
VOMI - 반시각장애인을 위한 AR 디바이스
많은 사람들이 시각장애를 가진 분들은 아예 볼 수 없는 전맹으로 생각하지만, 시력이 저하되어 있어서 조금이나마 물체를 구별할 수 있는 저시력 (약시) 시각장애인분들도 계십니다. 이 분들에게는 글자 확대경이나 고대비와 같은 기능들을 가진 특수 장비가 필요한데, 해당 장비를 구입해서 쓰기에는 수백만원의 비용이 들어서 손쉽게 이용할 수 없다는 단점이 있었습니다.
해커톤을 통해서 해당 문제점에 대해 인지하였고, 대학병원 선생님과 여러 엔지니어들이 아이디어를 합쳐서 VR 장비에 부착하여 사용할 수 있는 디바이스를 제안하였습니다. 스마트폰의 카메라로 촬영된 영상은 VR 장비에 맞게 좌우 분할되어 나타나고, 여기에 출력되는 영상은 카메라 영상의 Edge Enhancement 모드, Contrast를 증가시킨 모드, Zoom 모드 등을 적용한 프로토타입을 개발하였습니다.
운동기능 손상환자들을 위한 재활운동 동영상
유투브에는 홈트레이닝 영상들이 정말 많지만, 신경계 손상으로 인해서 제대로 몸을 움직일 수 없는 장애인을 위한 운동프로그램은 쉽게 찾아볼 수 없었습니다. 그래서 Unity를 이용하여 수십가지 운동들을 선정하고 3D 캐릭터의 관절 (rig)들을 편집하여 운동 Animation을 직접 제작하였고, 이런 운동들의 조합을 Tabata 운동방법 (운동/휴식을 반복하는 인터벌 트레이닝)으로 10~15분간 장애인분들이 스트레칭과 근력운동을 손쉽게 따라할 수 있는 운동 컨텐츠를 제작하였습니다.
호크아이 (HawkEye) - 소리를 시각화하여 알려주는 XR 컨텐츠
청각장애인들은 소리를 듣지 못하기 때문에 소리로 전달되는 위험신호를 인지하기 어렵습니다. 예를 들면, 실외에서 들리는 자동차 경적소리나 실내에서 들리는 화재경보음 같은 것들 말이죠. 호크아이는 실시간 딥러닝을 이용하여 현재 들리는 소리를 파악하고, 이를 픽토그램과 글자로 XR 디바이스에 표시하여 청각장애인들도 즉각적으로 위험 신호를 인지할 수 있도록 도와줍니다. 이 아이디어는 2022년 XR 공모전에서 과학기술정보통신부 장관상을 수상하였습니다.
Control Engineering
수치해석 기반의 공학용 소프트웨어 개발
서울대학교 제어계측신기술연구센터에서 MATLAB과 LABView의 국내버전인 CEMTool과 CEMStudio 개발에 참여하였습니다. 당시 소프트웨어 개발팀을 리드하며, CEMTool의 웹기반의 CLI 서비스를 새로 개발하였고, 모델 기반의 영상처리 GUI 플랫폼을 구축하고, Drone의 비행제어를 위한 교육용 툴박스를 제작하는 프로젝트를 주도적으로 개발하였습니다.
Sensor Application
regogym - 저가형 모션센서를 활용한 재활운동 플랫폼
코로나19 이후로 헬스장의 운영에 제약이 생기면서, 장애인들이 이용할 수 있는 장애인체육관은 몇개월간 아예 폐쇄되었습니다. 사람들은 유투브를 통해 홈트레이닝을 진행했지만, 지체장애인분들이 운동을 따라하기에는 너무나 어려운 동작이 많아서 이 분들이 어떻게 하면 효과적으로 운동할 수 있을지 고민했습니다.
결과적으로 $40에 구매할 수 있는 BLE 기반의 센서와 연동하여, 3D 캐릭터의 움직임대로 운동을 따라하는 형태의 웹서비스를 개발하였습니다. 이는 척수장애인협회에서 최우수상을 수상하였고, regogym.com 사이트를 통해서 서비스를 무료로 제공하고 있습니다.
마이워터- 방광염 환자의 수분관리를 위한 어플리케이션
여성들은 출산 후에 방광염을 겪게 되는 경우가 많고, 신경계 손상 장애인의 경우에도 소변기능의 저하로 소변줄을 차고 있는 경우가 있어서 방광염의 재발이 잦습니다. 방광염을 치료하기 위해서는 항생제를 1주일 정도 복용해야만 완치가 되는것으로 알려져 있습니다. 하지만 빙광염은 재발가능성이 높아서 짧은 기간내에 방광염이 재발하는 경우에는 항생제의 내성이 생길 위험이 있습니다.
이런 문제를 인지하여 방광염을 예방할 수 있는 가장 좋은 방법을 연구하였고, 이는 바로 몸안의 수분을 관리해주는 어플리케이션을 개발하였습니다. 이는 주기적으로 수분 섭취를 도와주는 알람과 소변의 증식이 되지 않도록 지정된 시간 (4~6시간)내에 소변을 보도록하는 알람으로 구성되어 있는 간단한 어플리케이션 입니다. 방광염 환자들에게 도움을 주기 위해 안드로이드 앱스토어에 앱을 등록하여 무료로 제공하고 있습니다.
Eye-stick - 전맹 시각장애인을 위한 Image-to-Speech 디바이스
사내 해커톤으로 진행한 아이템으로 아무것도 보이지 않는 시각장애인을 위하여 Image-To-Speech 디바이스를 개발하였습니다. 시각장애인이 주로 사용하는 지팡이에 카메라를 부착하였고, 지팡이의 버튼을 누르면 카메라가 앞의 영상을 촬영하여 앞의 사진의 장면을 음성으로 읽어주는 기능을 제안하였습니다.
예를 들면, '앞에 자동차가 있다', '앞에 사람들이 지나가고 있다', '앞에 아름다운 꽃이 있다' 등과 같이 앞에 펼쳐진 광경을 최대한 음성으로 자세히 설명할 수 있도록 하였습니다.
BULO - 호흡기 훈련을 위한 디바이스
사내 창업공모전에서 출품한 제품으로, 호흡기 훈련을 위한 초소형 디바이스를 개발하였습니다. 흡기와 호기량을 측정하고, 이를 기반으로 트레이닝 프로그램과 게임을 연동하여 사용자들이 폐를 건강하게 유지할 수 있는 BLE 기반의 디바이스를 개발하였습니다.
이는 17년도 사내 창업공모전 (C-Lab)에서 신규 과제 중에서 1등으로 당선되어, 이미 Spin-off하여 창업을 진행하고 있습니다.
닷톡 (DotTalk) - 시청각장애인을 위한 저가형 점자 디바이스
시청각 장애인은 바로 옆에 있는 가족 또는 활동보조인과 손을 맞잡고 촉수어로 의사소통을 합니다. 하지만 만약 옆에 누군가가 없다면 다른 사람들과 어떤 방식으로 대화할 수 있을까요? 저희는 솔레노이드와 센서를 이용하여 입출력이 가능한 저가형 점자 디바이스를 개발하였습니다. 점자는 6점으로 이루어져 있지만, 저희는 3개의 점자를 사용하고 신호를 두 번에 걸쳐 나눠서 입/출력하는 방식을 선택했습니다. 그래서 한 손으로 디바이스를 쥔 채로 점자를 입력할 수 있습니다. 닷톡의 모든 개발과정은 오픈소스로 공개하였습니다.
Software Engineering
Software Certificate - Professional, Best Reviewer
소프트웨어 알고리즘 문제해결능력을 평가하는 Software Certificate에서 Professional 등급을 취득하였고, 이후 코드리뷰어로서의 자격을 증명하는 Best Reviewer 인증도 취득하여 사내의 코드를 리뷰하는 역할을 주도적으로 진행하고 있습니다.
특히, TDD 방법론으로 Test 코드를 작성하는 업무를 가이드하고, 클린코드 관점에서 코드리뷰를 진행하고, 코드리뷰 뉴스레터를 발급하는 등 사내에서 개발되고 있는 코드들이 좀 더 나아질수 있도록 하는 문화를 만들어가는데 노력하고 있습니다.