가상과 현실 사이의 간격을 줄이는 개발자 방민준입니다. 시뮬레이션 설계와 하드웨어 제어를 연결해 디지털과 물리 시스템을 하나의 구조로 통합시키며 설계가 화면에서 끝나지 않고 실제 환경에서 동작하도록 구현합니다.

생년월일

2008.04.07

전화번호

010-8921-4455

이메일

bang.dev47@gmail.com

학력

부산소프트웨어마이스터고등학교 2024.3 ~

https:github.com/bangminjun

www.linkedin.com

메인 프로젝트

:하로로고: Epic : 펌프카 타설 디지털 트윈 (2025.3~2025.11)

AI 1명, 유니티 2명, 3D모델링&PCB제작 1명, 하드웨어 1명

기여도 디지털 트윈(유니티) : 100%

<aside>

수상 내역 : 가상융합서비스 개발자 경진대회 : 한국전파진흥협회장상 , 교내 전공동아리 경진대회 : 장려상

</aside>

개발 동기

현장 안전사고가 반복되는 펌프카 작업의 특성상, 경험과 체크리스트 중심의 기존 안전 관리 방식은 사전 예방에 한계가 있습니다. 이론 위주 교육으로는 실제 돌발 상황 대응력을 키우기 어렵다는 문제도 있었습니다. 이를 해결하기 위해 가상 환경에서 먼저 검증하고 실제 장비를 제어하는 디지털 트윈 시스템을 개발하게 되었습니다.

핵심 기능

<aside>

1) 몰입형 VR 훈련

• Oculus를 통한 1인칭 조작 환경 제공
• 조작자 시점, 관리자 시점(붐/파이프/타설위치) 등 4개 카메라 전환
• 비상정지, 타설 위치 지정, 신호수 통합 제어 UI

2) MR / AR 사전 시뮬레이션

• 현장 AR로 펌프카 위치·붐 전개 경로를 현실 공간에 가상 배치해 사전 위험 평가
• 작업 전 타설 경로 및 장애물 예측

3) 디지털 트윈 기반 선처리 → 후작동 제어

• Unity에서 입력을 먼저 시뮬레이션하고 안전 검증 후 동일 제어 신호를 실제 장비로 전달
• 시뮬레이션에서 위험 발생 시 실제 작동 차단(안전 게이트)

4) AI 기반 위험 감지

• YOLOv8 기반 객체 인식으로 작업자·장애물·위험요소 실시간 감지
• 감지 시 Unity/VR HUD에 경고 메시지 표시 및 자동 비상정지 제안

5) 자체 제작 컨트롤러(PCB + Joystick + Switch)

• ESP32 기반 무선 통신으로 MQTT를 통해 명령 송수신
• 현업에서 사용하고있는 컨트롤러를 바탕으로 디자인 </aside>

프로젝트 아키텍쳐

VR 시뮬레이션

디지털 트윈

프로젝트 완성본

VR 시뮬레이션

https://www.youtube.com/watch?v=DW4Vy-9nW5w&feature=youtu.be

디지털 트윈

https://www.youtube.com/watch?v=uY2eDoWiDcU

프로젝트 유사점 및 차별성

<aside>

VR 기반 펌프카 교육 시뮬레이션(AR)

유사점

기존 중장비 운전자 교육 시뮬레이션 시스템들은 모두 VR 기반으로 중장비 조작 능력 향상과 안전 교육을 제공하는 공통점을 지닙니다

차별성

현재 서비스들은 대부분 순수 VR 방식으로 운전자 1인 훈련만 가능하며, 신호수와의 협업·의사소통 같은 실제 현장 기반의 다인 협업 훈련은 제공하지 못한다는 점에서 차별점을 가짐니다

</aside>

<aside>

VR 기반 디지털 트윈 안전제어(MR)

유사점

디지털 트윈 기술을 활용하여 실제 중장비의 동작을 가상 환경에서 제어 및 모니터링하는 시스템입니다

차별성

AI 기반 객체 인식과 동작 예측, 안정성 검증 기능을 추가하여 기존 시스템보다 더 높은 안전성을 제공합니다

</aside>

트러블 슈팅

오큘러스 퀘스트 2에 프로젝트를 빌드한 후 HMD의 초기 시점이 대각선으로 고정되어 화면이 위 사진과 같이 기울어져 보이는 문제가 발생하였고. 처음에는 시점을 계속 바꾸거나 트래킹 옵션을 조정해 보았으나 문제가 해결되지 않았고, 원인이 오큘러스 HMD의 초기 기준 회전 값이 씬 내 카메라의 회전과 충돌하는 것이었다는걸 알게 되었습니다. 이를 해결하기 위해 플레이어 카메라의 회전을 강제로 초기화하는 방식으로 접근하여, HMD 유무와 관계없이 실행 시 항상 카메라의 회전을 Quaternion.identity로 설정하여 아래에 사진처럼 초기 시점을 고정하도록 구현하였다.