임시예술가(Temporary Artists)는 나비 오픈 랩(Nabi Open Lab) 2020을 통해 결성된 크리에이터 그룹이다. 임시예술가는 인공지능 연구원 강태원, 디지털 미디어 아티스트 김다은, 시각예술가 김민영, UX 디자이너 이다혜, 엔지니어 이도혁, 인공지능 연구원 서성욱, 총 6인으로 구성되었다. 이들은 나비 오픈 랩을 통해 2020년 하반기동안 감정, 공감, 유대관계라는 키워드 아래 다양한 활동을 이어왔다. 인공지능 기술에 대한 여러 논의점들을 바탕으로 아이디어 제안부터 실제 프로토타입 제작까지 진행해 온 임시예술가는 지난《Play on AI》展에서 <자동판매원 Vender>(2020)을 선보였다.
온라인 전시의 비하인드에서는 전시장에서 보여진 <자동판매원 Vender>을 통해 미처 다 전달하지 못한 임시예술가의 생각과 반년 동안 진행해온 나비 오픈랩에 관한 이야기를 짧게나마 기록하고자 한다. 임시예술가가 들려주는 이야기를 "쓰여진 인터뷰"를 만나보자.
🖼️ [작품] <자동판매원 Vender> 보러가기 (Click)
A. 자동판매원(Vender)은 PyTorch, Tensorflow/Keras 기반 Python 스크립트가 탑재된 GPU Server와 Touchdesigner, arduino를 탑재한 디바이스가 서로 시리얼 통신 및 UDP 통신을 수행하여 정보를 주고받는 형태로 설계했습니다.
마스크 착용 여부의 판별은 OpenCV, Keras/Tensorflow를 사용했고, MobileNetV2 아키텍처를 활용했습니다. Bing Search API, Kaggle, RMFD Dataset을 기반으로 수집된 마스크 착용 1916개 이미지, 마스크 미착용 1919개 이미지로 구성된 dataset을 기반으로 학습을 수행했습니다.
감정(Facial Expression) 인식은 FER2013 Dataset을 기반으로 CNN 알고리즘을 활용하여, 얼굴이 감지되면 7개의 감정 데이터(Neutral, Happiness, Surprise, Sadness, Fear, Anger, Tiredness)로 분석합니다. 감정 데이터는 0부터 1사이의 확률 값으로 이루어져 있고, 여러 번의 감정 인식을 수행하여 평균 값을 도출한 후 값이 가장 높은 감정 데이터를 '인식된 감정'으로 출력합니다.
각 Scene별 프로토콜은 UDP 통신을 통하여 Touchdesigner 프로그램에 전송됩니다. 사람이 가까이 오면 Vender 프로그램을 시작할 수 있도록 하는 초음파 센서, 동전을 넣었을 때 상품을 출력할 수 있도록 하는 동전 감지기, 특정 상품을 출력하기 위한 상품별 서보모터는 Arduino의 시리얼 통신을 활용해 연동되며, Python의 pyserial 라이브러리를 활용하여 통신이 이루어집니다. 초음파 센서의 수신, 동전 감지기의 수신, 특정 서보모터를 움직이기 위한 발신, 딥러닝 소프트웨어를 통한 마스크 인식 및 감정 인식을 동시에 진행하기 위해 threading을 사용하여 충돌을 예방합니다.
<자동판매원 Vender>이 관객을 인식하고 말을 건넬 때의 화면
(다은) 기술이 우리에게 방향을 제시한다기 보다는 우리가 맞는 방향을 찾아가야 한다고 생각합니다. AI 기술이 어디까지 어떻게 발전이 될지는 저로선 정확히 예측하기 어렵지만, 평범한 사람들의 삶에 많은 변화를 가져다 줄 것이라는 점에서 기대가 큽니다.
(도혁) 인류가 가진 모든 기술이 자원의 변환 - 엔트로피의 증가 - 이라는 관점으로 본다면, 기술이 어떠한 - 긍정적인, 부정적인 - 방향을 제시한다고 보는 것이 아닌, 그것에 대해서는 불가지론적인 관점으로 바라봐야 한다고 생각합니다. 즉, 기술이 아닌 그걸 사용하는 사람들에게 집중해야 하는 것 같습니다. 인류가 대량살상에 대한 개념이 없었을 때는 핵 기술을 무기로 썼고, 지금은 집안의 전등을 키는 자원으로 사용하고 있듯, 결국 기술의 발전 속도보다 인류 사상의 성숙도가 더 빨라야 기술이 우리 사회를 더 좋은 방향으로 이끌 것이라고 생각합니다. 그런 측면에서 창작자로서 다가오는 인공지능 시대에 맞게, 그것에 대해 사람들이 더 익숙해지고 성숙해지도록, 와닿게 만들 수 있을 거란 생각이 듭니다.
(태원) 사람들은 "밥 먹었니?"라는 말 한마디에 왈칵 울음을 터트리고 나서 복잡했던 감정이 해소되기도 합니다. 그러나 이러한 감성적인 경험들이 기술의 발전으로 소외되기도 하지만, 인공지능은 인간만큼은 아니지만 우리 삶을 따듯하게 만드는데 도움을 줄 수 있다고 생각합니다.