Current Projects
- Development of Spatial Computing Technology for Real-time Capture of Mega-scale Auditoriums and Stadiums using Mobile Robots (이동형 로봇을 이용한 메가스케일 공연장 및 경기장 실시간 캡쳐링 공간컴퓨팅 기술 개발), Oct. 2024 – Sep. 2026,
[PI], Funded by National Research Foundation of Korea (NRF) - Development of International Standards for CT XR Content Copyright Protection Technologies (공연문화 XR 콘텐츠 저작권 보호기술 국제 표준화 기술 개발), Jul. 2024 – Dec. 2025,
[PI], Funded by Korea Creative Content Agency (KOCCA) - Graduate School of Metaverse Convergence (Sungkyunkwan University) (메타버스 융합대학원(성균관대학교)), Jul. 2023 – Dec. 2028,
[PI], Funded by Institute for Information & communications Technology Promotion (IITP) - Development of Core Technologies for Contents Streaming Copyright on Metaverse Platform (메타버스 플랫폼에서의 콘텐츠 스트리밍 저작권 핵심 기술 개발), Apr. 2023 – Dec. 2026,
[Sub-PI], Funded by Korea Creative Content Agency (KOCCA) - Foreground and background matching 3D object streaming technology development (전배경 정합 3D 객체 스트리밍 기술개발), Apr. 2022 – Dec. 2025,
[Sub-PI], Funded by Institute for Information & communications Technology Promotion (IITP)
- Investigation of MPEG 3D Space Video Compression Technology and Performance Comparative Analysis (MPEG 입체공간 비디오 압축 기술 조사 및 성능 비교 분석), Sep. 2024 – Dec. 2024,
[PI], Funded by Electronics and Telecommunications Research Institute (ETRI) - Development of Moving Robot-based Immersive Video Acquisition and Processing System in Metaverse (이동형 로봇 기반 실사 메타버스 실감형 비디오의 획득 및 처리 기술 개발) – XR 국제공동협력과제, Jul. 2022 – Dec. 2024,
[PI], Funded by Funded by Institute for Information & communications Technology Promotion (IITP) - Development of immersive video spatial computing technology for ultra-realistic metaverse services (초실감 메타버스 서비스를 위한 실사기반 입체영상 공간컴퓨팅 기술 개발), Jan. 2022 – Dec. 2023,
[Sub-PI], Funded by Electronics and Telecommunications Research Institute (ETRI) - Development of Ultra High Resolution Unstructured Plenoptic Video Storage/Compression/Streaming Technology for Medium to Large Space (중대형 공간용 초고해상도 비정형 플렌옵틱 영상 저장/압축/전송 기술 개발), Apr. 2020 – Dec. 2023,
[Sub-PI], Funded by Institute for Information & communications Technology Promotion (IITP) - Development of Low Latency VR·AR Streaming Technology based on 5G Edge Cloud (5G 엣지클라우드 기반 VR·AR 저지연 스트리밍 기술 개발), Apr. 2020 – Dec. 2023,
[Sub-PI], Funded by Korea Electronics Technology Institute (KETI)Funded by Institute for Information & communications Technology Promotion (IITP) - Development of Surgical Planning Education Platform Using Hololens2 Augmented Reality Device (홀로렌즈2 기반의 증강현실을 이용한 해부학 교육 및 다자간 원격 수술계획 수립 도구 개발), Oct. 2021 – Sep. 2023,
(Collaborative research with Prof. Yong Gi Jung, Department of ENT Clinic, Samsung Medical Center(SMC)),
[Sub-PI], Funded by Samsung Medical Center (SMC) & Sungkyunkwan University (SKKU) - Development of Video Acquisition and Rendering System for 6DoF VR Studio/Theater (6DoF VR 스튜디오와 대형공연장을 위한 영상 취득 및 렌더링 기술 개발), Jun. 2022 – May. 2023,
[PI], Funded by National Research Foundation of Korea (NRF) - Learned Image Compression with Frequency Domain Loss (주파수 영역 손실함수를 활용한 신경망 이미지 압축 방법), Apr. 2021 – Mar. 2022,
[PI], Funded by Sungkyunkwan University (SKKU) - Development of Real-time 360-degree Video Streaming System for Virtual Reality Theaters (가상현실 공연장을 위한 360도 비디오 실시간 스트리밍 시스템 개발), Mar. 2019 – Feb. 2022
Funded by National Research Foundation of Korea (NRF) - Development of Brain Disease Prediction/Prevention Technology using Medical Big Data and Human Resource Development Program (의료 빅데이터를 활용한 뇌질환 예측 · 예방 기술개발 및 전문인력 양성), Jun. 2017 – Dec. 2021
(Collaborative research, PI: Prof. Taegkeun Whangbo, Department of Computer Engineering, Gachon University),
Funded by the Ministry of Science, ICT & Future Planning(ITRC) - Development of Metaverse-Education Platform Using AI/VR/AR Technologies (인공지능/VR/AR 기술을 활용한 메타버스 교육 플랫폼 개발), Sep. 2021 – Jan. 2022,
Funded by National Research Foundation of Korea (NRF) - Development of Multi-view Video Processing System with Plenoptic Camera for 6DoF Virtual Reality (6DoF 가상현실 기반 홀로그래피 시스템을 위한 다시점 플렌옵틱 비디오 처리 연구), Nov. 2020 – Dec. 2021,
[PI], Funded by Sungkyunkwan University (SKKU) - Development of Compression and Transmission Technologies for Ultra High Quality Immersive Videos Supporting 6DoF (6DoF지원 초고화질 몰입형 비디오의 압축 및 전송 핵심 기술 개발), Jul. 2018 – Dec. 2020,
Funded by Institute for Information & communications Technology Promotion (IITP) - Development of Low-delay VLC Player for AVC (저지연 AVC 영상데이터의 고속 VLC 플레이어 개발), Jun. 2019 – Feb. 2020
[PI], Funded by Korea Technology and Information Promotion Agency for SMEs (TIPA) - Development of the Augmented Reality / Mixed Reality System by Extending VR Technologies (VR 기술의 확장을 통한 AR/MR 시스템 개발), May. 2019 – Aug. 2019
[PI], Funded by Gachon University, Korea - Development of the Video Scene Analysis Technology for Video Recommendation System (비디오 추천 시스템을 위한 비디오 장면 분석 기술 개발), Dec. 2018 – Aug. 2019
[PI], Funded by Gachon University, Korea - Development of 3DoF+ 360-degree Video System for Immersive VR services (몰입형 VR 서비스를 위한 3DoF+ 360 비디오 표준화 연구), Jun. 2018 – May. 2019
[PI], Funded by LG Electronics Research - Personalized Media Communication, Jan. 2018 – May. 2019
[PI], Funded by InterDigital, USA - Development of Healthcare for Senior with Artificial Intelligence Technology (인공지능기술 기반 시니어 헬스케어 기술 개발), Jul. 2017 – Aug. 2019
(Collaborative research, PI: Prof. Taegkeun Whangbo, Department of Computer Engineering, Gachon University), Funded by Gyunggi Regional Research Center(GRRC) - Development of Tiled Streaming Technology For High Quality VR Contents Real-Time Service (고품질 VR 콘텐츠 실시간 서비스를 위한 분할영상 스트리밍 기술 개발), Jun. 2017 – Dec. 2019, Funded by Institute for Information & communications Technology Promotion (IITP)
- Reference SW Development for Viewport Dependent 360 Video Processing (360 비디오의 사용자 뷰포트 기반 프로세싱을 위한 레퍼런스 SW 개발), Jun. 2017 – Mar. 2018
[PI], Funded by LG Electronics Research - Development of Multi-sensor Intelligent Edge Camera System (전력설비 고장 감시/사전진단을 위한 다중센서 융합 지능형 AV디바이스 및 플랫폼 개발), May. 2017 – Apr. 2020
[PI], Funded by the Korea Electric Power Corporation Research Institute - Commercialization of smartphone/PC compatible mobile Braille pad and content production/service system, Aug. 2016 – Aug. 2019
(Collaborative research, PI: Prof. Jinsoo Cho, Department of Computer Engineering, Gachon University), Funded by Commercializations Promotion Agency for R&D Outcomes, Korea - Sensor Networking Protocols for Emergency Data Collection, Jun. 2016 – Nov. 2016
(Collaborative research, PI: Prof. Sungrae Cho, Ubiquitous Computing Lab., Chung-Ang University, Seoul, Korea), Funded by Electronics and Telecommunications Research Institute (ETRI), Korea - Haptic Video Conferencing System for Individuals with Visual Impairments, Jul. 2015 – Jun. 2018
[PI], Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Science, ICT & Future Planning(NRF-2015R1C1A1A02037743) - Haptic Telepresence System for Individuals with Visual Impairments, Apr. 2015 – Mar. 2017
[PI], Funded by Gachon University, Korea
Research
Overall Research Goal: Merciless Video Processing (MVP)
: Video decoding speed-up for mobile VR by using Tiled-SHVC as well as asymmetric mobile CPU multicores.

1. [Video Standard] MPEG Immersive Video (MIV)
MPEG Immersive Video (MIV) is a new standard for encoding and streaming immersive video content, such as virtual reality and augmented reality. MIV offers several benefits over existing video codecs, including better compression, improved image quality, and support for 360-degree and 3D video. MCSL is working to develop new MIV technologies that can be used in a variety of immersive media applications, including virtual reality, immersive education and training, and telepresence.
MPEG Immersive Video (MIV)는 가상 현실과 증강 현실과 같은 몰입형 비디오 콘텐츠를 인코딩하고 스트리밍하기 위한 새로운 표준입니다. MIV는 기존의 비디오 코덱보다 더 나은 압축률, 개선된 이미지 품질, 360도 및 3D 비디오 지원 등의 장점을 제공합니다. MCSL은 MIV 기술을 개발하여 가상현실, 몰입형 교육 및 훈련, 원격 회의 등 다양한 몰입형 미디어 응용 분야에서 활용할 수 있는 기술을 연구하고 있습니다.


2. [Video Standard] Neural Network-based Video Representation
Implicit Neural Visual Representation (INVR) is an image representation technique that uses neural networks to map an input image into a high-dimensional latent space. This allows for efficient storage of complex color and depth information from the real world with low capacity, and enables high-quality rendering of images and videos from various viewpoints and directions. At MCSL, we are exploring new possibilities in immersive media applications by integrating INVR with 3D Gaussian Splatting (3DGS). 3DGS is a cutting-edge technique that represents the 3D structure of a scene as continuous Gaussian distributions, making it possible to reproduce complex scenes more efficiently. Compared to traditional 3D reconstruction methods, this technology enables faster scene rendering, and when combined with INVR, it allows for the creation of even more detailed and realistic 3D scenes. MCSL is researching next-generation immersive media technologies that transcend the limitations of traditional methods by leveraging the high-speed rendering capabilities of 3DGS and the high-dimensional latent space of INVR.
Implicit Neural Visual Representation (INVR) 은 신경망을 사용하여 입력 이미지를 고차원의 잠재 공간 (latent space) 으로 매핑하는 이미지 표현 방식입니다. 이를 통해 저용량으로 현실 세계의 복잡한 색상과 깊이 정보를 효율적으로 저장하고, 다양한 시점과 방향에서 고품질의 이미지와 비디오를 렌더링할 수 있습니다. MCSL에서는 INVR과 3D Gaussian Splatting (3DGS) 을 결합하여 몰입형 미디어 응용의 새로운 가능성을 탐구하고 있습니다. 3DGS는 장면의 3D 구조를 연속적인 가우시안 분포로 표현함으로써, 복잡한 장면을 보다 효율적으로 재현하는 최신 기술입니다. 이 기술은 기존의 3D 재구성 방식에 비해 고속으로 장면을 렌더링할 수 있으며, INVR과의 통합을 통해 더욱 정교하고 사실적인 3D 장면을 생성할 수 있습니다. MCSL은 3DGS의 고속 렌더링과 INVR의 고차원 잠재 공간을 활용하여, 전통적인 방식의 한계를 넘어선 차세대 몰입형 미디어 기술을 연구하고 있습니다.

3. [Video Enabling] 6DoF Immersive Video Capturing System
3 degrees of freedom(3DoF) video is an immersive video that considers only rotational motion based on the x-axis, y-axis, and z-axis in a fixed position. Further from 3DoF, 6 degrees of freedom(6DoF) is a realistic video that users can watch while moving their position directly in 3 axial directions, as well as in-place rotational motion. MCSL is working on the field of acquiring synchronized color and depth videos with multiple cameras and synthesizing one complete 6DoF video content using camera calibration, color correction, and virtual viewpoint synthesis technology.
3 degrees of freedom(3DoF) 비디오는 고정된 위치에서 x축, y축, z축을 기준으로 하는 회전운동만을 고려하는 실감형 비디오 기술입니다. 3DoF에서 더 나아가, 6 degrees of freedom(6DoF) 비디오는 제자리 회전운동뿐만 아니라 사용자가 3가지 축 방향으로 자신의 위치를 직접 이동하면서 볼 수 있는 실감형 비디오입니다. MCSL에서는 여러 개의 카메라로 동기화된 컬러 및 뎁스 영상들을 취득하고 카메라 캘리브레이션, 색 조정, 가상시점 합성 기술 등을 활용하여 하나의 완전한 6DoF 비디오 콘텐츠를 합성하는 분야를 연구하고 있습니다.

Past Researches
1. [Video System] HEVC Parallel Processing for Asymmetric Multicore Processors
1.1. Tile Partitioning-based HEVC Parallel Processing Optimization
Recently, there is an emerging need for parallel UHD video processing, and the usage of computing systems that have an asymmetric processor such as ARM big.LITTLE is actively increasing. Thus, a new parallel UHD video processing method that is optimized for the asymmetric multicore systems is needed.
This study proposes a novel HEVC tile partitioning method for parallel processing by analyzing the computational power of asymmetric multicores. The proposed method analyzes (1) the computing power of asymmetric multicores and (2) the regression model of computational complexity per video resolution. Finally, the model (3) determines the optimal HEVC tile resolution for each core and partitions/allocates the tiles to suitable cores.
The proposed method minimizes the gap in the decoding time between the fastest CPU core and the slowest CPU core. Experimental results with the 4K UHD official test sequences show average 20% improvement in the decoding speedup on the ARM asymmetric multicore system.



1.2. Prediction Complexity-based HEVC Parallel Processing Optimization
We also study a new HEVC Tile allocation method considering the computational ability of asymmetric multicores as well as the computational complexity of each Tile.
The computational complexity of each Tile can be measured using the amount of HEVC prediction unit (PU) partitioning.
Our implemented system (1) counts and sorts the amount of PU partitioning of each Tile and (2) allocates Tiles to asymmetric big/LITTLE cores according to their expecting computational complexity. 4K PeopleOnStreet test sequence, thee coding structures such as random access (RA), all intra (AI), and low-delay B (LDB) defined in the common test condition (CTC) of HEVC standard, and 6 multicores consists of 2 big cores and 4 little cores were used for experiments.
When experiments were conducted, the amount of PU partitioning and the computational complexity (decoding time) show a close correlation, and average performance gains of decoding time were 5.24% for 6 tiles and 8.44% for 12 tiles, respectively. The proposed method with adaptive allocation shows the average performance 18.03% as well.
한글요약:
최근 비디오 시스템은 초고해상도 영상의 사용으로 병렬처리의 필요성이 대두되고 있고, 시스템은 ARM big.LITTLE 같은 비대칭 처리능력을 지닌 컴퓨팅 시스템이 도입되고 있다. 따라서, 이 같은 비대칭 컴퓨팅 환경에 최적화된 초고해상도 UHD 비디오 병렬처리 기법이 필요한 시점이다.
본 연구는 인코딩/디코딩시에 비대칭 컴퓨팅 환경에 최적화 된 HEVC 타일(Tile) 분할 기법을 제안한다. 제안하는 방식은 (1) 비대칭 CPU 코어들의 처리능력과 (2) 비디오 크기별 연산 복잡도 분석 모델을 분석하여, (3) 각 코어에 최적화된 크기의 타일을 할당함으로써, 처리속도가 빠른 CPU 코어와 느린 코어의 인코딩/디코딩 시간차를 최소화한다.
이를 ARM기반의 비대칭 멀티코어 플랫폼에서 4K UHD 표준 영상을 대상으로 실험하였을 때, 평균 약 20%의 디코딩 시간 개선이 발생함을 확인하였다.
또다른 방법으로, 우리는 HEVC의 Tile 사이즈가 인코딩시에 이미 동일하게 나뉘어져있을 경우도 연구한다. 이 연구는 (1) Prediction Unit (PU)의 Partitioning 횟수를 분석함으로써 Tile별 연산 복잡도를 계산하고, (2) 이 복잡도 기반으로 Big/LITTLE의 Asymmetric cores에 각 Tile을 할당하여 디코딩을 하는데, HEVC 표준화 활동의 기본 실험 조건에 맞추어 4K PeopleOnStreet 테스트 컨텐츠를 대상으로 실험한 결과 6개의 Tile을 대상으로는 5.24%, 12개의 Tile을 대상으로는 8.44%의 디코딩 속도 향상을 확인하였다. 추가적으로 코어에 적응적인 Tile 할당을 수행한 결과, 18.03%의 디코딩 속도 향상을 확인하였다.

2. [Cyber Physical Systems(CPS)]Haptic Telepresence System for the Individuals with Visual Impairments
To verify the benefits of the proposed video content adaptation method for individuals with visual impairments, this study conducts 3D video encoding and user testing. In conclusion, the proposed system provides a new haptic telepresence system for individuals with visual impairments by providing an enhanced interactive experience.

한글요약:
정보통신 기술의 발달과 스마트폰의 보급으로 일반 사용자들은 언제, 어디서나 가족 및 주변 사용자들의 모습을 바라보며 통화를 할 수 있게 되었고, 원하는 영상이나 사진을 감상할 수 있다. 하지만 시각장애인들은 이들을 위한 연구 및 사회적 인프라의 부족으로 인하여 이와 같은 서비스들의 제공 대상에서 늘 제외되어 왔다. 이러한 사항을 개선하기 위하여 본 연구는 시각장애인들을 위한 새로운 방식의 촉각TV 시스템을 제안한다. 제안하는 시스템은 크게 3D 캡쳐(Capture) 기술, 실시간 전송/스트리밍 기술, 햅틱(Haptic) 장치 및 액츄에이터(Actuator)제어 기술로 구성되며, 이동이 불편한 시각 장애인이 제한적 기능일지라도 원격의 가족 얼굴 윤곽을 느끼고 인식하고 TV 및 사진감상을 가능하게 하려는 노력이다. 현재는 2D Braille (점자) Pad 개발로 본 연구를 확장하고 있다.


3. [Video Standard] Viewport Dependent 360-Degree Video Streaming


4. [Video Enabling] Tile-based Streaming with Saliency map

5. [Video Standard] 3DoF+ 360-degree Video System for Immersive VR services
Immersive video streaming has become a very popular service in these days. To increase the user experience on immersive video, user movement adaptive video streaming, 3DoF+, has emerged, and expected to meet this growing demand. While maintaining the upper limit of the bandwidth, providing high quality immersive experience is challenging since 3DoF+ requires multi-view video transmission.
The proposed system addresses the bitrate efficient 360 system architecture for 3DoF+ 360 video streaming and proposes two main ideas : (i) multi-view video redundancy removal method, (ii) multi-view video packing. In this research, high efficiency video coding (HEVC) reference model and reference view synthesizer (RVS) are used. The proposed system requires less decoders to clients, which decreases burden for immersive video streaming.


6. [Video Streaming] Real-time streaming using private protocol QRTP

7. [Video Analytics] Personalized Video Summarization (Movie Trailer) and Recommendation

8. [Video Analytics] Client-Driven Personalized Trailers Framework Using Thumbnail Containers
