Skip to content

Outstanding

Current Projects

  1. Development of a Hierarchical Transmission Simulator Using Neural Scene Representation (신경 기반 장면 표현을 이용한 계층적 전송 시뮬레이터 구현),
    Aug. 2025 – Nov. 2025, 
    [PI],     Funded by Electronics and Telecommunications Research Institute (ETRI)
  2. Development of MPEG GSC Standard Work (초실감 테라미디어를 위한 AV 부호화 및 LF 미디어 원천기술 개발), Jan. 2025 – Dec.2026,
    [PI], Funded by Electronics and Telecommunications Research Institute (ETRI)
  3. Development of Spatial Computing Technology for Real-time Capture of Mega-scale Auditoriums and Stadiums using Mobile Robots (이동형 로봇을 이용한 메가스케일 공연장 및 경기장 실시간 캡쳐링 공간컴퓨팅 기술 개발), Oct. 2024 – Sep. 2026, 
    [PI], Funded by National Research Foundation of Korea (NRF)
  4. Development of International Standards for CT XR Content Copyright Protection Technologies (공연문화 XR 콘텐츠 저작권 보호기술 국제 표준화 기술 개발), Jul. 2024 – Dec. 2025,
    [PI], Funded by Korea Creative Content Agency (KOCCA)
  5. Graduate School of Metaverse Convergence (Sungkyunkwan University) (메타버스 융합대학원(성균관대학교)), Jul. 2023 – Dec. 2028, 
    [PI],  Funded by Institute for Information & communications Technology Promotion (IITP)
  6. Development of Core Technologies for Contents Streaming Copyright on Metaverse Platform (메타버스 플랫폼에서의 콘텐츠 스트리밍 저작권 핵심 기술 개발), Apr. 2023 – Dec. 2026, 
    [Sub-PI], Funded by Korea Creative Content Agency (KOCCA)
  7. Foreground and background matching 3D object streaming technology development (전배경 정합 3D 객체 스트리밍 기술개발), Apr. 2022 – Dec. 2025,
    [Sub-PI], Funded by Institute for Information & communications Technology Promotion (IITP)
  1. Development of LF video quality assessment framework software (LF 영상 화질 평가 프레임워크 SW 구현), Mar. 2025 – Jul. 2025,
    [PI], Funded by Electronics and Telecommunications Research Institute (ETRI)
  2. Investigation of MPEG 3D Space Video Compression Technology and Performance Comparative Analysis (MPEG 입체공간 비디오 압축 기술 조사 및 성능 비교 분석), Sep. 2024 – Dec. 2024, 
    [PI], Funded by Electronics and Telecommunications Research Institute (ETRI)
  3. Development of Moving Robot-based Immersive Video Acquisition and Processing System in Metaverse (이동형 로봇 기반 실사 메타버스 실감형 비디오의 획득 및 처리 기술 개발) – XR 국제공동협력과제, Jul. 2022 – Dec. 2024,
    [PI]    , Funded by Funded by Institute for Information & communications Technology Promotion (IITP)
  4. Development of immersive video spatial computing technology for ultra-realistic metaverse services (초실감 메타버스 서비스를 위한 실사기반 입체영상 공간컴퓨팅 기술 개발), Jan. 2022 – Dec. 2023,
    [Sub-PI], Funded by Electronics and Telecommunications Research Institute (ETRI)
  5. Development of Ultra High Resolution Unstructured Plenoptic Video Storage/Compression/Streaming Technology for Medium to Large Space (중대형 공간용 초고해상도 비정형 플렌옵틱 영상 저장/압축/전송 기술 개발), Apr. 2020 – Dec. 2023,
    [Sub-PI], Funded by Institute for Information & communications Technology Promotion (IITP)
  6. Development of Low Latency VR·AR Streaming Technology based on 5G Edge Cloud (5G 엣지클라우드 기반 VR·AR 저지연 스트리밍 기술 개발), Apr. 2020 – Dec. 2023,
    [Sub-PI], Funded by Korea Electronics Technology Institute (KETI)Funded by Institute for Information & communications Technology Promotion (IITP)
  7. Development of Surgical Planning Education Platform Using Hololens2 Augmented Reality Device (홀로렌즈2 기반의 증강현실을 이용한 해부학 교육 및 다자간 원격 수술계획 수립 도구 개발), Oct. 2021 – Sep. 2023, 
    (Collaborative research with Prof. Yong Gi Jung, Department of ENT Clinic, Samsung Medical Center(SMC)), 
    [Sub-PI], Funded by Samsung Medical Center (SMC) & Sungkyunkwan University (SKKU)
  8. Development of Video Acquisition and Rendering System for 6DoF VR Studio/Theater (6DoF VR 스튜디오와 대형공연장을 위한 영상 취득 및 렌더링 기술 개발), Jun. 2022 – May. 2023, 
    [PI], Funded by National Research Foundation of Korea (NRF)
  9. Learned Image Compression with Frequency Domain Loss (주파수 영역 손실함수를 활용한 신경망 이미지 압축 방법), Apr. 2021 – Mar. 2022,
    [PI], Funded by Sungkyunkwan University (SKKU)
  10. Development of Real-time 360-degree Video Streaming System for Virtual Reality Theaters (가상현실 공연장을 위한 360도 비디오 실시간 스트리밍 시스템 개발), Mar. 2019 – Feb. 2022
    Funded by National Research Foundation of Korea (NRF)
  11. Development of Brain Disease Prediction/Prevention Technology using Medical Big Data and Human Resource Development Program (의료 빅데이터를 활용한 뇌질환 예측 · 예방 기술개발 및 전문인력 양성), Jun. 2017 – Dec. 2021
    (Collaborative research, PI: Prof. Taegkeun Whangbo, Department of Computer Engineering, Gachon University),
    Funded by the Ministry of Science, ICT & Future Planning(ITRC)
  12. Development of Metaverse-Education Platform Using AI/VR/AR Technologies (인공지능/VR/AR 기술을 활용한 메타버스 교육 플랫폼 개발), Sep. 2021 – Jan. 2022,
    Funded by National Research Foundation of Korea (NRF)
  13. Development of Multi-view Video Processing System with Plenoptic Camera for 6DoF Virtual Reality (6DoF 가상현실 기반 홀로그래피 시스템을 위한 다시점 플렌옵틱 비디오 처리 연구), Nov. 2020 – Dec. 2021,
    [PI], Funded by Sungkyunkwan University (SKKU)
  14. Development of Compression and Transmission Technologies for Ultra High Quality Immersive Videos Supporting 6DoF (6DoF지원 초고화질 몰입형 비디오의 압축 및 전송 핵심 기술 개발), Jul. 2018 – Dec. 2020,
    Funded by Institute for Information & communications Technology Promotion (IITP)
  15. Development of Low-delay VLC Player for AVC (저지연 AVC 영상데이터의 고속 VLC 플레이어 개발), Jun. 2019 – Feb. 2020
    [PI]    , Funded by Korea Technology and Information Promotion Agency for SMEs (TIPA)
  16. Development of the Augmented Reality / Mixed Reality System by Extending VR Technologies (VR 기술의 확장을 통한 AR/MR 시스템 개발), May. 2019 – Aug. 2019
    [PI]    , Funded by Gachon University, Korea
  17. Development of the Video Scene Analysis Technology for Video Recommendation System (비디오 추천 시스템을 위한 비디오 장면 분석 기술 개발), Dec. 2018 – Aug. 2019
    [PI]    , Funded by Gachon University, Korea
  18. Development of 3DoF+ 360-degree Video System for Immersive VR services (몰입형 VR 서비스를 위한 3DoF+ 360 비디오 표준화 연구), Jun. 2018 – May. 2019
    [PI]    , Funded by LG Electronics Research
  19. Personalized Media Communication, Jan. 2018 – May. 2019
    [PI], Funded by InterDigital, USA
  20. Development of Healthcare for Senior with Artificial Intelligence Technology (인공지능기술 기반 시니어 헬스케어 기술 개발), Jul. 2017 – Aug. 2019
    (Collaborative research, PI: Prof. Taegkeun Whangbo, Department of Computer Engineering, Gachon University), Funded by Gyunggi Regional Research Center(GRRC)
  21. Development of Tiled Streaming Technology For High Quality VR Contents Real-Time Service (고품질 VR 콘텐츠 실시간 서비스를 위한 분할영상 스트리밍 기술 개발), Jun. 2017 – Dec. 2019, Funded by Institute for Information & communications Technology Promotion (IITP)
  22. Reference SW Development for Viewport Dependent 360 Video Processing (360 비디오의 사용자 뷰포트 기반 프로세싱을 위한 레퍼런스 SW 개발), Jun. 2017 – Mar. 2018
    [PI]    , Funded by LG Electronics Research
  23. Development of Multi-sensor Intelligent Edge Camera System (전력설비 고장 감시/사전진단을 위한 다중센서 융합 지능형 AV디바이스 및 플랫폼 개발), May. 2017 – Apr. 2020
    [PI], Funded by the Korea Electric Power Corporation Research Institute
  24. Commercialization of smartphone/PC compatible mobile Braille pad and content production/service system, Aug. 2016 – Aug. 2019
    (Collaborative research, PI: Prof. Jinsoo Cho, Department of Computer Engineering, Gachon University), Funded by Commercializations Promotion Agency for R&D Outcomes, Korea
  25. Sensor Networking Protocols for Emergency Data Collection, Jun. 2016 – Nov. 2016
    (Collaborative research, PI: Prof. Sungrae Cho, Ubiquitous Computing Lab., Chung-Ang University, Seoul, Korea), Funded by Electronics and Telecommunications Research Institute (ETRI), Korea
  26. Haptic Video Conferencing System for Individuals with Visual Impairments, Jul. 2015 – Jun. 2018
    [PI], Basic Science Research Program through the National Research Foundation of Korea(NRF) funded by the Ministry of Science, ICT & Future Planning(NRF-2015R1C1A1A02037743)
  27. Haptic Telepresence System for Individuals with Visual Impairments, Apr. 2015 – Mar. 2017
    [PI], Funded by Gachon University, Korea

Research

1. [Video Standard] Gaussian Splat Coding

3D Gaussian Splatting (3DGS) is a cutting-edge technique that efficiently reproduces complex scenes by representing the 3D structure of a scene as continuous Gaussian distributions. This technology enables faster scene rendering compared to traditional 3D reconstruction methods. At MCSL, we are exploring new possibilities for immersive media applications by following MPEG’s new standardization activity, MPEG JPEG Gaussian Splat Coding (GSC), and researching MPEG GSC standard-based technology. GSC is conducting standardization activities to effectively manage and store the complex color and depth information of the real world, expressed as Gaussian distributions, using neural networks. This allows for the creation of more elaborate and realistic 3D scenes and enables high-quality rendering from various viewpoints and directions. MCSL is researching next-generation immersive media technologies that transcend the limitations of traditional methods by utilizing the efficient representation method based on the GSC standard.

3D Gaussian Splatting (3DGS)는 장면의 3D 구조를 연속적인 가우시안 분포로 표현하여, 복잡한 장면을 보다 효율적으로 재현하는 최신 기술입니다. 이 기술은 기존의 3D 재구성 방식에 비해 고속으로 장면을 렌더링할 수 있습니다. MCSL에서는 이러한 3DGS 데이터를 효율적으로 부호화하는 MPEG의 새로운 표준화 활동인 MPEG JEE6 Gaussian Splat Coding (GSC)을 팔로우하며 MPEG GSC 표준 기반 기술을 연구하여 몰입형 미디어 응용의 새로운 가능성을 탐구하고 있습니다. GSC 표준 기반 기술에서는 신경망을 사용하여 가우시안 분포로 표현된 현실 세계의 복잡한 색상과 깊이 정보를 효과적으로 관리하고 저장하기 위한 표준화 활동을 수행하고 있습니다. 이를 통해 더욱 정교하고 사실적인 3D 장면을 생성할 수 있으며, 다양한 시점과 방향에서 고품질의 렌더링을 가능하게 합니다. MCSL은 GSC 표준 기반 기술의 효율적인 표현 방식을 활용하여 전통적인 방식의 한계를 넘어선 차세대 몰입형 미디어 기술을 연구하고 있습니다.

1.1. Scalable Gaussian Splatting

By leveraging 4DGS, the dynamic scene extension of 3DGS, volumetric video can be represented. At MSCL, Scalable 4DGS is being investigated to adaptively adjust model complexity based on network bandwidth and client device conditions. Spatiotemporal Gaussian data are partitioned into multiple layers according to their capacity for expressing spatial detail and trained via a stagewise optimization strategy. Transmitting different layer levels as needed allows fluid control of reconstruction detail. In parallel, temporal scalability is under development to hierarchize motion reconstruction accuracy, and ROI based scalability segments scenes, identifies key regions and hierarchizes detail levels based on importance.

동적 장면을 표현하는 3DGS 응용형인 4DGS 를 활용한다면 볼류메트릭 비디오를 재구성할 수 있습니다. MCSL에서는 네트워크 대역폭, 클라이언트 디바이스 상황에 적응적으로 4DGS 모델의 복잡도를 조절할 수 있는 Scalable 4DGS를 연구하고 있습니다. 시공간 Gaussian 데이터를 공간적 디테일 표현력에 따라 다수의 layer 로 분할한 후, 단계적 최적화 전략을 통해 이를 훈련합니다. 상황에 따라 다양한 레벨의 layer 를 전송함으로써 유동적으로 재구성 디테일을 조절할 수 있습니다. 이와 더불어 모션 복원 정확도를 계층화하는 시간적 scalability, 장면 내 segmentation 을 수행 후 중요 영역을 판별하여 이를 바탕으로 디테일 레벨을 계층화하는 ROI-based scalability 를 개발하는 연구를 진행중입니다.


1.2. Gaussian Splatting Quality Assessment

Video quality assessment has traditionally focused on 2D content using objective metrics such as PSNR, SSIM, and VMAF. Recently, there has been a growing need for reliable evaluation methods for 3D content that includes depth information and complex scene structures. In particular, with the advancement of immersive content and 6DoF technologies, establishing quantitative criteria for consistent quality across various viewpoints has become an important challenge.To address this, MCSL is developing deep learning-based quality assessment techniques for 3D scene representations using 3D Gaussian Splatting (3DGS). This includes quantifying quality features at both the viewwise and pointwise levels and combining them into a single quality score. In parallel, we are building a subjective evaluation environment and using collected data to train and validate prediction models.Additionally, we are developing no-reference quality prediction models and test datasets applicable to various 3DGS scenarios. This technology is expected to evolve into an automated quality evaluation tool for real-time 3D video services and immersive content production in the future.

영상 화질 평가는 기존 2D 콘텐츠를 중심으로 PSNR, SSIM, VMAF 등의 지표를 활용해 활발히 연구되어 왔으며, 최근에는 깊이 정보와 복잡한 구조를 포함하는 3D 콘텐츠에 대한 신뢰성 있는 평가 기법의 필요성이 커지고 있습니다. 특히, 실감형 콘텐츠와 6DoF 기술의 발전에 따라 다양한 시점에서도 일관된 품질을 정량적으로 평가할 수 있는 기준 마련이 중요한 과제로 부상하고 있습니다.MCSL에서는 이러한 요구에 대응하여 3D Gaussian Splatting(3DGS) 기반 장면 표현을 대상으로, 시점(Viewwise) 및 포인트(Pointwise) 단위의 품질 특성을 정량화해 하나의 화질 점수로 도출하는 딥러닝 기반 평가 기법을 개발 중입니다. 또한 주관적 평가 실험 환경을 구축하고 수집된 데이터를 활용해 예측 모델의 학습과 검증을 수행하고 있습니다. 아울러, 비참조 환경에서도 활용 가능한 화질 예측 모델과 테스트 데이터셋을 함께 개발하고 있으며, 해당 기술은 향후 실시간 3D 영상 및 몰입형 콘텐츠 제작에서 자동화된 품질 평가 도구로 확장될 수 있도록 연구를 진행하고 있습니다.

1.3. Secured GS Streaming

While extensive research has been conducted on 2D video streaming based on the MPEG Dynamic Adaptive Streaming over HTTP (MPEG-DASH) standard, which utilizes the MP4 container format, core technologies for streaming point clouds—a prominent 3D content format—have also been under development. At MCSL, we are researching essential technologies for streaming point clouds and Gaussian radiance fields, building upon emerging next-generation immersive media technologies like 3D Gaussian Splatting (3DGS) and the next-generation standardization efforts of the MPEG GSC group. To this end, MCSL is investigating Scalable GS technology, the packaging of MPEG Video-based Point Cloud Compression (V-PCC) and Geometry-based Point Cloud Compression (G-PCC) bitstreams based on the glTF container format, and server-client streaming of heterogeneous 3D object container files with consideration for copyright protection use cases. Concurrently, we are actively participating in the standardization activities of MPEG WG3 Systems, including MPEG-DASH and Scene Description.

2D 영상 기반 스트리밍은 MP4 컨테이너 포맷 표준 기반의 HTTP 서버 스트리밍 방식인 MPEG Dynamic Adaptive Streaming over HTTP (MPEG-DASH) 표준을 기반으로 많은 연구가 진행되어 왔으며, 나아가 3D 콘텐츠 포맷 중 하나인 포인트 클라우드의 스트리밍을 위한 요소 기술 또한 연구되어 오고 있습니다. MCSL은 떠오르고 있는 차세대 몰입형 미디어 기술 중 하나인 3D Gaussian Splatting (3DGS)와 MPEG GSC 표준화 그룹의 차세대 표준화 기술을 기반으로 하여 포인트 클라우드 및 가우시안 방사형 필드의 스트리밍을 위한 요소 기술을 연구하고 있습니다. MCSL은 이를 위해 Scalable GS 기술과 더불어 MPEG Video-based Point Cloud Compression (V-PCC)/Geometry-based Point Cloud Compression (G-PCC) 비트스트림의 glTF 컨테이너 포맷 기반 패키징, 저작권 보호 사용 사례를 고려한 이종 3D 객체 컨테이너 파일의 서버-클라이언트 스트리밍 기술 등을 연구하고 있으며, 이와 함께 MPEG WG3 Systems의 MPEG-DASH, Scene Description 등 표준화 활동에 참여하고 있습니다.

1.4. [Immersive 3D Computing] 3D Mesh Reconstruction

Mesh is a representative 3D geometric representation composed of vertices, edges, and faces, and is widely used in fields such as graphics, simulation, and CAD. At MCSL, we are conducting research to convert sparse and incomplete point clouds—typically generated from Structure-from-Motion (SfM) reconstruction-into high-quality meshes by performing precise feature matching to densify the point cloud. Furthermore, we apply a density-based Level of Detail (LoD) mesh generation method that considers the varying complexity and importance of objects in real-world scenes. This allows key objects to be represented in high resolution while simplifying backgrounds or less important regions, thereby reducing overall data size and processing cost. Such optimized mesh generation techniques can be effectively applied in real-time visualization, digital twins, and immersive content creation.

메쉬(Mesh)는 정점, 간선, 면으로 구성된 대표적인 3D 기하 표현 방식으로, 그래픽스, 시뮬레이션, CAD 등 다양한 분야에서 폭넓게 활용되고 있습니다. MCSL에서는 Structure-from-Motion(SfM) 기반 재구성에서 생성되는 희소하고 불완전한 포인트 클라우드를 정밀한 feature matching을 통해 조밀하게 보완한 뒤, 이를 고품질 메쉬로 변환하는 연구를 수행하고 있습니다. 또한, 객체별 복잡도와 중요도를 고려한 밀도 기반 LoD(Level of Detail) 메쉬 생성 기법을 적용하여, 주요 객체는 고해상도로 표현하고 배경이나 단순한 영역은 간소화함으로써 전체 데이터 용량과 처리 비용을 효과적으로 줄입니다. 이러한 최적화된 메쉬 생성 방식은 실시간 시각화, 디지털 트윈, 몰입형 콘텐츠 제작 등 다양한 3D 응용 분야에 폭넓게 활용될 수 있습니다.

2. [Video Enabling] 6DoF Immersive Video Capturing System

3 degrees of freedom(3DoF) video is an immersive video that considers only rotational motion based on the x-axis, y-axis, and z-axis in a fixed position. Further from 3DoF, 6 degrees of freedom(6DoF) is a realistic video that users can watch while moving their position directly in 3 axial directions, as well as in-place rotational motion. MCSL is actively researching advanced capturing techniques, including lighting control, depth estimation accuracy, and resolving issues related to depth data capture. Specifically, our research incorporates 3D Gaussian Splatting (3DGS) to efficiently represent complex depth and color data, enhancing the realism and quality of 6DoF video content. Additionally, we are extending our immersive media research beyond static camera setups by integrating mobile robotic platforms. These robots facilitate dynamic and automated acquisition of immersive video data, enabling flexible and comprehensive coverage of complex environments. Our research involves robot path optimization, real-time sensor synchronization, and improved depth capture accuracy, streamlining the creation of high-quality immersive content.

3 degrees of freedom(3DoF) 비디오는 고정된 위치에서 x축, y축, z축을 기준으로 하는 회전운동만을 고려하는 실감형 비디오 기술입니다. 3DoF에서 더 나아가, 6 degrees of freedom(6DoF) 비디오는 제자리 회전운동뿐만 아니라 사용자가 3가지 축 방향으로 자신의 위치를 직접 이동하면서 볼 수 있는 실감형 비디오입니다. MCSL에서는 취득 과정에서 발생하는 조명 문제와 깊이 데이터 관련 이슈를 해결하기 위한 고급 캡쳐링 기술을 연구하고 있습니다. 특히 3D Gaussian Splatting(3DGS)을 활용하여 복잡한 깊이 및 색상 데이터를 효율적으로 표현하고, 6DoF 비디오 콘텐츠의 사실성과 품질을 향상시키고 있습니다. 또한, 정적인 카메라 설정을 넘어 모바일 로봇 플랫폼과 통합하여 동적이고 자동화된 몰입형 비디오 데이터를 취득하고 있습니다. 로봇 시스템을 통해 복잡한 환경에서도 보다 유연하고 포괄적으로 데이터를 다룰 수 있도록 실시간 센서 동기화, 깊이 데이터 정확성 향상 등의 연구를 진행하여 고품질의 몰입형 콘텐츠 제작 과정을 최적화하고 있습니다.

Past Research

Overall Research Goal: Merciless Video Processing (MVP)
: Video decoding speed-up for mobile VR by using Tiled-SHVC as well as asymmetric mobile CPU multicores.

1. [Video System] HEVC Parallel Processing for Asymmetric Multicore Processors

1.1. Tile Partitioning-based HEVC Parallel Processing Optimization

Recently, there is an emerging need for parallel UHD video processing, and the usage of computing systems that have an asymmetric processor such as ARM big.LITTLE is actively increasing. Thus, a new parallel UHD video processing method that is optimized for the asymmetric multicore systems is needed.
This study proposes a novel HEVC tile partitioning method for parallel processing by analyzing the computational power of asymmetric multicores. The proposed method analyzes (1) the computing power of asymmetric multicores and (2) the regression model of computational complexity per video resolution. Finally, the model (3) determines the optimal HEVC tile resolution for each core and partitions/allocates the tiles to suitable cores.
The proposed method minimizes the gap in the decoding time between the fastest CPU core and the slowest CPU core. Experimental results with the 4K UHD official test sequences show average 20% improvement in the decoding speedup on the ARM asymmetric multicore system.

1.2. Prediction Complexity-based HEVC Parallel Processing Optimization

We also study a new HEVC Tile allocation method considering the computational ability of asymmetric multicores as well as the computational complexity of each Tile.
The computational complexity of each Tile can be measured using the amount of HEVC prediction unit (PU) partitioning.
Our implemented system (1) counts and sorts the amount of PU partitioning of each Tile and (2) allocates Tiles to asymmetric big/LITTLE cores according to their expecting computational complexity. 4K PeopleOnStreet test sequence, thee coding structures such as random access (RA), all intra (AI), and low-delay B (LDB) defined in the common test condition (CTC) of HEVC standard, and 6 multicores consists of 2 big cores and 4 little cores were used for experiments.
When experiments were conducted, the amount of PU partitioning and the computational complexity (decoding time) show a close correlation, and average performance gains of decoding time were 5.24% for 6 tiles and 8.44% for 12 tiles, respectively. The proposed method with adaptive allocation shows the average performance 18.03% as well.

한글요약:

최근 비디오 시스템은 초고해상도 영상의 사용으로 병렬처리의 필요성이 대두되고 있고, 시스템은 ARM big.LITTLE 같은 비대칭 처리능력을 지닌 컴퓨팅 시스템이 도입되고 있다. 따라서, 이 같은 비대칭 컴퓨팅 환경에 최적화된 초고해상도 UHD 비디오 병렬처리 기법이 필요한 시점이다.
본 연구는 인코딩/디코딩시에 비대칭 컴퓨팅 환경에 최적화 된 HEVC 타일(Tile) 분할 기법을 제안한다. 제안하는 방식은 (1) 비대칭 CPU 코어들의 처리능력과 (2) 비디오 크기별 연산 복잡도 분석 모델을 분석하여, (3) 각 코어에 최적화된 크기의 타일을 할당함으로써, 처리속도가 빠른 CPU 코어와 느린 코어의 인코딩/디코딩 시간차를 최소화한다.
이를 ARM기반의 비대칭 멀티코어 플랫폼에서 4K UHD 표준 영상을 대상으로 실험하였을 때, 평균 약 20%의 디코딩 시간 개선이 발생함을 확인하였다.
또다른 방법으로, 우리는 HEVC의 Tile 사이즈가 인코딩시에 이미 동일하게 나뉘어져있을 경우도 연구한다. 이 연구는 (1) Prediction Unit (PU)의 Partitioning 횟수를 분석함으로써 Tile별 연산 복잡도를 계산하고, (2) 이 복잡도 기반으로 Big/LITTLE의 Asymmetric cores에 각 Tile을 할당하여 디코딩을 하는데, HEVC 표준화 활동의 기본 실험 조건에 맞추어 4K PeopleOnStreet 테스트 컨텐츠를 대상으로 실험한 결과 6개의 Tile을 대상으로는 5.24%, 12개의 Tile을 대상으로는 8.44%의 디코딩 속도 향상을 확인하였다. 추가적으로 코어에 적응적인 Tile 할당을 수행한 결과, 18.03%의 디코딩 속도 향상을 확인하였다.

2. [Cyber Physical Systems(CPS)]Haptic Telepresence System for the Individuals with Visual Impairments

This study proposes a novel video conferencing system for individuals with visual impairments by using an RGB-D sensor and haptic device. The recent improvement on RGB-D sensors has enabled real-time access on 3D spatial information in the form of point clouds. However, the real-time representation of this data in the form of tangible haptic experience has not been challenged enough, especially in the case of telepresence. Thus, the proposed system addresses the telepresence of remote 3D information using an RGB-D sensor through video encoding and 3D depth-map enhancement by utilizing both 2D image and depth-map. In our implemented system, the Kinect sensor from Microsoft is an RGB-D sensor that provides depth and color images at a rate of approximately 30 fps. The Kinect depth data frame is buffered, projected into a 3D coordinate system with resolution 640 by 480, and then transformed into a 3D map structure.
To verify the benefits of the proposed video content adaptation method for individuals with visual impairments, this study conducts 3D video encoding and user testing. In conclusion, the proposed system provides a new haptic telepresence system for individuals with visual impairments by providing an enhanced interactive experience.

한글요약:

정보통신 기술의 발달과 스마트폰의 보급으로 일반 사용자들은 언제, 어디서나 가족 및 주변 사용자들의 모습을 바라보며 통화를 할 수 있게 되었고, 원하는 영상이나 사진을 감상할 수 있다. 하지만 시각장애인들은 이들을 위한 연구 및 사회적 인프라의 부족으로 인하여 이와 같은 서비스들의 제공 대상에서 늘 제외되어 왔다. 이러한 사항을 개선하기 위하여 본 연구는 시각장애인들을 위한 새로운 방식의 촉각TV 시스템을 제안한다. 제안하는 시스템은 크게 3D 캡쳐(Capture) 기술, 실시간 전송/스트리밍 기술, 햅틱(Haptic) 장치 및 액츄에이터(Actuator)제어 기술로 구성되며, 이동이 불편한 시각 장애인이 제한적 기능일지라도 원격의 가족 얼굴 윤곽을 느끼고 인식하고 TV 및 사진감상을 가능하게 하려는 노력이다. 현재는 2D Braille (점자) Pad 개발로 본 연구를 확장하고 있다.

3. [Video Standard] Viewport Dependent 360-Degree Video Streaming

360-degree video streaming for virtual reality (VR) is emerging. However, the computational ability and bandwidth of the current VR are limited when compared to the high-quality VR. To overcome these limits, we proposes a new viewport dependent streaming method that transmits 360-degree videos using the high efficiency video coding (HEVC) and the scalability extension of HEVC (SHVC). The proposed SHVC and HEVC encoders generate the bitstream that can transmit tiles independently. The proposed extractor extracts the bitstream of the tiles corresponding to the viewport from the bitstream generated by the proposed encoder. SHVC video bitstream extracted by the proposed methods consist of (i) an SHVC base layer (BL) which represents the entire 360-degree area and (ii) an SHVC enhancement layer (EL) with region of interest (ROI) tiles. When the proposed HEVC encoder is used, low resolution and high resolution sequences are separately encoded and serve as BL and EL. By transmitting the BL(low resolution) and EL(high resolution) with ROI tiles, the proposed method helps reduce not only the computational complexity on the decoder side but also the network bandwidth.

4. [Video Enabling] Tile-based Streaming with Saliency map

We also experiment taking advantage of a tile-based approach using saliency map that integrates information of human visual attention on the contents to deliver high-quality tile in a region of interest (ROI). In our method, 360-degree videos are encoded in various quality levels with MCTS techniques, then we assign tile quality level using saliency map predicted by existing convolutional neural network (CNN) model. Consequently, The mixed quality videos based on saliency map enable efficient streaming in 360-degree videos. We get viewport position from eye fixation history (e.g. longitude, latitude, frame), then render the viewport with 90◦×90◦ FoV 2D image from ERP. Then compute the peak signal-to-noise ratio (PSNR) to the rendered viewport. Through the evaluation using Salient360! dataset, we show that the proposed method results in significant improvement in terms of bandwidth with little loss of viewport image quality.

5. [Video Standard] 3DoF+ 360-degree Video System for Immersive VR services

Immersive video streaming has become a very popular service in these days. To increase the user experience on immersive video, user movement adaptive video streaming, 3DoF+, has emerged, and expected to meet this growing demand. While maintaining the upper limit of the bandwidth, providing high quality immersive experience is challenging since 3DoF+ requires multi-view video transmission. 
The proposed system addresses the bitrate efficient 360 system architecture for 3DoF+ 360 video streaming and proposes two main ideas : (i) multi-view video redundancy removal method, (ii) multi-view video packing. In this research, high efficiency video coding (HEVC) reference model and reference view synthesizer (RVS) are used. The proposed system requires less decoders to clients, which decreases burden for immersive video streaming.

6. [Video Streaming] Real-time streaming using private protocol QRTP

Currently, High-Efficiency Video Coding (HEVC) has become the most promising video technology. However, the deployment of HEVC into video streaming system was limited by elements such as cost, the complexity of the design and the compatibility with current systems. While HEVC was considering deploying into various systems with many restrictions, H264-AVC can be the best option for current video streaming systems. This paper presents an adaptive method to manipulate video stream by using video coding on a designed integrated circuit (IC) with a private network processor. The proposed system provides a possibility to stream multimedia data from a camera or other video sources. For this work, a sequence of video/audio packets from video source are forwarded to designed IC, which called as transmitter Tx. The transmitter Tx processes input data into a real-time stream by using private protocol QRTP according to Real-Time Transport Protocol (RTP) for video/audio, then Tx transmits them to video client via the internet. Video client can include hardware decoder or software decoder to process received video stream. Tx uses video coding H264-AVC or HEC to encode multimedia data. By controlling the message exchanging between Tx and Rx/video client, the streaming can be established rapidly, and the streaming throughput can be achieved around 50 Mbps with latency approximate 80 msec.

7. [Video Analytics] Personalized Video Summarization (Movie Trailer) and Recommendation

ImageNet에서 우승한 딥러닝 알고리즘인 AlexNet이 발표된 2012년 이후, 많은 연구단체들은 딥러닝을 이용한 비디오 분석 연구를 수행하고 있다. 최근에는, Netflix, Facebook, Amazon, Flickr 등의 글로벌 기업들은 비디오에 담긴 수많은 메타데이터, 그리고 분석이 가능한 많은 특징 요소들을 활용하여 사용자 비디오 기반의 비디오 스트리밍 서비스를 연구하고 있다. 이러한 연구들은 각 가정에서 이용하는 홈 VoD 서비스, 스마트폰과 태블릿과 같은 모바일 기기에서 이용하는 웹 비디오 스트리밍 서비스, 그리고 유튜브, 트위치 등에서 서비스하는 개인 미디어 방송 스트리밍 서비스에 활용된다. 본 연구는 시청자가 비디오 시청 시에, 맞춤형 스트리밍 서비스를 위한 시청자 분석 및 비디오 장르 및 감정인식을 수행한다. 제안하는 방식은 (1) 시청자가 시청하는 비디오를 딥러닝 기반의 장르 및 감정을 분석하여 결과를 도출하고, (2) 이 결과를 토대로 한 시청자의 반응을 분석하여 감정의 긍정 또는 부정 분류를 나타낸다. 이 방법을 통해, 시청자를 위한 맟춤형 비디오 서비스를 제공하며, 비디오 공급자는 시청자들을 위한 비디오를 더욱 정확하고 자동적으로 제공할 수 있다. 이 시스템의 흐름은 아래의 그림과 같다. (1)에서는 기본적으로 비디오에 담긴 제목, 자막 등의 메타데이터와 비디오, 오디오에서 키 프레임을 추출하여 색상, 움직임 등의 특징들을 선택적으로 활용한다. (2)에서는 비디오 디스플레이와 함께 웹캠을 이용하여, 딥러닝 기반의 얼굴 인식 알고리즘 활용해 사용자의 감정을 추출한다. 이를 서버에서 받아 비디오와 사용자 간의 조화도를 측정한다. 측정한 조화도를 통하여 비디오 공급자가 제공하는 최적의 비디오를 추천한다.

8. [Video Analytics] Client-Driven Personalized Trailers Framework Using Thumbnail Containers

Movie trailers are prepared using a one-size-fits-all framework. These days, however, streaming platforms seek to overcome this problem and provide personalized trailers via the investigation of centralized server-side solutions. This can be achieved by analyzing personal user data, and can lead to two major issues: privacy violation and enormous demand in computational resources. This paper proposes an innovative, low-power, client-driven method to facilitate the personalized trailer generation process. It tackles the complex process of detecting personalized actions in real-time from lightweight thumbnail containers. The HTTP live streaming (HLS) server and client are locally configured to validate the proposed method. The system is designed to support a wide range of client hardware with different computational capabilities and has the flexibility to adapt to network conditions. To test the effectiveness of this method, twenty-five broadcast movies, specifically in the western and sports genres, are evaluated. To the best of our knowledge, this is the first-ever client-driven framework that uses thumbnail containers as input to facilitate the trailer generation process.

9. [Video Standard] MPEG Immersive Video (MIV)

MPEG Immersive Video (MIV) is a new standard for encoding and streaming immersive video content, such as virtual reality and augmented reality. MIV offers several benefits over existing video codecs, including better compression, improved image quality, and support for 360-degree and 3D video. MCSL is working to develop new MIV technologies that can be used in a variety of immersive media applications, including virtual reality, immersive education and training, and telepresence.

MPEG Immersive Video (MIV)는 가상 현실과 증강 현실과 같은 몰입형 비디오 콘텐츠를 인코딩하고 스트리밍하기 위한 새로운 표준입니다. MIV는 기존의 비디오 코덱보다 더 나은 압축률, 개선된 이미지 품질, 360도 및 3D 비디오 지원 등의 장점을 제공합니다. MCSL은 MIV 기술을 개발하여 가상현실, 몰입형 교육 및 훈련, 원격 회의 등 다양한 몰입형 미디어 응용 분야에서 활용할 수 있는 기술을 연구하고 있습니다.