서문
D5 Render는 최신 버전 2.5에서 “D5 SR 이미지 렌더링”이라는 새로운 기능을 선보였습니다. “SR”은 “슈퍼 레졸루션(Super Resolution)”의 약자로, 저해상도 이미지를 고해상도 이미지로 변환하는 D5의 자체 개발 기술입니다.
신경망 기반 초고해상도 이미지 생성 알고리즘을 바탕으로, D5 SR은 다중 채널 렌더링 피처 맵과 결합되어 이미지 렌더링 속도를 획기적으로 향상시킵니다.
초고해상도 기술은 다양한 애플리케이션에 사용될 수 있습니다. 예를 들어, 비디오 렌더링에서 디테일과 해상도를 향상시킬 수 있으며, 실시간 렌더링에서는 프레임 속도를 높여 사용자 경험을 개선할 수 있습니다.
하지만 솔직히 말해서, 렌더링된 이미지의 해상도를 왜곡 없이 증폭하는 것은 항상 어려운 과제였습니다.
D5 SR의 주요 특징
더 현실적인 재건
Real-esrgan은 D5 Render 이미지를 위해 특별히 훈련되지 않은 블라인드 초해상도 알고리즘입니다. 따라서 렌더링된 이미지의 해상도를 두 배로 높일 때, Real-esrgan은 부자연스러운 질감과 같은 뚜렷한 아티팩트가 나타날 수 있습니다.
하지만 다음 테스트 이미지에서 볼 수 있듯이, D5 SR은 이 문제를 효과적으로 해결했습니다. 이는 D5 SR이 해당 물체의 형상, 재질, 텍스처 및 기타 정보를 추가하여 재구성된 고해상도 이미지의 품질을 향상시켰기 때문입니다.
확대해서 세부 사항을 확인해 보세요. 훈련을 거치지 않은 SR 알고리즘은 흐릿함, 번짐, 비정상적인 질감 등 심각한 왜곡을 일으키는 반면, D5 SR은 그렇지 않다는 것을 알 수 있습니다.
최적화된 성찰
D5 SR을 처음 테스트했을 때, 두 번 확대된 이미지에서는 반사 세부 묘사가 다소 손실되었습니다.
반사 채널과 재질 정보를 불러온 후, D5 SR은 반사광을 더 정확하게 재현할 수 있습니다.
이 두 장면에서 보여지는 차이를 알 수 있습니다.
향상된 렌더링 효율성
D5 SR을 활성화하면 고해상도 이미지의 렌더링 속도가 향상되는 것을 확인할 수 있습니다.
이 장면을 예로 들어보겠습니다.
해상도 16K(15360×8640)의 이미지를 렌더링할 경우, D5 SR이 꺼져 있을 때는 1시간 17분 13초가 소요되지만, 이를 켜면 27분 23초만 소요되어 총 소요 시간에서 65%를 절약할 수 있습니다.
D5 SR 사용 방법
메뉴 > 환경설정 > 위젯으로 이동하여 ‘D5 SR 이미지 렌더링 베타’를 활성화하세요. D5가 이미지를 렌더링할 때 별도의 설정 없이 자동으로 작동합니다.
D5 SR 알고리즘은 해상도가 1440 x 1440보다 큰 이미지에 대해서만 활성화된다는 점에 유의해 주십시오.
D5 SR의 탄생 배경
D5 팀은 D5가 생성한 방대한 양의 이미지 컬렉션을 활용해 SR 알고리즘을 훈련합니다. 이 신경망은 훈련 데이터에서 학습한 선행 정보를 효과적으로 활용하여 더 우수한 고해상도 복원 결과를 제공합니다.
하지만 초기에는 기하학, 재질, 텍스처와 같은 3D 장면 정보가 부족하여 복원 결과와 물리 렌더링 결과 사이에 격차가 생겼습니다. 그래서 더 나은 결과를 얻기 위해 3D 정보를 입력 특징으로 도입했습니다.
기술적으로, D5 연구개발팀은 다음과 같은 작업을 수행했습니다:
먼저, 고해상도 알베도 및 노멀 정보를 사용하여 텍스처와 기하학적 특징을 재구성합니다.
그 다음 반사, 투명도, 금속 재질, 그리고 거칠기 정보를 가져와 반사 및 하이라이트 효과를 최적화합니다.
재구축 결과를 더욱 개선하기 위해 새로운 알고리즘을 사용했습니다. 이는 기존 ESRGAN 신경망을 개선하고, 저해상도 원본 이미지와 고해상도 채널 정보 그래프를 각각 처리하기 위해 듀얼 스트림 네트워크를 사용합니다. 픽셀 오류에 대한 감독을 강화하기 위해 상대 L1 손실 및 지각 손실을 사용했으며, 초해상도 결과를 개선하기 위해 적대적 손실을 도입했습니다.
마지막으로 U-Net 구조를 ESRGAN의 일부 Residual Dense Block으로 대체하여 고해상도 채널 정보 맵의 특징 추출 감지 범위를 확장하고 추론 속도를 더욱 향상시켰습니다.
English
Español
Français
한국어
日本語