콘텐츠
컴퓨팅 사진, 고품질 카메라 하드웨어 및 이미지 신호 프로세서 외에도 첨단 모바일 사진은 인공 지능 (AI)이라고도하는 기계 학습 알고리즘에 의해 점점 강화되고 있습니다. 이 사진 기술은 사진과 비디오를 촬영하고 편집 할 수있는 독창적이고 새로운 방법을 제공하면서 DSLR과 같은 품질을 향한 품질 향상을 약속합니다.
머신 러닝의 핵심은 신경망의 사용입니다. 이것은 종종 인간의 뇌에 비유되는 일종의 알고리즘입니다. 이 비교는 데이터를 사용하여 패턴을 인식하기 위해 신경망의 훈련 능력에서 비롯된 것으로 오디오 및 이미지와 같은 복잡한 데이터 유형에 대해 매우 정확한 분류를 수행 할 수 있습니다.
사진과 관련하여 관찰, 학습, 생성 및 분류 기능은 광범위한 응용 분야에 적용됩니다. 이러한 응용 프로그램에는 후 처리 알고리즘 개선을위한 전산 사진 기술 기반 구축, 4K 비디오가 포함 된 실시간 소프트웨어 보케 또는 착용 한 옷의 색상을 완전히 교체하는 등의 기능이 포함될 수 있습니다.
신경망 작동 방식
신경망은 매우 복잡한 주제이므로 여기서는 기본 사항 만 다룰 것입니다. 더 자세한 내용은 여기 및 여기에서 가이드를 확인하십시오.
신경망은 노드로 구성되어 있으며, 이는 일부 계산이 수행되는 위치를 나타냅니다. 각 노드는 입력을 가중치와 결합하여 특정 노드의 중요도를 증폭 또는 감쇠시킵니다. 여러 노드가 병렬로 작동하여 더 큰 작업을 수행하는 노드 계층을 만듭니다. 예를 들어 이미지 내에서 기능을 감지 할 수 있습니다. 여러 노드와 레이어를 합산하여 다른 노드와 레이어로 전달하여보다 강력한 기능으로 더 깊은 네트워크를 형성 할 수 있습니다.
각 노드와 레이어의 출력은 확률 함수로 조정됩니다. 신경망은 다양한 기능과 특성을 통해 예상되는 모든 잠재적 출력에 대한 확률 일치로 입력을 평가할 수 있습니다. 이미지 감지 알고리즘이 사진이 고양이 나 오렌지처럼 보이는지 결정하는 방법이지만 먼저 찾아야 할 부분을 알려야합니다.
신경망은 기존의 컴퓨터 알고리즘처럼 프로그래밍되지 않습니다. 대신 이미지, 사운드 파일 등과 같은 데이터 세트에 대해 학습합니다. 각 노드의 가중치는 네트워크가 입력을 올바른 출력에 얼마나 잘 일치 시켰는지에 따라 피드백 루프를 통해 시간이 지남에 따라 점진적으로 조정됩니다. 규칙의이 점진적인 "학습"은 상당한 준비, 시간 및 컴퓨팅 능력을 필요로하지만 현상 적으로 정확한 결과를 생성합니다.
스마트 폰 내부의 신경망
신경망은 스마트 폰을 포함한 다양한 컴퓨팅 장치 내에서 일반적인 CPU 및 GPU 부품을 포함하여 다양한 하드웨어 구성 요소에서 실행될 수 있습니다. 그러나 일부 신경망은 이러한 하드웨어 구성 요소가 제공 할 수있는 것보다 더 많은 처리 성능을 요구할 수 있으며 전용 하드웨어는 필요한 최적의 처리를 제공 할 수 있습니다.
예를 들어 Qualcomm® Snapdragon ™ 855 모바일 플랫폼에는 최신 Qualcomm® Hexagon ™ 690 DSP (Digital Signal Processor)가 있으며 향상된 벡터 처리 장치와 기계 학습 작업을위한 새로운 Tensor Accelerator가 있습니다. 다른 Snapdragon 모바일 플랫폼에는 다양한 기능을 갖춘 Hexagon DSP 구성 요소도 있습니다. 따라서 신경망은 Snapdragon 및 기타 모바일 플랫폼의 DSP에서만 실행되는 것으로 제한되지 않습니다. 사용되는 프로세서 유형은 작업 부하에 따라 다릅니다.
Qualcomm Snapdragon 855 머신 러닝 개선으로 이전 세대와 비교
Qualcomm Technologies는 Qualcomm® Neural Processing SDK를 통해 타사 개발자에게 DSP 및 기계 학습 기능을 제공합니다. 이를 통해 앱은 Snapdragon 모바일 플랫폼 내의 모든 하드웨어 코어에서 신경망을 실행할 수 있습니다. 예를 들어 Google Pixel 스마트 폰은 Hexagon DSP 및 자체 Visual Core를 활용하여 인상적인 HDR + 사진 기능을 가속화합니다. Qualcomm Technologies는 Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho 등과 같은 소프트웨어 공급 업체와 협력하여 DSP에서 실행되는 기계 학습을 사용하여 비디오 보케에서 아바타 생성에 이르는 기능을 지원합니다.
AI는 사진의 미래를 형성 할 수 있습니다
이제 우리는 신경망이 어떻게 작동하는지 알고 있습니다. 중요한 질문은 그것이 우리와 사진을 위해 무엇을 할 수 있는가입니다.
신경망은 다양한 일반적인 사진 알고리즘을 개선하는 데 사용됩니다. 예를 들어, 특정 카메라 또는 촬영 유형에 맞는 뛰어난 이미지 정리를 제공하기 위해 훈련을 통해 노이즈 제거 기능을 개선 할 수 있습니다. 마찬가지로, 낮은 조명의 경우 신경망은 이미지의 밝고 어두운 부분을 감지하여 장면의 특정 부분에서 빛과 색상을 향상시킬 수 있습니다.
스마트 폰 사진에서 고급 사용 사례가 점차 보편화되고 있습니다. 초 고해상도 줌은 신경망을 사용하여 여러 이미지를 하나의 고해상도 샷으로 결합하여 뛰어난 디지털 줌을 제공합니다. HDR 및 야간 촬영을 향상시키기 위해 여러 사진 노출을 정확하게 스티칭하도록 신경망을 훈련시킬 수도 있습니다.
AI 사진에는 초 고해상도 줌, 실시간 보케 및 개선 된 이미지 품질이 포함될 수 있습니다.
비디오는이 기술을 채택함으로써 이익을 얻을 수도 있습니다. 실시간 객체 감지는 앱이 녹화 할 때 소프트웨어 보케 효과를 비디오에 바로 도입 할 수 있도록 설계되었습니다. 유사한 기술도 실시간 객체 교환 및 제거를 지원합니다. 여기에는 비디오의 배경 교체, 색상 변경 또는 제거, 의류 항목 교체 또는 디지털 아바타를 비디오에 직접 중첩시키는 것도 포함됩니다.
신경망 네트워킹 및 AI 사진의 강력한 기능은 품질 향상에서 DSLR의 격차를 좁히는 데 도움이되는 독창적 인 콘텐츠 제작을위한 강력한 창의성 도구에 이르기까지 다양합니다. 어느 쪽이든, 그것은 모바일 사진으로 향하는 미래의 개선에 근본적인 강력한 기술입니다.
다음 것: Google Pixel 3 XL 국제 경품!
Qualcomm Technologies, Inc.가 후원하는 컨텐츠
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine 및 Qualcomm Kryo는 Qualcomm Technologies, Inc. 및 / 또는 그 자회사의 제품입니다.
