An image processor, image processing engine, also called media processor, is a specialized digital signal processor (DSP) used for image processing in digital cameras, mobile phones or other devices.[1][2] Image processors often employ parallel computing even with SIMD or MIMD technologies to increase speed and efficiency. The digital image processing engine can perform a range of tasks. To increase the system integration on embedded devices, often it is a system on a chip with multi-core processor architecture.
이미지 프로세서(이미지 프로세싱 엔진, 그리고 미디어 프로세서로 불리는)는 디지털 카메라, 핸드폰 그리고 다른 장치들에서 사용되는 특화된 디지털 시그널 프로세서(DSP)를 말한다. 이미지 프로세서는 스피드오 효율성을 위해서 SIMD 나 MIMD 와 같은 병렬 컴퓨팅를 사용한다. 디지털 이미지 프로세싱 인진은 여러 Task 를 사용할 수 있다. 임베디드 시스템에서의 시스템 통합을 위해서, 멀티코어 프로세서 시스템 구성을 가진 칩 위에서 사용된다.
Function
Bayer transformation
The photodiodes employed in an image sensor are color-blind by nature: they can only record shades of grey. To get color into the picture, they are covered with different color filters: red, green and blue (RGB) according to the pattern designated by the Bayer filter - named after its inventor. As each photodiode records the color information for exactly one pixel of the image, without an image processor there would be a green pixel next to each red and blue pixel. (Actually, with most sensors there are two green for each blue and red diodes.)
This process, however, is quite complex and involves a number of different operations. Its quality depends largely on the effectiveness of the algorithms applied to the raw data coming from the sensor. The mathematically manipulated data becomes the photo file recorded.
이미지 센서에 사용된 포토 다이오드(감광성의 반도체 장치)는 자연에 의한 color-blind 이다: 회색 그림자만을 저장할 수 있다. 그림에 색을 넣기 위해서는, 서로 다른 Bayer Filter(만든사람 이름)로 디자인된 색 필터가 사용되어야 한다: 빨간색, 녹색 그리고 파란색(RGB). 각각의 포토 다이오드는 하나의 색 정보(RGB 중 1개) 밖에 없기 때문에 이미지 프로세서가 없다면 그냥 녹색 픽셀 옆에 파란색 그 옆에 빨간색 픽셀이 있는 것이다?(실제로는 파란색, 빨간색 하나씩에 녹색은 2개가 있다.)
하지만 이 프로세스는 꽤 복잡하며 많은 작업들이 연관되어 있다. 품질은 sensor 에서 받은 raw 데이터에 대한 알고리즘의 효과성에 달려 있다. 수학적으로 조작된 데이터는 사진 파일이 된다.
Demosaicing
As stated above, the image processor evaluates the color and brightness data of a given pixel, compares them with the data from neighboring pixels and then uses a demosaicing algorithm to produce an appropriate colour and brightness value for the pixel. The image processor also assesses the whole picture to guess at the correct distribution of contrast. By adjusting the gamma value (heightening or lowering the contrast range of an image's mid-tones) subtle tonal gradations, such as in human skin or the blue of the sky, become much more realistic.
이미지 프로세서는 픽셀에 있는 색과 밝기를 평가하고 옆에 있는 픽셀들과 비교하여 demosaicing 알고리즘을 적용하고 나면 적절한 색과 밝기를 생산해 낸다. 이미지 프로세서는 전체 사진에 대해 판단하여 정확한 대비의 분배를 추측한다. gamma 값을 조정하여(이미지의 mid-tone 대비값을 강조하거나 낮추거나 해서) 미묘한 톤의 단계적 차이를 현실감 있게(피부 및 하늘의 파란 색 등) 표현한다.
- 디지털 카메라의 모자이크 형태의 컬러필터배열(CFA)에 의해 만들어진 샘플을 풀컬러 이미지로 변환하는 것(Link)
Noise is a phenomenon found in any electronic circuitry. In digital photography its effect is often visible as random spots of obviously wrong colour in an otherwise smoothly-coloured area. Noise increases with temperature and exposure times. When higher ISO settings are chosen the electronic signal in the image sensor is amplified, which at the same time increases the noise level, leading to a lower signal-to-noise ratio. The image processor attempts to separate the noise from the image information and to remove it. This can be quite a challenge, as the image may contain areas with fine textures which, if treated as noise, may lose some of their definition.
노이즈는 어느 전기적 회로에나 있는 현상이다. 디지털 사진에서 random 하게 명확하게 잘못된 값들이 관찰되게 된다. 노이즈는 온도에 따르거나 노출 시간에 따라 증가되게 된다. 이미지 센서가 증폭될 때에 높은 ISO 셋팅이 사용되면 노이즈 도 같이 증폭되게 된다. 이미지 프로세서는 이미지 정보와 노이즈를 분리하려고 시도한 뒤 노이즈를 제거한다. 이런 것은 꽤 challenge 가 될 수 있다. 이미지에서 정제된 질감을 가질 때는 노이즈로 취급되어 사라질 수도 있다.
Image sharpening
As the color and brightness values for each pixel are interpolated some image softening is applied to even out any fuzziness that has occurred. To preserve the impression of depth, clarity and fine details, the image processor must sharpen edges and contours. It therefore must detect edges correctly and reproduce them smoothly and without over-sharpening.
각 픽셀의 색과 밝기 값들이 interpolate 되어 보풀같은 것들이 일어났을 때 이미지를 부드럽게 만들어낼 때 쓰인다. depth, clarity, fine detail 의 인상을 보존하고 싶을 때, 이미지 프로세서는 에지나 윤곽을 날카롭게 한다. 그래서 에지들을 명확하게 감지하고 그것들을 부드럽게 재현하는 것 그리고 Over sharpening 하는 것이 없어야 한다.
참조: Link
