레이블이 Image Processing인 게시물을 표시합니다. 모든 게시물 표시
레이블이 Image Processing인 게시물을 표시합니다. 모든 게시물 표시

2018년 5월 21일 월요일

pclk

pclk: Pixel CLocK

Camera interface

The CAMIF, also the Camera Interface block is the hardware block that interfaces with different image sensor interfaces and provides a standard output that can be used for subsequent image processing.

A typical Camera Interface would support at least a parallel interface although these days many camera interfaces are beginning to support the MIPI CSI interface.

The camera interface's parallel interface consists of the following lines :-

8 to 12 bits parallel data line

These are parallel data lines that carry pixel data. The data transmitted on these lines change with every Pixel Clock (PCLK).
Horizontal Sync (HSYNC)

This is a special signal that goes from the camera sensor or ISP to the camera interface. An HSYNC indicates that one line of the frame is transmitted.
Vertical Sync (VSYNC)

This signal is transmitted after the entire frame is transferred. This signal is often a way to indicate that one entire frame is transmitted.
Pixel Clock (PCLK)

This is the pixel clock and it would change on every pixel.
NOTE: The above lines are all treated as input lines to the Camera Interface hardware.

Example
Let us suppose that a sensor is transmitting a VGA frame 640x480. The video frame is of a format RGB888. Let's assume that we have a camera sensor transmitting 8 bits per pixel clock (PCLK). This means to transfer one pixel of data, 3 PCLKs would be required. The HSYNC would be fired by the sensor after every 640 x 3, 1920 PCLKs. A VSYNC would be fired by the sensor after the entire frame is transmitted i.e. after 1920x480, 921600 PCLKs.
센서가 VGA 프레임 640x480을 전송한다고 가정 해 봅시다. 비디오 프레임은 RGB888 형식입니다. 우리가 픽셀 클록 (PCLK) 당 8 비트를 전송하는 카메라 센서를 가지고 있다고 가정 해 봅시다. 이것은 한 픽셀의 데이터를 전송하는 것을 의미하며, 3 개의 PCLK가 필요합니다. HSYNC는 640 x 3, 1920 PCLK마다 센서에 의해 발사됩니다. VSYNC는 전체 프레임이 전송 된 후 즉 1920x480, 921600 PCLK 이후에 센서에 의해 시작됩니다.

The camera interface's hardware block (that could be a part of any SOC) would constantly monitor the above lines to see if the sensor has transmitted anything. A typical camera interface would come with some internal buffering and would also have an associated DMA to transfer the image to the destination memory. The buffer would capture the incoming pixels to temporarily buffer them, and using the DMA the pixels would be transferred (probably line by line) through multiple burst DMA transfers to a destination address in the memory (pre programmed by the camera interface driver programmer). The camera interface's programmer interface might also give a facility of issuing hardware interrupts upon the receipt of the HSYNC, VSYNC signals to the host micro-controller. This could serve as a useful trigger for DMA reprogramming if required.
카메라 인터페이스의 하드웨어 블록 (SOC의 일부일 수 있음)은 센서가 아무 것도 전송하지 않았는지 확인하기 위해 위의 라인을 지속적으로 모니터링합니다. 전형적인 카메라 인터페이스는 약간의 내부 버퍼링을 가지며 이미지를 대상 메모리로 전송하는 관련 DMA를 갖습니다. 버퍼는 들어오는 픽셀을 캡처하여 일시적으로 버퍼에 저장하고, DMA를 사용하면 메모리의 대상 주소 (카메라 인터페이스 드라이버 프로그래머가 사전 프로그래밍 한)로 다중 버스트 DMA 전송을 통해 픽셀이 전송됩니다. 카메라 인터페이스의 프로그래머 인터페이스는 호스트 마이크로 컨트롤러에 대한 HSYNC, VSYNC 신호 수신시 하드웨어 인터럽트를 발행하는 기능을 제공 할 수도 있습니다. 필요할 경우 DMA 재 프로그래밍을위한 유용한 트리거 역할을 할 수 있습니다.




2017년 11월 18일 토요일

Color space and bits per pixel

Color model name describes the video color representation. YIQ was used in NTSC television. It corresponds closely to the YUV scheme used in NTSC and PAL television and the YDbDr scheme used by SECAM television.
색상 모델 이름은 비디오 색상 표현을 설명합니다. YIQ는 NTSC 텔레비전에서 사용되었습니다. NTSC 및 PAL TV에서 사용되는 YUV 체계 및 SECAM 텔레비전에서 사용되는 YDbDr 체계와 밀접하게 일치합니다.

The number of distinct colors a pixel can represent depends on the number of bits per pixel (bpp). A common way to reduce the amount of data required in digital video is by chroma subsampling (e.g., 4:4:4, 4:2:2, 4:2:0/4:1:1). Because the human eye is less sensitive to details in color than brightness, the luminance data for all pixels is maintained, while the chrominance data is averaged for a number of pixels in a block and that same value is used for all of them. For example, this results in a 50% reduction in chrominance data using 2 pixel blocks (4:2:2) or 75% using 4 pixel blocks(4:2:0). This process does not reduce the number of possible color values that can be displayed, it reduces the number of distinct points at which the color changes.
픽셀이 표현할 수있는 고유 한 색상의 수는 픽셀 당 비트 수 (bpp)에 따라 다릅니다. 디지털 비디오에 필요한 데이터의 양을 줄이는 일반적인 방법은 크로마 하위 샘플링 (예 : 4 : 4 : 4, 4 : 2 : 2, 4 : 2 : 0/4 : 1 : 1)입니다. 인간의 눈은 밝기보다 색의 디테일에 덜 민감하기 때문에 모든 픽셀의 휘도 데이터가 유지되고 블록의 픽셀 수에 대해 색차 데이터가 평균화되고 모든 값에 동일한 값이 사용됩니다. 예를 들어, 2 픽셀 블록 (4 : 2 : 2) 또는 4 픽셀 블록 (4 : 2 : 0)을 사용하는 75 %를 사용하여 색차 데이터를 50 % 감소시킵니다. 이 프로세스는 표시 할 수있는 가능한 색상 값의 수를 줄이지 않으며 색상이 변하는 고유 한 포인트의 수를 줄입니다.

NTSC: YIQ
NTSC, PAL: YUV
SECAM: YDbDr

Terminology
Chroma: 채도
luminance: 휘도
-> 일정한 범위를 가진 광원(光源)의 광도(光度)를, 그 광원의 면적으로 나눈 양. 그 자체가 발광하고 있는 광원뿐만 아니라, 조명되어 빛나는 2차적인 광원에 대해서도 밝기를 나타내는 양으로 쓴다.
다만 이와 같은 정의는 광원의 면과 수직인 방향에서 관찰했을 때의 휘도이고, 광원의 면을 비스듬한 방향에서 본 경우는 그 방향에서 본 겉보기의 면적으로 나눈다.
YUV:


The Components of Color
Hue, Chroma, Value, Temperature
Link

Chroma subsampling
Link

YUV: Link
Y: luminance(휘도, 광원의 단위 면적당 밝기의 정도)
UV: chrominance(색차, 임의의 색과 그 색과 같은 휘도를 가진 기준색과의 차로, 색차 신호로서 얻어진다.)
 -> U = B′ − Y′ (blue − luma).
 -> V = R′ − Y′ (red − luma).

YCbCr: Link
Y: 휘도 성분
Cb: 색차 성분
Cr: 색차 성분
RGB 정보를 인코딩 하는 방식


참조 Why YUV is preferred over RGB

YCbCr is a consumer video format and this is the way HD is encoded. RGB is the traditional computer format. One is not superior to the other because each has it's own strengths and weaknesses.
CbCr은 소비자 비디오 형식이며 이것이 HD가 인코딩되는 방식입니다. RGB는 전통적인 컴퓨터 형식입니다. 하나는 자기 자신의 강점과 약점을 가지고 있기 때문에 다른 하나보다 우월하지 않습니다.

YCbCr is preferred because it is the native format. However many displays (almost all DVI inputs) only except RGB. If your display is HDMI it will likely except YCbCr if not switch to RGB. Auto should use YCbCr whenever possible. YCbCr is the digital counterpart to analog YPbPr component video. (YCbCr converted to analog is YPbPr). Digital RGB converted to analog is usually referred to as VGA. SD and HD DVDs are encoded in 8bit YCbCr 4:2:0. After/during decoding it's upsampled to YCbCr 4:2:2. If RGB output is required the YCbCr is upsampled again to 4:4:4 (sometimes done only once 4:2:0 -> 4:4:4) and a standard and simple transform converts to RGB 4:4:4. If done properly, you'll never notice the difference between the two. The advantage of YCbCr 4:2:2 is that it can be sent as 10bit (or 12bit) video via HDMI (all versions). RGB 4:4:4 is restricted to 8bit (except for the new deep color formats). However, if your display takes 8bit video and then upsamples to 10bit or higher for display, you may only need 8bit video. RGB is also the only format used with DVI(with a few exceptions).
YCbCr이 기본 형식이기 때문에 YCbCr이 좋습니다. 그러나 RGB를 제외한 많은 디스플레이 (거의 모든 DVI 입력). 디스플레이가 HDMI 인 경우 RGB로 전환하지 않으면 YCbCr을 제외 할 가능성이 높습니다. 가능한 경우 자동으로 YCbCr을 사용해야합니다. YCbCr은 아날로그 YPbPr 컴포넌트 비디오의 디지털 대응 물입니다. (아날로그로 변환 된 YCbCr은 YPbPr 임). 아날로그로 변환 된 디지털 RGB는 일반적으로 VGA라고합니다. SD 및 HD DVD는 8 비트 YCbCr 4 : 2 : 0으로 인코딩됩니다. 디코딩 중 / 디코딩 중 YCbCr 4 : 2 : 2로 업 샘플링됩니다. RGB 출력이 필요한 경우 YCbCr은 다시 4 : 4 : 4로 업 샘플링되며 (때때로 4 : 2 : 0 -> 4 : 4 : 4 한 번만 수행됨) 표준 및 단순 변환이 RGB 4 : 4 : 4로 변환됩니다. 제대로 완료되면 두 가지의 차이를 알 수 없습니다. YCbCr 4 : 2 : 2의 이점은 HDMI (모든 버전)를 통해 10 비트 (또는 12 비트) 비디오로 전송 될 수 있다는 것입니다. RGB 4 : 4 : 4는 8 비트로 제한됩니다 (새로운 짙은 색상 형식 제외). 그러나 디스플레이가 8 비트 비디오를 취한 다음 디스플레이를 위해 10 비트 이상으로 업 샘플링하면 8 비트 비디오 만 필요할 수 있습니다. RGB는 DVI와 함께 사용되는 유일한 형식이기도합니다 (몇 가지 예외가 있음).

YUV is a color spacetypically used as part of a color image pipeline.It encodes a color image or video taking human perception into account, allowing reduced bandwidth for chrominance components, thereby typically enabling transmission errors or compression artifacts to be more efficiently masked by the human perception than using a "direct"RGB-representation. Other color spaces have similar properties, and the main reason to implement or investigate properties of Y'UV would be for interfacing with analog or digital television or photographic equipment that conforms to certain Y'UV standards.
YUV는 컬러 이미지 파이프 라인의 일부로 공간적으로 사용되는 컬러입니다. 이는 인간의 인식을 고려한 컬러 이미지 또는 비디오를 인코딩하므로 크로 미 넌스 구성 요소의 대역폭이 줄어들어 일반적으로 전송 오류 또는 압축 아티팩트가 인간에 의해보다 효율적으로 가려집니다 "직접적인"RGB 표현을 사용하는 것보다 다른 색 공간은 유사한 속성을 가지고 있으며 Y'UV의 속성을 구현하거나 조사하는 주요 이유는 특정 Y'UV 표준을 준수하는 아날로그 또는 디지털 TV 또는 사진 장비와 인터페이스하기위한 것입니다.

The scope of the terms Y'UV, YUV, YCbCr ,YPbPr , etc., is sometimes ambiguous andoverlapping. Historically, the terms YUV and Y'UV were used for a specific analog encoding of color information in television systems, while YCbCr was used for digital encoding of color information suited for video and still-image compression and transmission such as MPEG and JPEG. Today, the term YUV is commonly used in the computer industry to describe file-formats that are encoded using YCbCr. The Y'UV model defines a color space in terms of one luma(Y') and two chrominance (UV) components. The Y'UV color model is used in the PAL and SECAM composite color video standards. Previous black-and-white systems used only luma (Y')information. Color information (U and V) was added separately via a sub-carrier  so that a black-and-white receiver would still be able to receive and display a color picture transmission in the receiver's native  black-and-white format. Y' stands for the luma component (the brightness) and U and V are the chrominance (color) components; luminance is denoted by Y and luma by Y' – the prime symbols (')denote gamma compression, with "luminance" meaning perceptual (color science) brightness, while "luma" is electronic (voltage of display) brightness
용어 Y'UV, YUV, YCbCr, YPbPr 등의 범위는 때로는 모호하고 중복됩니다. 역사적으로, YUV 및 Y'UV는 텔레비전 시스템에서 컬러 정보의 특정 아날로그 인코딩에 사용되었고, YCbCr은 비디오 및 MPEG 및 JPEG와 같은 정지 이미지 압축 및 전송에 적합한 컬러 정보의 디지털 인코딩에 사용되었습니다. 오늘날 YUV라는 용어는 YCbCr을 사용하여 인코딩 된 파일 형식을 설명하기 위해 컴퓨터 업계에서 일반적으로 사용됩니다. Y'UV 모델은 하나의 휘도 (Y ') 및 2 개의 색차 (UV) 성분으로 색 공간을 정의합니다. Y'UV 컬러 모델은 PAL 및 SECAM 합성 컬러 비디오 표준에 사용됩니다. 이전의 흑백 시스템은 루마 (Y ') 정보 만 사용했습니다. 컬러 정보 (U 및 V)는 서브 캐리어를 통해 개별적으로 추가되어, 흑백 수신기는 여전히 수신기의 네이티브 흑백 포맷의 컬러 화상 전송을 수신하고 디스플레이 할 수있게된다. Y '는 휘도 성분 (밝기)을 나타내고 U 및 V는 색차 성분 (색)을 나타냅니다. 

휘도는 Y로 표시하고"휘도"는 지각 (색 과학) 밝기를 의미,
luma는 Y '로 표시 - 프라임 기호 (')는 감마 압축을 나타내며, "루마"는 전자 (표시의 전압) 밝기

Video

Video is an electronic medium for the recording, copying, playback, broadcasting, and display of moving visual media.[1]
비디오는 움직이는 영상 매체의 녹화, 복사, 재생, 방송 및 표시를위한 전자 매체입니다. [1]

Video was first developed for mechanical television systems, which were quickly replaced by cathode ray tube (CRT) systems which were later replaced by flat panel displays of several types.
비디오는 기계식 TV 시스템 용으로 처음 개발되었으며, 나중에 CRT (Cathode Ray Tube) 시스템으로 대체되었으며 나중에 여러 유형의 평면 패널 디스플레이로 대체되었습니다.

Video systems vary in display resolution, aspect ratio, refresh rate, color capabilities and other qualities. Analog and digital variants exist and can be carried on a variety of media, including radio broadcast, magnetic tape, optical discs, computer files, and network streaming.
비디오 시스템은 디스플레이 해상도(resolution), 종횡비(aspect ratio), 주사율(refresh rate), 색상 기능(color capabilities) 및 기타 품질이 다릅니다. 아날로그 및 디지털 변형이 존재하며 라디오 방송, 자기 테이프, 광학 디스크, 컴퓨터 파일 및 네트워크 스트리밍을 비롯한 다양한 미디어에서 수행 할 수 있습니다.

History
Video technology was first developed for mechanical television systems, which were quickly replaced by cathode ray tube (CRT) television systems, but several new technologies for video display devices have since been invented. Video was originally exclusively a live technology. Charles Ginsburg led an Ampex research team developing one of the first practical video tape recorder (VTR). In 1951 the first video tape recorder captured live images from television cameras by converting the camera's electrical impulses and saving the information onto magnetic video tape.
비디오 기술은 처음에는 음극선 관 (CRT) 텔레비전 시스템으로 빠르게 대체 된 기계식 텔레비전 시스템 용으로 개발되었지만 이후 비디오 디스플레이 장치 용 몇 가지 신기술이 발명되었습니다. 비디오는 원래 독점적으로 라이브 기술이었습니다. Charles Ginsburg는 최초의 실용적인 비디오 테이프 레코더 (VTR) 중 하나를 개발하는 Ampex 연구 팀을 이끌었습니다. 1951 년 최초의 비디오 테이프 레코더는 카메라의 전기 충격을 변환하고 정보를 자기 비디오 테이프에 저장함으로써 텔레비전 카메라의 라이브 이미지를 캡처했습니다.

Video recorders were sold for US $50,000 in 1956, and videotapes cost US $300 per one-hour reel.[2] However, prices gradually dropped over the years; in 1971, Sony began selling videocassette recorder (VCR) decks and tapes into the consumer market.[3]
비디오 레코더는 1956 년에 5 만 달러에 판매되었으며 비디오 테이프는 1 시간짜리 릴당 300 달러를 소비했습니다. [2] 그러나 가격은 점차 하락했습니다.. Sony는 1971 년 VCR (비디오 카세트 레코더) 데크와 테이프를 소비자 시장에 판매하기 시작했습니다.

The use of digital techniques in video created digital video, which allows higher quality and, eventually, much lower cost than earlier analog technology. After the invention of the DVD in 1997 and Blu-ray Disc in 2006, sales of videotape and recording equipment plummeted. Advances in computer technology allows even inexpensive personal computers and smartphones to capture, store, edit and transmit digital video, further reducing the cost of video production, allowing program-makers and broadcasters to move to tapeless production. The advent of digital broadcasting and the subsequent digital television transition is in the process of relegating analog video to the status of a legacy technology in most parts of the world. As of 2015, with the increasing use of high-resolution video cameras with improved dynamic range and color gamuts, and high-dynamic-range digital intermediate data formats with improved color depth, modern digital video technology is converging with digital film technology.
비디오에서 디지털 기술을 사용하여 디지털 비디오를 만들었으므로 이전 아날로그 기술보다 높은 품질과 궁극적으로 훨씬 저렴한 비용이 가능합니다. 1997 년 DVD 및 2006 년 Blu-ray Disc가 발명 된 후 비디오 테이프 및 녹화 장비 판매가 급감했습니다. 컴퓨터 기술의 발달로 저가의 개인용 컴퓨터와 스마트 폰도 디지털 비디오를 캡처, 저장, 편집 및 전송할 수 있으므로 비디오 제작 비용이 추가로 절감되어 프로그램 제작자와 방송사가 테이프리스 제작으로 이동할 수 있습니다. 디지털 방송의 출현과 그 이후의 디지털 TV 전환은 아날로그 비디오를 세계의 대부분 지역의 레거시 기술 상태로 이관하는 과정에 있습니다. 2015 년에 향상된 동적 범위와 색상 영역을 가진 고해상도 비디오 카메라와 향상된 색상 깊이를 가진 높은 동적 범위 디지털 중간 데이터 형식의 사용이 증가함에 따라 최신 디지털 비디오 기술은 디지털 필름 기술로 수렴하고 있습니다.

Characteristics of video streams

Number of frames per second
Frame rate, the number of still pictures per unit of time of video, ranges from six or eight frames per second (frame/s) for old mechanical cameras to 120 or more frames per second for new professional cameras. PAL standards (Europe, Asia, Australia, etc.) and SECAM (France, Russia, parts of Africa etc.) specify 25 frame/s, while NTSC standards (USA, Canada, Japan, etc.) specify 29.97 frame/s.[4] Film is shot at the slower frame rate of 24 frames per second, which slightly complicates the process of transferring a cinematic motion picture to video. The minimum frame rate to achieve a comfortable illusion of a moving image is about sixteen frames per second.[5]
비디오의 단위 시간당 스틸 사진의 수인 프레임 속도는 새로운 전문 카메라의 경우 기존 기계식 카메라의 경우 초당 6 또는 8 프레임 (프레임 / 초)에서 초당 120 프레임 이상까지 다양합니다. NTSC 표준 (미국, 캐나다, 일본 등)이 29.97 프레임 / 초를 지정하는 반면 PAL 표준 (유럽, 아시아, 호주 등) 및 SECAM (프랑스, 러시아, 아프리카 일부 등)은 25 프레임 / 초를 지정합니다. [4] 필름은 초당 24 프레임의 느린 프레임 속도로 촬영되므로 동영상 동영상을 비디오로 전송하는 과정이 약간 복잡해집니다. 움직이는 이미지를 편안하게 표현하기위한 최소 프레임 속도는 초당 약 16 프레임입니다. [5]

Interlaced vs progressive
Video can be interlaced or progressive. Interlacing was invented as a way to reduce flicker in early mechanical and CRT video displays without increasing the number of complete frames per second, which would have sacrificed image detail to remain within the limitations of a narrow channel bandwidth. The horizontal scan lines of each complete frame are treated as if numbered consecutively, and captured as two fields: an odd field (upper field) consisting of the odd-numbered lines and an even field (lower field) consisting of the even-numbered lines. Analog display devices reproduce each frame in the same way, effectively doubling the frame rate as far as perceptible overall flicker is concerned. When the image capture device acquires the fields one at a time, rather than dividing up a complete frame after it is captured, the frame rate for motion is effectively doubled as well, resulting in smoother, more lifelike reproduction of rapidly moving parts of the image when viewed on an interlaced CRT display.
비디오는 인터레이스 또는 프로그레시브 일 수 있습니다. 인터레이스는 초당 전체 프레임 수를 늘리지 않고 초기 기계 및 CRT 비디오 디스플레이의 깜박 거림을 줄이는 방법으로 개발되었으므로 좁은 채널 대역폭의 한계 내에서 이미지 세부 사항을 유지할 수 있습니다. 각각의 완전한 프레임의 수평 주사선은 연속적으로 번호가 매겨진 것처럼 다루어지며, 홀수 번째 라인으로 구성된 홀수 필드 (윗 필드)와 짝수 번째 라인으로 구성된 짝수 필드 (아래 필드)의 두 필드로 캡처됩니다. . 아날로그 디스플레이 장치는 각 프레임을 동일한 방식으로 재생하므로 인식 할 수있는 전체 깜박임에 관해서는 프레임 속도를 효과적으로 배가시킵니다. 인터레이스 CRT 디스플레이에서 볼 때,이미지 캡처 장치가 필드를 한 번에 하나씩 가져 오면 캡처 한 후 전체 프레임을 분할하지 않고 모션의 프레임 속도를 효과적으로 두 배로 늘리면 이미지의 빠르게 움직이는 부분을 더 부드럽고 사실처럼 재현합니다

NTSC, PAL and SECAM are interlaced formats. Abbreviated video resolution specifications often include an i to indicate interlacing. For example, PAL video format is often described as 576i50, where 576 indicates the total number of horizontal scan lines, i indicates interlacing, and 50 indicates 50 fields (half-frames) per second.
NTSC, PAL 및 SECAM은 인터레이스 형식입니다. 약식 비디오 해상도 사양에는 종종 인터레이스를 나타내는 i가 포함됩니다. 예를 들어, PAL 비디오 형식은 종종 576i50으로 설명되며, 576은 총 수평 주사선 수, i는 인터레이스, 50은 초당 50 필드 (1/2 프레임)를 나타냅니다.

In progressive scan systems, each refresh period updates all scan lines in each frame in sequence. When displaying a natively progressive broadcast or recorded signal, the result is optimum spatial resolution of both the stationary and moving parts of the image.
프로그레시브 스캔 시스템에서, 각 리프레시주기는 각 프레임의 모든 스캔 라인을 순서대로 업데이트합니다. 네이티브 프로그레시브 방송이나 녹화 된 신호를 표시 할 때 결과는 정지 영상과 움직이는 부분의 최적 공간 해상도입니다.

When displaying a natively interlaced signal on a progressive scan device, overall spatial resolution is degraded by simple line doubling—artifacts such as flickering or "comb" effects in moving parts of the image which appear unless special signal processing eliminates them. A procedure known as deinterlacing can optimize the display of an interlaced video signal from an analog, DVD or satellite source on a progressive scan device such as an LCD television, digital video projector or plasma panel. Deinterlacing cannot, however, produce video quality that is equivalent to true progressive scan source material.
프로그레시브 스캔 장치에 네이티브 인터레이스 신호를 표시 할 때 특수 신호 처리로 인해 이미지가 제거되지 않으면 나타나는 이미지의 움직이는 부분의 깜박임이나 "빗"효과와 같은 단순한 라인 증감 - 아티팩트로 전반적인 공간 해상도가 저하됩니다. 디인터레이싱으로 알려진 절차는 LCD TV, 디지털 비디오 프로젝터 또는 플라즈마 패널과 같은 프로그레시브 스캔 장치에서 아날로그, DVD 또는 위성 소스의 인터레이스 비디오 신호 디스플레이를 최적화 할 수 있습니다. 그러나 디인터레이싱은 진정한 프로그레시브 스캔 소스 자료와 동일한 비디오 품질을 생성 할 수 없습니다.

Aspect ratio
Aspect ratio describes the dimensions of video screens and video picture elements. All popular video formats are rectilinear, and so can be described by a ratio between width and height. The screen aspect ratio of a traditional television screen is 4:3, or about 1.33:1. High definition televisions use an aspect ratio of 16:9, or about 1.78:1. The aspect ratio of a full 35 mm film frame with soundtrack (also known as the Academy ratio) is 1.375:1.
화면 비율은 비디오 화면과 비디오 그림 요소의 크기를 나타냅니다. 모든 인기있는 비디오 포맷은 직선형이므로 폭과 높이의 비율로 설명 할 수 있습니다. 기존의 TV 화면의 화면 종횡비는 4 : 3 또는 약 1.33 : 1입니다. 고화질 TV는 종횡비가 16 : 9 또는 약 1.78 : 1입니다. 사운드 트랙 (아카데미 비율이라고도 함)이있는 전체 35mm 필름 프레임의 종횡비는 1.375 : 1입니다.

Pixels on computer monitors are usually square, but pixels used in digital video often have non-square aspect ratios, such as those used in the PAL and NTSC variants of the CCIR 601 digital video standard, and the corresponding anamorphic widescreen formats. Therefore, a 720 by 480 pixel NTSC DV image displayes with the 4:3 aspect ratio (the traditional television standard) if the pixels are thin, and displays at the 16:9 aspect ratio (the anamorphic widescreen format) if the pixels are fat.
컴퓨터 모니터의 픽셀은 일반적으로 사각형이지만 디지털 비디오에 사용되는 픽셀은 CCIR 601 디지털 비디오 표준의 PAL 및 NTSC 변형과 해당 아나모픽 와이드 스크린 형식에서 사용되는 것과 같이 정사각형이 아닌 비례 비율을 사용하는 경우가 많습니다. 따라서 720 x 480 픽셀 NTSC DV 이미지는 픽셀이 얇은 경우 4 : 3 종횡비 (일반 TV 표준)로 표시되고 픽셀이 뚱뚱한 경우 16 : 9 종횡비 (아나모픽 와이드 스크린 형식)로 표시됩니다 .

The popularity of viewing video on mobile phones has led to the growth of vertical video. Mary Meeker, a partner at Silicon Valley venture capital firm Kleiner Perkins Caufield & Byers, highlighted the growth of vertical video viewing in her 2015 Internet Trends Report – growing from 5% of video viewing in 2010 to 29% in 2015. Vertical video ads like Snapchat’s are watched in their entirety 9X more than landscape video ads.[6] The format was rapidly taken up by leading social platforms and media publishers such as Mashable[7] In October 2015 video platform Grabyo launched technology to help video publishers adapt horizotonal 16:9 video into mobile formats such as vertical and square.[8]
휴대 전화에서 동영상을 시청하는 인기로 인해 수직 동영상이 증가했습니다. 실리콘 밸리 벤처 캐피털 회사 인 Kleiner Perkins Caufield & Byers의 파트너 인 Mary Meeker는 2015 년 인터넷 동향 보고서에서 수직 비디오 시청의 성장을 강조했습니다. 2010 년 비디오 시청의 5 %에서 2015 년 29 %로 증가했습니다. Snapchat은 풍경 비디오 광고보다 9 배 더 많이 시청됩니다. [6] 형식은 Mashable과 같은 주요 소셜 플랫폼 및 미디어 게시자에 의해 빠르게 채택되었습니다. [10] 2015 년 10 월 비디오 플랫폼 Grabyo는 비디오 게시자가 수평 및 정사각형과 같은 모바일 형식에 수평 적 16 : 9 비디오를 적응시키는 기술을 선보였습니다.

Color space and bits per pixel
Color model name describes the video color representation. YIQ was used in NTSC television. It corresponds closely to the YUV scheme used in NTSC and PAL television and the YDbDr scheme used by SECAM television.
색상 모델 이름은 비디오 색상 표현을 설명합니다. YIQ는 NTSC 텔레비전에서 사용되었습니다. NTSC 및 PAL TV에서 사용되는 YUV 체계 및 SECAM 텔레비전에서 사용되는 YDbDr 체계와 밀접하게 일치합니다.

The number of distinct colors a pixel can represent depends on the number of bits per pixel (bpp). A common way to reduce the amount of data required in digital video is by chroma subsampling (e.g., 4:4:4, 4:2:2, 4:2:0/4:1:1). Because the human eye is less sensitive to details in color than brightness, the luminance data for all pixels is maintained, while the chrominance data is averaged for a number of pixels in a block and that same value is used for all of them. For example, this results in a 50% reduction in chrominance data using 2 pixel blocks (4:2:2) or 75% using 4 pixel blocks(4:2:0). This process does not reduce the number of possible color values that can be displayed, it reduces the number of distinct points at which the color changes.
픽셀이 표현할 수있는 고유 한 색상의 수는 픽셀 당 비트 수 (bpp)에 따라 다릅니다. 디지털 비디오에 필요한 데이터의 양을 줄이는 일반적인 방법은 크로마 하위 샘플링 (예 : 4 : 4 : 4, 4 : 2 : 2, 4 : 2 : 0/4 : 1 : 1)입니다. 인간의 눈은 밝기보다 색의 디테일에 덜 민감하기 때문에 모든 픽셀의 휘도 데이터가 유지되고 블록의 픽셀 수에 대해 색차 데이터가 평균화되고 모든 값이 동일한 값으로 사용됩니다. 예를 들어, 2 픽셀 블록 (4 : 2 : 2) 또는 4 픽셀 블록 (4 : 2 : 0)을 사용하는 75 %를 사용하여 색차 데이터를 50 % 줄입니다. 이 프로세스는 표시 할 수있는 가능한 색상 값의 수를 줄이지 않으며 색상이 변하는 고유 한 포인트의 수를 줄입니다.

Video quality

Video quality can be measured with formal metrics like PSNR or with subjective video quality using expert observation.
비디오 품질은 PSNR과 같은 공식 통계 또는 전문가 관찰을 통한 주관적인 비디오 품질로 측정 할 수 있습니다.

The subjective video quality of a video processing system is evaluated as follows:
비디오 처리 시스템의 주관적인 비디오 품질은 다음과 같이 평가됩니다.

Choose the video sequences (the SRC) to use for testing.
Choose the settings of the system to evaluate (the HRC).
Choose a test method for how to present video sequences to experts and to collect their ratings.
Invite a sufficient number of experts, preferably not fewer than 15.
Carry out testing.
Calculate the average marks for each HRC based on the experts' ratings.
Many subjective video quality methods are described in the ITU-T recommendation BT.500. One of the standardized method is the Double Stimulus Impairment Scale (DSIS). In DSIS, each expert views an unimpaired reference video followed by an impaired version of the same video. The expert then rates the impaired video using a scale ranging from "impairments are imperceptible" to "impairments are very annoying".

테스트에 사용할 비디오 시퀀스 (SRC)를 선택하십시오.
평가할 시스템의 설정을 선택하십시오 (HRC).
전문가에게 비디오 시퀀스를 표시하고 등급을 수집하는 방법에 대한 테스트 방법을 선택하십시오.
충분한 수의 전문가를 초빙하십시오.
테스트를 수행하십시오.
전문가 등급에 따라 각 HRC의 평균 점수를 계산하십시오.
많은 주관적인 비디오 품질 방법은 ITU-T 권고 BT.500에 기술되어있다. 표준화 된 방법 중 하나는 Double Stimulus Impairment Scale (DSIS)입니다. DSIS에서 각 전문가는 손상되지 않은 참조 비디오와 손상되지 않은 비디오를 봅니다. 그런 다음 전문가는 "손상이인지 할 수 없음"에서 "손상이 매우 성가심"까지의 범위를 사용하여 손상된 비디오에 등급을 매 깁니다.

Video compression method (digital only)
Uncompressed video delivers maximum quality, but with a very high data rate. A variety of methods are used to compress video streams, with the most effective ones using a Group Of Pictures (GOP) to reduce spatial and temporal redundancy. Broadly speaking, spatial redundancy is reduced by registering differences between parts of a single frame; this task is known as intraframe compression and is closely related to image compression. Likewise, temporal redundancy can be reduced by registering differences between frames; this task is known as interframe compression, including motion compensation and other techniques. The most common modern standards are MPEG-2, used for DVD, Blu-ray and satellite television, and MPEG-4, used for AVCHD, Mobile phones (3GP) and Internet.
비 압축 비디오는 최고 품질이지만 매우 높은 데이터 전송률이 필요합니다. 비디오 스트림을 압축하기 위해 다양한 방법이 사용되며, GOP (Group of Pictures)를 사용하여 공간 및 시간 중복성을 줄이는 가장 효과적인 방법이 사용됩니다. 대체로, 공간 중복성은 단일 프레임의 부분들 사이의 차이점을 등록함으로써 감소됩니다. 이 작업은 인트라 프레임 압축이라고하며 이미지 압축과 밀접한 관련이 있습니다. 마찬가지로, 시간적 중복은 프레임들 간의 차이를 등록함으로써 감소 될 수있다. 이 작업은 모션 보정 및 기타 기술을 포함한 프레임 간 압축이라고합니다. 가장 일반적인 표준은 AVCHD, 휴대폰 (3GP) 및 인터넷에 사용되는 DVD, 블루 레이 및 위성 TV 및 MPEG-4에 사용되는 MPEG-2입니다.

Stereoscopic
Stereoscopic video can be created using several different methods:

Two channels: a right channel for the right eye and a left channel for the left eye. Both channels may be viewed simultaneously by using light-polarizing filters 90 degrees off-axis from each other on two video projectors. These separately polarized channels are viewed wearing eyeglasses with matching polarization filters.
One channel with two overlaid color-coded layers. This left and right layer technique is occasionally used for network broadcast, or recent "anaglyph" releases of 3D movies on DVD. Simple Red/Cyan plastic glasses provide the means to view the images discretely to form a stereoscopic view of the content.
One channel with alternating left and right frames for the corresponding eye, using LCD shutter glasses that read the frame sync from the VGA Display Data Channel to alternately block the image to each eye, so the appropriate eye sees the correct frame. This method is most common in computer virtual reality applications such as in a Cave Automatic Virtual Environment, but reduces effective video framerate to one-half of normal (for example, from 120 Hz to 60 Hz).
Blu-ray Discs greatly improve the sharpness and detail of the two-color 3D effect in color-coded stereo programs. See articles Stereoscopy and 3-D film.
2 개의 채널 : 오른쪽 눈을위한 오른쪽 채널과 왼쪽 눈을위한 왼쪽 채널. 두 채널은 두 개의 비디오 프로젝터에서 서로 90도 축이 아닌 편광 필터를 사용하여 동시에 볼 수 있습니다. 이 개별적으로 편광 된 채널은 일치하는 편광 필터가있는 착용 안경으로 보입니다.
하나의 채널에 2 개의 겹쳐진 색으로 구분 된 레이어가 있습니다. 이 왼쪽 및 오른쪽 레이어 기법은 네트워크 방송이나 DVD의 3D 영화의 최근 "애너 글리프"릴리스에 사용됩니다. 단순한 적색 / 청록색 플라스틱 안경은이 미지를 입체적으로 볼 수있는 수단을 제공합니다.
이미지를 각 눈으로 교대로 차단하기 위해 VGA 디스플레이 데이터 채널에서 프레임 동기화를 읽는 LCD 셔터 글래스를 사용하여 적절한 눈으로 올바른 프레임을 볼 수 있도록 해당 눈에 대해 왼쪽 및 오른쪽 프레임을 번갈아 사용하는 하나의 채널. 이 방법은 동굴 자동 가상 환경에서와 같이 컴퓨터 가상 현실 응용 프로그램에서 가장 일반적이지만 유효 비디오 프레임 속도를 정상의 절반 (예 : 120Hz에서 60Hz)으로 줄입니다.
블루 레이 디스크는 색으로 구분 된 스테레오 프로그램에서 2 색 3D 효과의 선명도와 세부 사항을 크게 향상시킵니다. 스테레오 스코피 (Stereoscopy) 및 3-D 필름을 참조하십시오.

Formats
Different layers of video transmission and storage each provide their own set of formats to choose from.
다양한 비디오 전송 및 저장 계층은 각각 자신이 선택할 수있는 형식 집합을 제공합니다.

For transmission, there is a physical connector and signal protocol ("video connection standard" below). A given physical link can carry certain "display standards" that specify a particular refresh rate, display resolution, and color space.
전송에는 물리적 커넥터 및 신호 프로토콜 (아래 "비디오 연결 표준")이 있습니다. 주어진 물리적 링크는 특정 재생 빈도, 디스플레이 해상도 및 색 공간을 지정하는 특정 "디스플레이 표준"을 전달할 수 있습니다.

Many analog and digital recording formats are in use, and digital video clips can also be stored on a computer file system as files, which have their own formats. In addition to the physical format used by the data storage device or transmission medium, the stream of ones and zeros that is sent must be in a particular digital video compression format, of which a number are available.
많은 아날로그 및 디지털 레코딩 포맷이 사용되고 있으며 디지털 비디오 클립을 파일 형식으로 컴퓨터 파일 시스템에 저장할 수도 있습니다. 데이터 저장 장치 또는 전송 매체에 의해 사용되는 물리적 포맷 이외에, 전송되는 1과 0의 스트림은 특정 디지털 비디오 압축 포맷이어야하며, 그 중 숫자가 이용 가능해야한다.

Analog video
Analog video is a video signal transferred by an analog signal. An analog color video signal contains luminance, brightness (Y) and chrominance (C) of an analog television image. When combined into one channel, it is called composite video as is the case, among others with NTSC, PAL and SECAM.

Analog video may be carried in separate channels, as in two channel S-Video (YC) and multi-channel component video formats.

Analog video is used in both consumer and professional television production applications.
아날로그 비디오는 아날로그 신호로 전송되는 비디오 신호입니다. 아날로그 컬러 비디오 신호는 아날로그 텔레비전 이미지의 휘도, 밝기 (Y) 및 색차 (C)를 포함합니다. 하나의 채널로 합쳐지면 NTSC, PAL 및 SECAM의 경우와 마찬가지로 컴포지트 비디오라고도합니다.

아날로그 비디오는 2 채널 S-Video (YC) 및 다중 채널 컴포넌트 비디오 형식에서와 같이 별도의 채널로 전송 될 수 있습니다.

아날로그 비디오는 소비자 및 전문 TV 프로덕션 응용 프로그램에서 모두 사용됩니다.

Digital video
Digital video signal formats with higher quality have been adopted, including serial digital interface (SDI), Digital Visual Interface (DVI), High-Definition Multimedia Interface (HDMI) and DisplayPort Interface, though analog video interfaces are still used and widely available. There exist different adaptors and variants.
아날로그 비디오 인터페이스가 여전히 사용되고 광범위하게 이용 가능하지만 직렬 디지털 인터페이스 (SDI), DVI (Digital Visual Interface), HDMI (High-Definition Multimedia Interface) 및 DisplayPort 인터페이스를 포함하여 고품질의 디지털 비디오 신호 형식이 채택되었습니다. 다른 어댑터와 변형이 존재합니다.

Transport medium
Video can be transmitted or transported in a variety of ways. Wireless broadcast as an analog or digital signal. Coaxial cable in a closed circuit system can be sent as analog interlaced 1 volt peak to peak with a maximum horizontal line resolution up to 480. Broadcast or studio cameras use a single or dual coaxial cable system using a progressive scan format known as SDI serial digital interface and HD-SDI for High Definition video. The distances of transmission are somewhat limited depending on the manufacturer the format may be proprietary. SDI has a negligible lag and is uncompressed. There are initiatives to use the SDI standards in closed circuit surveillance systems, for Higher Definition images, over longer distances on coax or twisted pair cable. Due to the nature of the higher bandwidth needed, the distance the signal can be effectively sent is a half to a third of what the older interlaced analog systems supported.[9]
비디오는 다양한 방식으로 전송되거나 전송 될 수 있습니다. 아날로그 또는 디지털 신호로 무선 브로드 캐스트. 폐회로 시스템의 동축 케이블은 최대 수평 라인 해상도가 480까지 인 아날로그 인터레이스 1V 피크 - 피크로 전송할 수 있습니다. 방송 또는 스튜디오 카메라는 SDI 직렬 디지털로 알려진 프로그레시브 스캔 형식을 사용하는 단일 또는 이중 동축 케이블 시스템을 사용합니다 인터페이스 및 HD-SDI를 지원합니다. 전송 거리는 제조업체에 따라 다소 제한적이며 형식은 독점적 일 수 있습니다. SDI는 무시할 수있는 지연이 있으며 압축되지 않습니다. SDI 표준을 폐회로 감시 시스템에서 사용하기위한 이니셔티브가 있습니다. 동축 케이블 또는 트위스트 페어 케이블에서 더 긴 거리에서 고화질 이미지를 얻을 수 있습니다. 필요한 더 높은 대역폭의 특성으로 인해 신호가 효과적으로 전송 될 수있는 거리는 이전 인터레이스 아날로그 시스템이 지원하는 것의 1/3이다.
















2017년 11월 16일 목요일

Camera interface

The CAMIF, also the Camera Interface block is the hardware block that interfaces with different image sensor interfaces and provides a standard output that can be used for subsequent image processing.

A typical Camera Interface would support at least a parallel interface although these days many camera interfaces are beginning to support the MIPI CSI interface.

The camera interface's parallel interface consists of the following lines :-

8 to 12 bits parallel data line

These are parallel data lines that carry pixel data. The data transmitted on these lines change with every Pixel Clock (PCLK).

Horizontal Sync (HSYNC)
This is a special signal that goes from the camera sensor or ISP to the camera interface. An HSYNC indicates that one line of the frame is transmitted.

Vertical Sync (VSYNC)
This signal is transmitted after the entire frame is transferred. This signal is often a way to indicate that one entire frame is transmitted.

Pixel Clock (PCLK)
This is the pixel clock and it would change on every pixel.
NOTE: The above lines are all treated as input lines to the Camera Interface hardware.

Example
Let us suppose that a sensor is transmitting a VGA frame 640x480. The video frame is of a format RGB888. Let's assume that we have a camera sensor transmitting 8 bits per pixel clock (PCLK). This means to transfer one pixel of data, 3 PCLKs would be required. The HSYNC would be fired by the sensor after every 640 x 3, 1920 PCLKs. A VSYNC would be fired by the sensor after the entire frame is transmitted i.e. after 1920x480, 921600 PCLKs.
센서가 VGA 프레임 640x480을 전송한다고 가정 해 봅시다. 비디오 프레임은 RGB888 형식입니다. 우리가 픽셀 클록 (PCLK) 당 8 비트(0~255)를 전송하는 카메라 센서를 가지고 있다고 가정 해 봅시다. 이것은 한 픽셀의 데이터를 전송하는 것을 의미하며, 3 개의 PCLK(R, G, B 세가지 색을 모두 전달할 경우?)가 필요합니다. HSYNC는 640 x 3, 1920 PCLK마다 센서에 의해 발사됩니다. VSYNC는 전체 프레임이 전송 된 후 즉 1920x480, 921600 PCLK 이후에 센서에 의해 시작됩니다.

The camera interface's hardware block (that could be a part of any SOC) would constantly monitor the above lines to see if the sensor has transmitted anything. A typical camera interface would come with some internal buffering and would also have an associated DMA to transfer the image to the destination memory. The buffer would capture the incoming pixels to temporarily buffer them, and using the DMA the pixels would be transferred (probably line by line) through multiple burst DMA transfers to a destination address in the memory (pre programmed by the camera interface driver programmer). The camera interface's programmer interface might also give a facility of issuing hardware interrupts upon the receipt of the HSYNC, VSYNC signals to the host micro-controller. This could serve as a useful trigger for DMA reprogramming if required.
카메라 인터페이스의 하드웨어 블록 (SOC의 일부일 수 있음)은 센서가 아무 것도 전송하지 않았는지 확인하기 위해 위의 라인을 지속적으로 모니터링합니다. 전형적인 카메라 인터페이스는 약간의 내부 버퍼링을 가지며 이미지를 대상 메모리로 전송하는 관련 DMA를 갖습니다. 버퍼는 들어오는 픽셀을 캡처하여 일시적으로 버퍼에 저장하고, DMA를 사용하면 메모리의 대상 주소 (카메라 인터페이스 드라이버 프로그래머가 사전 프로그래밍 한)로 다중 버스트 DMA 전송을 통해 픽셀이 전송됩니다. 카메라 인터페이스의 프로그래머 인터페이스는 호스트 마이크로 컨트롤러에 대한 HSYNC, VSYNC 신호 수신시 하드웨어 인터럽트를 발행하는 기능을 제공 할 수도 있습니다. 필요할 경우 DMA 재 프로그래밍을위한 유용한 트리거 역할을 할 수 있습니다.

카메라에서의 PLL
pclk 이 기본으로 Data 라인까지 정상적이라면 PLL 이 Lock 된다.


Digital Camera Basics

원본: Link

Overview
Digital cameras have become increasingly popular for use in machine vision systems thanks to their accuracy, high frame rates, large image sizes, and the ability to change attributes of the camera programmatically. This document describes the basic concepts of digital cameras and how they interact with IMAQ hardware and NI-IMAQ software.
디지털 카메라는 정확성, 높은 프레임 속도, 큰 이미지 크기 및 카메라 속성을 프로그래밍 으로 변경 가능 하기 때문에 머신 비전 시스템에 널리 사용됩니다. 이 문서는 디지털 카메라의 기본 개념과 IMAQ 하드웨어 및 NI-IMAQ 소프트웨어와 상호 작용하는 방법을 설명합니다.

Table of Contents

  1. Anatomy
  2. Taps
  3. Camera Communication
  4. Signal Types


1. Anatomy
The three most important types of digital signals that come out of a digital camera are the data lines, the pixel clock, and the enable lines.
디지털 카메라에서 나오는 가장 중요한 세 가지 유형의 디지털 신호는 데이터 라인, 픽셀 클럭 및 인 에이블 라인입니다.

  • The Data Lines are parallel wires that carry digital signals that correspond to pixel values. Digital cameras typically represent one pixel with 8 bits, 10 bits, 12 bits or even 14 bits. Therefore, it takes 8, 10, 12, or 14 digital lines to represent one pixel. The number of lines per pixel is referred to as the pixel depth. All image data is transferred to an image acquisition device on these lines at the same time, and is constantly toggling up and down.
  • 데이터 라인은 픽셀 값에 해당하는 디지털 신호를 전달하는 병렬 와이어입니다. 디지털 카메라는 일반적으로 8 비트, 10 비트, 12 비트 또는 심지어 14 비트의 (1개)픽셀을 나타냅니다. 따라서 하나의 픽셀을 표현하는 데 8, 10, 12 또는 14 개의 디지털 라인이 필요합니다. 픽셀 당 라인 수를 픽셀 깊이(pixel depth)라고합니다. 모든 이미지 데이터는 동시에 이 라인의 이미지 수집 장치로 전송되며 끊임없이 위아래로 전환됩니다.
  • The Pixel Clock is a high frequency pulse train that determines when the data lines have valid data. On the active edge of the pixel clock (which can be either the rising edge or the falling edge, depending on the camera), the digital lines should all have a constant value that is input into the image acquisition device, which latches in the data. The data changes to the next pixel value before the next active edge of the pixel clock, so that the next pixel value will get latched into the image acquisition device. The pixel clock frequency determines the rate pixels are acquired.
  • 픽셀 클록 (Pixel Clock)은 데이터 라인에 유효한 데이터가있을 때를 결정하는 고주파 펄스 트레인입니다. 픽셀 클럭의 활성 에지 (카메라에 따라 상승 에지 또는 하강 에지 중 하나 일 수 있음)에서 디지털 라인은 모두 이미지 수집 장치에 입력되는 일정한 값을 가져야하며, 이는 데이터를 래치합니다 . 다음 픽셀 값이 이미지 획득 장치에 래치되도록 데이터는 픽셀 클럭의 다음 활성 에지 전에 다음 픽셀 값으로 변경됩니다. 픽셀 클럭 주파수는 픽셀이 획득되는 속도를 결정합니다.
  • The Enable Lines are used to determine where the pixels are located in the image. The H-Enable (also referred to as the HSYNC or Line Enable signal) is active while an entire row of pixels is coming in. At the end of that row of pixels, the H-Enable goes inactive until the beginning of the next row of pixels begins. Another signal, the V-Enable (also referred to as the VSYNC or Frame Enable signal), is active during the entire frame. After one frame is done, the signal goes inactive until the beginning of the next frame. Enable signals can be either active high or active low. Some cameras' Enable Lines are edge-sensitive instead of level-sensitive, meaning that they use the rising edge of timing signals rather than the level. and National Instruments image acquisition devices are designed to work with level-sensitive enable lines and edge-sensitive pixel clocks.
  • 라인 사용은 이미지의 픽셀 위치를 결정하는 데 사용됩니다. H-enable (HSYNC 또는 라인 인 에이블 신호라고도 함)은 픽셀의 전체 행이 들어오는 동안 활성화됩니다. 픽셀 행의 끝에서 H- enable는 다음 행의 시작 때까지 비활성 상태가됩니다 픽셀이 시작됩니다. 또 다른 신호 인 V-Enable (VSYNC 또는 프레임 인 에이블 신호라고도 함)은 전체 프레임 동안 활성화됩니다. 한 프레임이 끝나면 신호는 다음 프레임이 시작될 때까지 비활성 상태가됩니다. 인 에이블 신호는 액티브 하이 또는 액티브 로우 일 수 있습니다. 일부 카메라의 인 에이블 라인은 레벨에 민감하지 않고 경계에 민감합니다. 즉, 레벨보다는 타이밍 신호의 상승 에지를 사용합니다. 내쇼날 인스트루먼트의 이미지 수집 디바이스는 레벨에 민감한 인 에이블 라인 및 에지 감지 픽셀 클럭과 함께 작동하도록 설계되었습니다.

Most digital cameras use a CCD (Charge Coupled Device) sensor to acquire images. The CCD is composed of thousands of small sensors that absorb photons while the shutter is open and build up an electrical charge. When the camera takes a picture, it discharges the CCD elements and converts the voltages into digital data in the camera. The CCD elements form a square or line with each element corresponding to a pixel.
There are two major classes of cameras -- Line Scan and Area Scan. Line Scan cameras use a single row of CCD elements. Also, since there are only lines, Line Scan cameras only require the H-Enable signal. Area Scan cameras feature frames with a defined width and height and use both the H-Enable and V-Enable signals to construct their frames. Below is an image of these two types of cameras with the enable signals and pixel clock. The following figure represents the enable signals and pixel clock signals for Line Scan and Area Scan cameras. Note that the data lines in the figure may change between each active edge of the pixel clock. The data on the lines during the active edge of the pixel clock, when the H-Enable and V-Enable signals are active, will be latched into the image acquisition device.
대부분의 디지털 카메라는 CCD (Charge Coupled Device) 센서를 사용하여 이미지를 수집합니다. CCD는 셔터가 열려있는 동안 광자를 흡수하는 작은 센서로 구성되어 있으며 전기를 충전합니다. 카메라가 사진을 찍으면 CCD 요소를 방전하고 카메라의 전압을 디지털 데이터로 변환합니다. CCD 요소는 각 요소가 픽셀에 해당하는 사각형 또는 선을 형성합니다.
라인 스캔과 영역 스캔의 두 가지 주요 클래스가 있습니다. 라인 스캔 카메라는 CCD 요소의 단일 행을 사용합니다. 또한 회선 만 있기 때문에 라인 스캔 카메라는 H-Enable 신호 만 필요합니다. Area Scan 카메라는 정의 된 너비와 높이의 프레임을 특징으로하며 H-Enable 및 V-Enable 신호를 사용하여 프레임을 구성합니다. 아래는 이네 이블 신호와 픽셀 클록이있는이 두 종류의 카메라의 이미지입니다. 다음 그림은 라인 스캔 및 영역 스캔 카메라의 인 에이블 신호 및 픽셀 클록 신호를 나타냅니다. 그림의 데이터 라인은 픽셀 클록의 각 활성 에지 사이에서 변경 될 수 있습니다. H-Enable 및 V-Enable 신호가 활성화 될 때 픽셀 클럭의 활성 에지 동안 라인의 데이터가 이미지 수집 장치에 래치됩니다.
Figure 2. Area Scan camera that is 12 x 4 (12 pixels per line and 4 lines per frame)

2. Taps
Increasing the speed of a digital camera's pixel clock or acquiring more than one pixel at a time can greatly increase the camera's acquisition speed. A camera that latches only one pixel on the active edge of the pixel clock is known as a single tap camera. A tap, or channel, is defined as a group of data lines that bring in one pixel each. Some cameras have multiple pixels on separate data lines that are all available on the same active edge of the pixel clock. These cameras are called multi-tap cameras, and digital cameras are available with as many as 4 taps. This technique requires more data lines, but allows for faster transfers.
디지털 카메라의 픽셀 클럭 속도를 높이거나 한 번에 두 개 이상의 픽셀을 획득하면 카메라의 획득 속도가 크게 높아질 수 있습니다. 픽셀 클럭의 활성 에지에서 하나의 픽셀 만 래치하는 카메라를 단일 탭 카메라라고합니다. 탭 또는 채널은 각각 하나의 픽셀을 가져 오는 데이터 라인 그룹으로 정의됩니다. 일부 카메라에는 픽셀 클럭의 동일한 활성 에지에서 사용할 수있는 별도의 데이터 라인에 여러 개의 픽셀이 있습니다. 이 카메라를 멀티탭 카메라라고하며 디지털 카메라는 최대 4 번까지 사용할 수 있습니다. 이 기술은 더 많은 데이터 회선을 필요로하지만 더 빠른 전송을 허용합니다.

The IMAQ 1422 Series devices features 16 digital lines, and the IMAQ 1424 Series devices features 32 digital lines. Therefore, an IMAQ 1422 device can support cameras with one 16- bit tap or two 8-bit taps, and an IMAQ 1424 device can handle a single 32-bit tap, two 16-bit taps, or four 8-bit taps. IMAQ devices require a tap to be a multiple of 8 bits, so that even if a camera only has 10 bits per pixel, the device will require a tap of 16 bits to handle the data and ignore the upper 6 bits.
IMAQ 1422 시리즈 디바이스에는 16 개의 디지털 라인이 있으며 IMAQ 1424 시리즈 디바이스에는 32 개의 디지털 라인이 있습니다. 따라서 IMAQ 1422 장치는 하나의 16 비트 탭 또는 두 개의 8 비트 탭이있는 카메라를 지원할 수 있으며 IMAQ 1424 장치는 단일 32 비트 탭, 두 개의 16 비트 탭 또는 네 개의 8 비트 탭을 처리 할 수 ​​있습니다. IMAQ 디바이스는 탭이 8 비트의 배수가되어야하므로 카메라가 픽셀 당 10 비트 만 가지고 있어도 디바이스는 데이터를 처리하고 상위 6 비트를 무시하기 위해 16 비트의 탭이 필요합니다.

There are several different configurations multi-tap cameras use to store data. A single tap camera stores data beginning with the top left pixel and moves to the right before moving down to the next line, continuing in this manner until the last line is completed for that frame. The camera then starts acquiring the pixels at the top of the next frame. The following figures illustrate different storage configurations used by multi-tap cameras.
다중 탭 카메라가 데이터를 저장하는 데 사용하는 여러 가지 구성이 있습니다. 단일 탭 카메라는 왼쪽 상단 픽셀로 시작하는 데이터를 저장하고 오른쪽으로 이동하여 다음 줄로 이동 한 다음 마지막 줄이 해당 프레임에 대해 완료 될 때까지이 방식으로 계속됩니다. 그러면 카메라는 다음 프레임의 상단에서 픽셀 획득을 시작합니다. 다음 그림은 멀티탭 카메라에서 사용되는 다양한 스토리지 구성을 보여줍니다.
Figure 3. Tap illustration

3. Camera Communication
Digital cameras often allow you to change their functionality through serial commands or control signals. You can modify camera attributes through Measurement & Automation Explorer (MAX) by right-clicking on the camera, selecting Properties, and clicking on the Advanced tab. You can view and change all of your camera's properties on this tab. You can also access these properties programmatically using the function imgSetCameraAttributeString or the IMAQ Set Camera Attribute VI in LabVIEW.

Note: Be sure to check for the correct spelling and attribute order when you are setting your camera properties. Always set higher-level attributes first(i.e. before changing the Pulse Width, set the Shutter Control and Shutter Speed to the correct settings.)
지털 카메라는 종종 직렬 명령이나 제어 신호를 통해 기능을 변경할 수 있도록합니다. 카메라를 마우스 오른쪽 버튼으로 클릭하고 속성을 선택한 다음 고급 탭을 클릭하여 MAX (Measurement & Automation Explorer)를 통해 카메라 속성을 수정할 수 있습니다. 이 탭에서 카메라의 모든 속성을보고 변경할 수 있습니다. 또한 LabVIEW의 imgSetCameraAttributeString 또는 IMAQ Set Camera Attribute VI 함수를 사용하여 프로그래밍 방식으로 이러한 프로퍼티에 접근 할 수 있습니다.

참고 : 카메라 속성을 설정할 때 정확한 철자 및 속성 순서를 확인하십시오. 항상 높은 수준의 속성을 설정하십시오 (예 : 펄스 폭을 변경하기 전에 셔터 제어 및 셔터 속도를 올바른 설정으로 변경하십시오).

Serial Commands 
Digital cameras are controlled using either serial commands or control pulses. These methods use the same VIs or function calls. NI-IMAQ and your camera's camera file manage the serial commands and control pulses as required by your camera. The IMAQ 1422 and 1424 Series devices feature a UART chip designed for serial communication with digital cameras. The high-level commands called with the Camera Attribute functions allow you to set these properties without explicit knowledge of the low-level commands. The camera file also makes the use of serial commands and control pulses transparent.
직렬 명령
디지털 카메라는 직렬 명령 또는 제어 펄스를 사용하여 제어됩니다. 이 메소드는 동일한 VI 또는 함수 호출을 사용합니다. NI-IMAQ와 카메라의 카메라 파일은 카메라가 요구하는대로 직렬 명령과 제어 펄스를 관리합니다. IMAQ 1422 및 1424 시리즈 디바이스는 디지털 카메라와의 직렬 통신을 위해 설계된 UART 칩을 특징으로합니다. 카메라 속성 기능으로 호출 된 고급 명령을 사용하면 하위 수준의 명령에 대한 지식 없이도 이러한 속성을 설정할 수 있습니다. 카메라 파일은 또한 직렬 명령과 제어 펄스를 투명하게 사용합니다.

Control Pulses
Another method for controlling the camera is to send digital control pulses. Exposure time is a good example of an attribute that may be controlled with control signals. Some cameras may expect a rising edge before they open the shutter and the shutter stays open until the signal has a falling edge. As soon as the falling edge occurs, the shutter closes and the camera begins transferring the digital data to the image acquisition device. The length of the control pulse determines the shutter time, while the control pulse frequency determines the frame rate.
제어 펄스
카메라를 제어하는 ​​또 다른 방법은 디지털 제어 펄스를 보내는 것입니다. 노출 시간은 제어 신호로 제어 할 수있는 속성의 좋은 예입니다. 일부 카메라는 셔터를 열기 전에 상승 에지를 기대할 수 있으며 신호가 하강 에지에 도달 할 때까지 셔터는 열린 상태를 유지합니다. 하강 에지가 발생하면 셔터가 닫히고 카메라가 디지털 데이터를 이미지 수집 장치로 전송하기 시작합니다. 제어 펄스의 길이는 셔터 시간을 결정하는 반면, 제어 펄스 주파수는 프레임 속도를 결정합니다.

Note: You can set the shutter with serial commands, control pulses, or both. See your camera documentation for more information on which method your camera uses. 
참고 : 직렬 명령, 제어 펄스 또는 두 가지 모두로 셔터를 설정할 수 있습니다. 카메라가 사용하는 방법에 대한 자세한 내용은 카메라 설명서를 참조하십시오.

* Pixel Clock: 8bit(색의 종류에 따라 14bit 까지 가능?)로 이루어짐 하나의 픽셀을 나타낸다(역이서 1나의 픽셀은 한가지 색을 의미하는 것 같다)
3가지 색을 가진 Pixel 이라면 3개의 Pixel 클럭이 있어야 하나의 Pixel 을 나타낼 수 있다?
그러면 3Pixel 클럭이 가로 길이만큼 있으면 hsync, 가로 X 세로 만큼 있으면 vsync

Image Change
Some properties change how the image is formatted. These changes can cause timeout errors. For example, if you are expecting a 1000 x 1000 image, and you change an attribute that changes the image size to 500 x 500, NI-IMAQ will continue to look for a 1000 x 1000 image, resulting in the error message.
일부 속성은 이미지 서식을 변경합니다. 이러한 변경으로 인해 시간 초과 오류가 발생할 수 있습니다. 예를 들어, 1000 x 1000 이미지가 필요하고 이미지 크기를 500 x 500로 변경하는 속성을 변경하면 NI-IMAQ는 계속해서 1000 x 1000 이미지를 찾아 오류 메시지를 표시합니다.

A common example of an attribute that changes the images size is the binning attribute. Binning is a method of combining the charge of two consecutive pixels and returning a single pixel value with a greater charge, producing a smaller, brighter image. Since this attribute affects the image, make sure your window is reduced appropriately so that the reduced image size does not cause an error. While camera attribute functions send the serial command or control pulse and notify NI-IMAQ of the attribute change, you must still change the acquisition size.
이미지 크기를 변경하는 속성의 공통적 인 예는 binning 속성입니다. Binning은 두 개의 연속 픽셀의 전하를 결합하고 단일 픽셀 값을 더 큰 전하로 반환하여 더 작고 밝은 이미지를 생성하는 방법입니다. 이 속성은 이미지에 영향을 미치므로 축소 된 이미지 크기로 인해 오류가 발생하지 않도록 창을 적절하게 축소해야합니다. 카메라 속성 함수가 시리얼 명령 또는 제어 펄스를 전송하고 NI-IMAQ에 속성 변경을 알리는 동안, 여전히 획득 크기를 변경해야합니다.

Note: If the cable coming from the image acquisition device does not have the serial lines connected (often because the serial lines are housed in the power connector of the camera), change the window size to fit the image and then send the serial command using your operating system's COM port.
참고 : 이미지 수집 장치에서 나오는 케이블에 직렬 회선이 연결되어 있지 않은 경우 (종종 직렬 회선이 카메라의 전원 커넥터에 들어 있기 때문에) 이미지에 맞게 창 크기를 변경 한 후 다음을 사용하여 직렬 명령을 보냅니다. 운영 체제의 COM 포트

Camera Files
A camera file tells NI-IMAQ how the camera organizes the pixels, what attributes the camera supports and how to change them, either using serial commands or control pulses.
카메라 파일은 NI-IMAQ에 카메라가 픽셀을 구성하는 방법, 카메라가 지원하는 속성 및 변경 방법을 직렬 명령 또는 제어 펄스를 사용하여 알려줍니다.

Due to all the variations in digital cameras, such as how they format the data and the modes they support, NI-IMAQ requires a camera file to specify how the data is coming in and what serial commands and control pulses should be sent to the camera to change the mode or attributes of the acquisition. You can check the list of Compatible Digital Camera Files to see if there is a digital camera file available for your camera. If you do not see the camera listed here, the NI Camera File Generator can help you create your own custom camera files with an easy to use user interface.
NI-IMAQ는 데이터를 포맷하는 방법과 지원하는 모드와 같은 디지털 카메라의 모든 변형으로 인해 데이터 입력 방법과 카메라로 전송할 일련의 명령과 컨트롤 펄스를 지정하는 카메라 파일이 필요합니다 획득의 모드 또는 속성을 변경합니다. 호환되는 디지털 카메라 파일 목록을 확인하여 카메라에서 사용할 수있는 디지털 카메라 파일이 있는지 확인할 수 있습니다. 여기에 나열된 카메라가 보이지 않는다면 NI Camera File Generator를 사용하여 사용하기 쉬운 사용자 인터페이스로 사용자 정의 카메라 파일을 만들 수 있습니다.

See Also:
NI Camera File Generator

4. Signal Types

There are four types of digital signals used to send the image data to your image acquisition device.
이미지 수집 장치로 이미지 데이터를 전송하는 데 사용되는 네 가지 유형의 디지털 신호가 있습니다.

  • TTL is a single-ended, 0 to 5 V signal. It can travel only about 1 meter (6-8 feet) reliably. Due to the large voltage swing, the signal cannot maintain pixel clock frequencies above 20 MHz. TTL signals are not as common because of these limitations.
  • TTL은 단일 종단 형, 0 ~ 5V 신호입니다. 그것은 약 1 미터 (6-8 피트) 정도의 거리를 안정적으로 여행 할 수 있습니다. 전압 스윙이 크기 때문에 신호는 20MHz 이상의 픽셀 클럭 주파수를 유지할 수 없습니다. TTL 신호는 이러한 한계 때문에 흔하지 않습니다.
  • RS-422 is a differential signal that can travel about 6-8 meters (18-24 feet). It has the limitation of 20 MHz maximum for the pixel clock. This type of signal is typically used for digital cameras that do not require pixel clocks faster than 20 MHz.
  • RS-422는 약 6-8 미터 (18-24 피트)를 이동할 수있는 차동 신호입니다. 픽셀 클럭에는 최대 20 MHz의 한계가 있습니다. 이 유형의 신호는 일반적으로 20 MHz보다 빠른 픽셀 클럭을 필요로하지 않는 디지털 카메라에 사용됩니다.
  • LVDS (Low Voltage Differential Signal) is a differential signal with a lower voltage swing. The differential property allows for 6-8 meters (18-24 feet) of digital data integrity, and the lower voltage swing allows the signals to have greater than 20 MHz frequencies. Cameras that require faster pixel clocks use LVDS signals.
  • LVDS (Low Voltage Differential Signal)는 전압 스윙이 낮은 차동 신호입니다. 차동 특성은 6-8 미터 (18-24 피트)의 디지털 데이터 무결성을 허용하며, 낮은 전압 스윙은 신호가 20 MHz 이상의 주파수를 갖도록합니다. 더 빠른 픽셀 클럭을 필요로하는 카메라는 LVDS 신호를 사용합니다.
  • Camera Link is a new digital standard that sends back serialized data instead of parallel. All bits pass through a converter onboard the camera, which places all of the data on a single line. The device then sends this single line back through a converter to return the data to the camera. This standard allows for thinner cables and uses a standard connector. The Camera Link standard can support pixel clocks greater than 20 MHz and can travel up to 10 meters (30 feet). Camera Link's enable lines use the LVDS signal. Camera Link eliminates the burden of specialty cables, since the Camera Link cable is compatible with every Camera Link camera and image acquisition device.
  • Camera Link는 병렬 대신 직렬화 된 데이터를 다시 전송하는 새로운 디지털 표준입니다. 모든 비트는 카메라에 내장 된 변환기를 통과하여 모든 데이터를 한 줄에 배치합니다. 그런 다음 장치는이 단일 라인을 변환기를 통해 다시 전송하여 데이터를 카메라로 반환합니다. 이 표준은 더 얇은 케이블을 허용하고 표준 커넥터를 사용합니다. Camera Link 표준은 20 MHz 이상의 픽셀 클록을 지원하며 최대 10 미터 (30 피트)까지 이동할 수 있습니다. Camera Link의 인 에이블 라인은 LVDS 신호를 사용합니다. Camera Link 케이블은 모든 Camera Link 카메라 및 이미지 수집 장치와 호환되므로 Camera Link는 특수 케이블의 부담을 없애줍니다.

The table below lists the boards that support the four digital formats.

Note: The IMAQ 1424 and 1422 Series devices each have a RS-422 and LVDS version. 

2017년 11월 12일 일요일

HD(High Definition) 은 무엇을 의미 하는가?

원본: Link

요약
HD 는 High Definition 의 약자로 화질(선명도) 가 가장 낮은 1280(가로) x 720(세로) , 픽셀개수, 부터 시작한다. HD 보다 낮은 화질은 576 으로 표현되는(720 x 576) Standard Definition , ex> PAL 이 있다.
보통 화질은 720p, 1080i, 1080p 라고 표현되는데 이때 p는 progressive, i 는 interlaced를 나타낸다. interlaced 는 odd와 even 이 나눠지고 progressive는 순차적이다.

HD - short for High Definition - is everywhere these days, but is it really a big deal and what’s the difference between 720p HD and 1080p Full HD when it comes to television displays and video content?
HD는 - High Definition 의 약자 - 는 어디에서나 볼 수 있습니다. HD는 720p 와 1080p의 Full HD 가 있다고 하는데 TV의 display 나 그 영상의 내용물에 있어서 어떠한 차이가 있는 것일까요?

Games consoles play HD games, all of the public service broadcasters (that’s the BBC, ITV, Channel 4 and Channel 5) have dedicated HD channels and streaming services like Netflix and Amazon Prime Instant Video play thousands of movies in HD on demand. Even pretty much every cheap-as-chips entry-level phone that hits the shelves these days has an HD screen, so you can enjoy high-def video on the move.
게임 콘솔(게임 화면?) 은 HD를 사용하며, 모든 공공 서비스 방송사들은(BBC나 ITV, Channel 4 나 Channel 5 같은) HD 채널을 제공하며 넷플릭스나 아마존  프라임 인스턴트 비디오 에서는 고객 요구에 의해 HD를 제공 합니다. 심지어는 모든 값싼 기본 Chip으로 된 핸드폰도 HD 스크린을 제공 합니다, 그래서 이동하면서도 고 화질을 감상할 수 있습니다.

But what actually is HD, how many different types of HD are there, and what's the difference between 720p HD, 1080p Full HD, Quad HD and 4K Ultra HD? Here's our explainer guide.
그렇다면 도대체 이 HD는 몇가지 종류가 있으며 보통 얘기하는 720p, 1080p Full HD, Quad HD 와 4k Ultra HD는 무엇을 의미하는 것일까요?

What is HD?
So what actually is HD? HD, or High Definition, refers to the detail level of a screen; or to put it another way, the number of pixels that are packed into a display. A pixel is the smallest visible element on a display, the ‘dots’ that combine to make up the overall picture.
그래서 HD는 무엇을 말하는 것인가요? HD 나 High Definition 이라고 불리는 것은 화면 이나 화면 같은 것들에 보이는 pixel 의 개수를 의미 합니다. pixel은 가장 작은 보이는 요소이며 사진을 만들기 위한 하나의 작은 점 이라고 생각하면 됩니다.

HD follows from standard definition (the level of detail in analogue colour TV that most of us grew up with), cramming in even more pixels in order to produce sharper, cleaner images when playing video.
HD는 표준 정의(우리 모두가 자라온 아날로그 TV의)를 따르며 비디오를 재생할 때 더 선명하고 깨끗한 이미지를 만들기 위해 더 많은 픽셀을 사용합니다.

Confusingly there are three different types of ‘HD’ resolution out there, so it’s worth knowing a bit more when shopping around for high definition TV sets and related gear. Just because a TV set or monitor has ‘HD’ slapped on the side, it might not be exactly what you want or need. So let's take a closer look at 720p, 1080i and 1080p here, and what you need to know.
혼란스럽게도 3가지의 서로 다른 'HD' 화질 종류가 있습니디ㅏ, 그래서 이것은 고화질의 TV 및 관련 장비를 쇼핑할 때 좀 더 알아둘 가치가 있습니다. TV나 모니터의 옆면에 'HD' 가 적혀져 있는 것만으로 당신이 필요한 것이 아닐 수가 있습니다. 그래서 720p, 1080i, 1080p 에 대해 더 자세하게 보도록 하겠습니다.

720p, 1080i and 1080p HD - What’s the difference?
720p, 1080i and 1080p are all versions of HD, but they’re all different. It’s important to note that you can’t actually buy a TV set with a 1080i display, for reasons which we’ll go into a bit later. So to begin with, we’ll just look at 720p and 1080p and the differences between those.
720p, 1080i, 1080p는 HD 의 전체 종류 입니다, 이것들은 다 다릅니다. 당신이 1080i 인 TV를 살 수없다는 사실은 중요합니다. 이 내용에 관련해서는 나중에 다룰 것입니다. 우리는 먼저 720p 와 1080p 의 다른점을 먼저 이야기 하겠습니다.

720p vs 1080p
In the analogue TV days, all UK TVs used the PAL (Phase Alternating Line) broadcast system, which used the standard definition of 576i. In other words, video content came in a 720 pixels wide by 576 pixels tall resolution, also known as ‘standard definition’ or SD.
아날로그 TV 사용할 때는, 모든 영국의 TV들은 PAL(Phase Alternating Line) 방송 시스템을 사용 하였습니다, 그리고 이 PAL 은 576i를 사용합니다. 다른말로 하면, 비디오의 내용물은 720 pixel 넓이에 576의 높이로 나왔다는 것이며 이것은 '표준 화질'이나 SD 로 불렸습니다.

A 720p screen is 1280 pixels (wide) x 720 pixels (tall). That's more than twice the detail of standard definition, which makes for reasonably sharp video playback on a standard TV. However, 1080p goes even further, racking up the pixel dimensions to 1920 x 1080 - that's five times more detailed than SD.
720p 화면은 1280 넓이에 720 높이를 가졌습니다. 이것은 Standard Definition의 2배이며, 이로 인해서 확실히 선명한 화면을 Standard TV에 보여줄 수 있었습니다. 하지만 1080p 화면은 더욱 발전해서 pixel 의 면적이 1920 넓이에 1080 의 높이를 가집니다. 이는 Standard Definition의 5배 입니다.

Over on our YouTube channel, we’ve taken a humorous look at the history of broadcast definitions which might help explain the differences between the two a little better - as well as prepare you for the next generation of high definition - but that’s another story.
Youtube를 보면 이 방송되는 화질에 대한 재미있는 역사를 볼 수 있습니다. 지금까지 이야기 했던 두가지 에 대한 이해를 더 쉽게 해주며 다음에 올 화질에 대한 대비도 할 수 있습니다.

An HD TV with a resolution of 720p will only be able to display video at this resolution and no higher. So if you’re planning on playing HD games on your PlayStation 4 (which supports 1080p Full HD) or streaming the highest quality movies from Netflix you might want to avoid getting a 720p TV set.
720p 화질의 HD TV는 같은 화질 까지만 할 수 있으며 더 높은 화질은 보낼 수 없습니다. 그래서 HD게임을 당신의 PlayStation 4 (1080p Full HD 를 지원하는)플레이 하고 싶거나 Netflix에서 보여주는 높은 화질의 영화를 보고 싶다면 720p TV Set을 사용하는 것은 지양했으면 합니다.

That’s not to say that a PlayStation 4 or Netflix won’t work on a 720p set - you just won’t be able to get the absolute best performance.
이 말은 720p set에서 PlayStation 4 나 Netflix가 동작하지 않는다는 이야기가 아니라 - 최상의 성능을 사용하지 못한다는 이야기 입니다.

Most 720p TV sets you’ll see in shops these days tend to be toward the cheaper end of the price spectrum and will be marketed as being ‘HD Ready’. This is because 720p is the absolute minimum required to meet this standard.
요즘 대부분의 상점에서 볼 수 있는 720p TV set들 중 싼 것들은 'HD Ready' 라고 되어 있는데. 이것들이 HD 중 가장 낮은 사양의 720p 를 지원할 수 있기 때문이다.

Most 1080p sets you’ll see will be marketed as being ‘Full HD’ or 'True HD' as it gives you a richer, more well defined viewing experience.
대부분으로 당신이 볼 수 있는 1080p 제품은 'Full HD' 나 'True HD'라고 적혀있을 것이다. 풍부하고 더욱 선명한 시각경험을 제공한다.

Can a 720p TV playback 1080p Full HD video?
Related: Quad HD vs qHD vs 4K Ultra HD: What does it all mean?Each TV set will have what’s called its native resolution. This basically means that a 720p set is better at displaying 720p HD broadcasts.
720p 제품은 1080p 의 동영상을 출력할 수 있을까?
이와 관련해서 Quad HD, qHD, 4K Ultra HD는 무엇을 의미하는지? 각 TV set은 순수한 해상도를 이야기 합니다. 기본적으로 720p 용이 720p 를 출력하는데 최적 입니다.

Every broadcast or format your TV receives will be displayed in its native resolution. So if your 720p set receives a 1080p signal from a broadcast, Blu-ray player or games machine, it will downscale it to fit on the screen. Similarly, any standard definition 576p broadcasts will be upscaled.
당신이 당신의 TV로 수신하는 것은 해당 TV의 해상도 만큼 입니다. 그래서 720p 는 1080p를 Blu-ray나 game machine 에서 받으면 화면에 맞추기 위해서 down scale합니다. 비슷하게 어떤 표준 선명도 576p를 받으면 upscale 합니다.

All HD channels from the BBC, Channel 4, Sky and Virgin Media for example are broadcast in 1080i. A 720p HD TV would then downscale this resolution to fit, while a 1080p TV set would be able to handle it natively. We’ll get on to the difference between 1080i and 1080p in a bit. Promise!
예를 들어 BBC, Channel 4, Virgin Media 의 모든 HD 채널은 1080i 로 송신 됩니다. 720p의 TV는 이것을 downscale 합니다. 반면에 1080p는 그대로 받아들일 수 있습니다. 우리는 이제 1080i 와 1080p 의 차이점을 이야기 해 볼 것입니다.

The real plus of having a 1080p TV set have over a 720p one is when it comes to watching Blu-ray movies. Blu-ray is a native 1080p format, so they look their absolute best on 1080p TVs. If you’ve got a growing Blu-ray collection then the choice is clear - go for a 1080p set.
1080p TV를 가지고있는 것의 진정한 장점은 720p 이상의 블루 레이 영화를 보는 것입니다. Blu-ray는 기본 1080p 형식이므로 1080p TV에서 절대 최선을 다합니다. 블루 레이 컬렉션이 늘어나고 있다면 1080p 세트를 선택해야합니다.

In terms of picture quality on a 24-inch or 26-inch screen the difference is negligible unless you’re sat up close. Only on bigger screens (32-inches and above) can you start to appreciate the benefits of 1080p.
24 인치 또는 26 인치 화면의 화질면에서 볼 때 당신이 가까이 앉아 있지 않으면 그 차이는 무시해도됩니다. 더 큰 화면 (32 인치 이상)에서만 1080p의 이점을 이해할 수 있습니다.

What is 1080i and how is that different to 1080p?
1080i and 1080p broadcasts both display images at the same pixel count as each other - 1920 x 1080. The big difference is in how images are made up on your TV.
1080i 란 무엇이며 1080p와 다른 점은 무엇입니까?
1080i 및 1080p 브로드 캐스트는 서로 같은 픽셀 수 (1920 x 1080)로 이미지를 표시합니다. 큰 차이는 TV에서 이미지를 구성하는 방법입니다.

The lowercase ‘i’ in 1080i stands for interlaced scan. The lowercase ‘p’ in 1080p stands for progressive scan.
1080i의 소문자 'i'는 interlaced(섞여진) scan 을 의미 하며, 소문자 'p'는 progressive(점차적) scan을 의미 합니다.

Interlaced scan renders images in vertical lines, breaking down the picture into individual columns and then displaying every other line at a very high rate - at 1/25th of a second. Odd-numbered lines get painted on the screen first, then even numbered lines. While this is incredibly fast and impossible for the human eye to detect, it can create a ghostly flickering effect on live TV broadcasts, particularly live sporting events.
Interlaced scan은 이미지를 수직으로 만드는데 개별 column으로 만들어서 odd/even으로 나누어 투사를 하는 것이다. 사람이 알아보지 못할 정도로 빨리 한다.

Progressive scan renders images sequentially, all at once. This makes for a much smoother image overall that doesn’t suffer from this ghosting effect. What’s more, flat-panel displays like LCDs, LEDs and plasmas (the most common types of HD TVs) will automatically convert any incoming 1080i signal to 1080p. Good quality TVs (generally the expensive ones from well-known brands) will use clever processing to replace the missing lines, but cheaper TVs won't look as good.
processive scan은 이미지를 순차적으로 만든다. 이렇게 하면 ghost effect 없이 부드럽게 이미지를 만들 수 있다. 게다가 LCD/LED/plasmas(가장 일반적인 HD TV용) 는 자동으로 1080i 를 1080p 로 바꿔줄 것이다. 좋은 품질의 TV(알려진 브랜드의 비싼 것)는 없어진 line을 처리하는데 더욱 똑똑하게 동작할 것이지만 싼 것은 그렇지 않을 것이다.

Interlaced scan was introduced for analogue TV both as a form of data compression (only sending half the signal at any one time) and because old-school CRTs (cathode ray tube) TVs in the past couldn't physically scan screens fast enough for a progressive picture.
Interlaced scan은 아날로그 TV를 사용할 때 데이터 압축의 방법(전체 데이터의 반만 송신하는 것)으로 소개되었다. 왜냐하면 오래된 CRT(cathode ray tube로 된) 들은 progressive 사진을 충분하게 보낼 수 없엇기 때문이다.

참조 내용들
Progressive vs Interlaced
Progressive vs Interlaced Scanning - Everythig You Need to Know
Progressive Vs. Interlaced - What's The Difference?

Terminology
definition: 선명도
progressive: 진보적인, 점진적인
interlaced: 섞여진, 짜여진
render: Rendering (computer graphics), generating an image from a model by means of computer programs Rendering engine, the software that transforms (renders) data into a picture, 여기서는 데이터를 컴퓨터 프로그램을 통해서 사진을 만드는 작업을 이야기 한다.
playback : 재생

2017년 4월 23일 일요일

Image Process Pipeline

Image Sensor 에서 이미지를 획득(Acquisition) 한 다음 이미지 프로세싱을 수행하고 이 이미지 프로세싱을 나열한 것이 pipeline 이다. 이 pipeline 이 지나면 최종 이미지(YUV 이미지?)가 생성된다.

So what purpose does ISP have? Well, pixels are sensitive to light between some set of wavelengths, essentially they’re color agnostic.
ISP 의 목적은 무엇인가? pixel은 빛에 민감하다(관련된 특성은 빛 파장이며, 이 때 색은 감지하지 못한다(agnostic, 불가지론의).)

The way to get a color image out is to put a filter on top, usually a bayer pattern color filter, then interpolate the color of the pixels adjacent.
색을 얻는 방법은 필터를 센서 위에 두는 것이다, 보통 베이어 패턴의 색 필터를 사용한다. 그 후에는 interpolate로 주변 픽셀의 색을 구한다. (한 픽셀은 R, G, B 중 한가지만 얻을 수 있기 때문에)

Your 8 MP CMOS doesn’t sense red green and blue for each pixel, it senses one color for each, then ISP guesses the color based on what’s next to it. This is called demosaicing, and it’s probably the primary job of ISP, and there are many secret sauce methods to computing this interpolated image.
8메가의 CMOS 센서는 빨간색, 녹색, 파란색을 각 픽셀에서 얻지 못한다. 하나가지 색만 감지해 낼 수 있다. 그리고 ISP는 주변의 색을 추측 해 낸다. 이것을 demosic 한다고 한다. 이것이 ISP의 가장 기본적인 일이다. 그리고 ISP는 이 interpolate 된 이미지를 가지고 많은 일을 한다.

In addition ISP does all the other housekeeping, it controls autofocus, exposure, and white balance for the camera system.
ISP는 autofocus, exposure, white balance 도 한다.

Recently correcting for lens imperfections like vignetting or color shading imparted by the imperfect lens system (which you’ll add right back in with instagram, you heathen) has been added, along with things like HDR recombining, noise reduction, other filtering, face or object detection, and conversion between color spaces.
최근에는 lens의 불완전함(비네팅, 컬러 쉐이딩 - 렌즈의 불완전함 때문에 생긴) 을 바로 잡기도 하며 HDR recombining, noise reduction, 다른 filtering, 얼굴 인식, 물체 인식, 색 공간간의변환 등도 수행 합니다.

There’s variance between the features that ISP does, but this is really the controller for getting that bayer data into a workable image array.
ISP 에서 하는 일은 ISP의 종류에 따라 다양 하지만, bayer를 사용 가능한 image array 로 만든 다음 그것을 조작 하는 것임은 틀림 없습니다.



참조
http://www.anandtech.com/show/6777/understanding-camera-optics-smartphone-camera-trends/4
https://www.einfochips.com/blog/consumer-electronics/a-peek-inside-your-camera-i-image-signal-processing-isp-pipeline.html
https://www.einfochips.com/blog/consumer-electronics/a-peek-inside-your-camera-ii-image-sensor-modules.html

Image Sensor

Image Processing 을 이해하기 위한 Image Sensor 종류 확인

보통 CMOS 센서를 쓰고, 빛의 양(회색 빛)을 숫자로 받을 수 있으며 색을 확인하기 위하여 Bayer filter 를 사용하여 interpolation 을 하면 digitize(숫자화, 여기서는 양자화 까지 포함?) 된, matrix 형태의 이미지를 받을 수있다.
궁금한 것은 sensor 의 셋팅을 통하여 센서에서 받는 이미지의 값이 달라지고 이것이 최종 이미지 품질을 변화시킬 텐데
sensor 셋팅을 통해서 할 수있는 일들이 무엇인지 궁금하다. 왜냐하면 이미지 프로세싱과 구분이 잘 안되기 때문이다.


아래 내용 참조: https://en.wikipedia.org/wiki/Image_sensor

An image sensor or imaging sensor is a sensor that detects and conveys the information that constitutes an image. It does so by converting the variable attenuation of light waves (as they pass through or reflect off objects) into signals, small bursts of current that convey the information. The waves can be light or other electromagnetic radiation. Image sensors are used in electronic imaging devices of both analog and digital types, which include digital cameras, camera modules, medical imaging equipment, night vision equipment such as thermal imaging devices, radar, sonar, and others. As technology changes, digital imaging tends to replace analog imaging.
이미지 센서 혹은 이미징 센서는 이미지 정보를 감지하고 전달한다. 빛 파장의 가변감쇄를 통하여(통과 시키거나 반사하면서) 시그널이나, 적은 저항으로 이미지 정보를 저장한다. 그 파자은 빛이나 다른 전자기복사가 될 수 있다. 이미지 센서는 전자 이미지 장치(아날로그, 디지털 타입 모두)에 사용된다. 디지털 카메라, 카메라 모듈, 의료 이미징 장비, 야간 투시경 장비(열 감지 장치, 레이다, 음향포정장치 등)에 사용된다. 기술이 변화하면서 디지털 이미징은 아날로그 이미징으로 옮겨가고 있다.

Early analog sensors for visible light were video camera tubes. Currently, used types are semiconductor charge-coupled devices (CCD) or active pixel sensors in complementary metal–oxide–semiconductor (CMOS) or N-type metal-oxide-semiconductor (NMOS, Live MOS) technologies. Analog sensors for invisible radiation tend to involve vacuum tubes of various kinds. Digital sensors include flat panel detectors.
초기 사람에게 보이는 영역(가시광)을 위한 아날로그 센서는 비디오 카메라 튜브 였습니다. 현재 사용되는 센서의 타입은 반도체 CCD(charge-coupled devices)나 active Pixel sensor인 CMOS(complementary metal–oxide–semiconductor) 혹은 NMOS(N-type metal-oxide-semiconductor) 기술 입니다. 보이지 않는 영역을 위한 아날로그 센서는 다양한 vaccum tube를 포함하고 있습니다. 디지털 센서는 평평한 판넬 감지기를 포함합니다.


CCD vs CMOS technology
Today, most digital cameras use a CMOS sensor, because CMOS sensors perform better than CCDs. An example is the fact that they incorporate an integrated circuit, helping reduce costs. CCD is still in use for cheap low entry cameras, but weak in burst mode.[1] Both types of sensor accomplish the same task of capturing light and converting it into electrical signals.
오늘, 대부분의 디지털 카메라는 CMOS 센서를 사용한다. 왜냐하면 CMOS 센서는 CCD 보다 나은 성능을 내기 때문이다(-.-;). 예를 들면 CMOS는 가격을 줄이는 데 도움이 되는 집적회로를 포함하고 있다. CCD는 보통 싼 기본기능이 탑재된 카메라에 쓰인다. 하지만 독점 방식에 약하다. 두개의 (센서)타입 모두 빛을 캡쳐해서 전자 시그널로 변환하는 기능을 수행한다.

Each cell of a CCD image sensor is an analog device. When light strikes the chip it is held as a small electrical charge in each photo sensor. The charges in the line of pixels nearest to the (one or more) output amplifiers are amplified and output, then each line of pixels shifts its charges one line closer to the amplifier(s), filling the empty line closest to the amplifiers(s). This process is then repeated until all the lines of pixels have had their charge amplified and output.[2]
CCD 이미지 센서의 각 셀은 아날로그 장치이다. 빛이 센서의 개별 칩(픽셀)에 부딧힐 때 작은 전하가 생긴다. 아웃풋 증폭기와 가까운 row 픽셀 라인의 전하들은 증폭되고 아웃풋 된다(?) 그리고 각 픽셀 라인은 그 전하를 가장 가까운 빈 라인을 채우면서 한 라인 가까운 증폭기에 시프트 시킨다. 이프로세스는 모든 픽셀 라인이 전하로 채워질 때까지 계속된다.

A CMOS image sensor has an amplifier for each pixel compared to the few amplifiers of a CCD. This results in less area for the capture of photons than a CCD, but this problem has been overcome by using microlenses in front of each photodiode, which focus light into the photodiode that would have otherwise hit the amplifier and not be detected.[3] Some CMOS imaging sensors also use Back-side illumination to increase the number of photons that hit the photodiode.
CMOS 이미지 센서는 각 픽셀에 증폭기가 달려있어 상대적으로 적은 CCD 와 비교된다. 이 차이가 적은 포톤을 잡는 특징을 만들었지만, 이 문제는 각 포토다이오드 앞에 빛을 포토다이오드에 포커스 하게 해주는 마이크로렌즈를 사용함으로써 빛이 증폭기를 비춰서 디텍트 되지 않을수 있는 위험을 없애 주었다. 일부 CMOS 이미지 센서는 뒷면 조명을 사용하여 포토 다이오드를 치는 포톤의 수를 증가시켜 주었다.(?)

CMOS sensors can potentially be implemented with fewer components, use less power, and/or provide faster readout than CCD sensors.[4] They are also less vulnerable to static electricity discharges.
CMOS 센서는 CCD보다 잠재적으로 적은 수, 적은 파워 그리고 빠른 해독이 가능하다. 그리고 정전기에도 덜 연약하다.

Another hybrid CCD/CMOS architecture, sold under the name "sCMOS," consists of CMOS readout integrated circuits (ROICs) that are bump bonded to a CCD imaging substrate – a technology that was developed for infrared staring arrays and now adapted to silicon-based detector technology.[5] Another approach is to utilize the very fine dimensions available in modern CMOS technology to implement a CCD like structure entirely in CMOS technology. This can be achieved by separating individual poly-silicon gates by a very small gap. These hybrid sensors are still in the research phase and can potentially harness the benefits of both CCD and CMOS imagers.[6]
또 다른 CCD/CMOS 를 조합한 구조는, 'sCMOS' 라고 하며, CMOS 해독 집적회로(ROICs) 가 CCD 이미지 기판에 붙어 있다 - 이 기술은 적외선 응시 배열 때문에 만들어 졌으며 지금은 실리콘 기반의 탐지 기술에도 적용 되고 있다.  ...

Performance
There are many parameters that can be used to evaluate the performance of an image sensor, including dynamic range, signal-to-noise ratio, and low-light sensitivity. For sensors of comparable types, the signal-to-noise ratio and dynamic range improve as the size increases.


Color separation
There are several main types of color image sensors, differing by the type of color-separation mechanism:
color 를 sensing 하기 위하면 몇가지 다른 방법이 있다.

1) Bayer filter sensor,
low-cost and most common, using a color filter array that passes red, green, or blue light to selected pixel sensors, forming interlaced grids sensitive to red, green, and blue – the missing color samples are interpolated using a demosaicing algorithm. In order to avoid interpolated color information, techniques like color co-site sampling use a piezo mechanism to shift the color sensor in pixel steps. The Bayer filter sensors also include back-illuminated sensors, where the light enters the sensitive silicon from the opposite side of where the transistors and metal wires are, such that the metal connections on the devices side are not an obstacle for the light, and the efficiency is higher.[7][8]

2) Foveon X3 sensor,
using an array of layered pixel sensors, separating light via the inherent wavelength-dependent absorption property of silicon, such that every location senses all three color channels.

3) 3CCD,
using three discrete image sensors, with the color separation done by a dichroic prism.






















2017년 4월 22일 토요일

Video compression picture types(I, P, B frames)

계기: i frame 과  p frame 이 무엇이고 그 차이점을 이해하기 하기 위하여

I‑frame (Intra-coded picture)
사진의 모든 정보, P-frame과 B-frame은 이미지의 일부(압축된)만 가지고 있으므로 I-frame에 비해 크기가 작다.

P-frame (Predicted picture)
이전 이미지에서 변경된 정보만을 가지고 있는 frame. delta-frames 라고도 부른다.

B-frame(Bi-predictive picture)
지금, 이전, 그리고 다음의 프레임의 다른 점을 저장하여 더(P-frame 보다?) 공간을 줄이는 것

참조: https://en.wikipedia.org/wiki/Video_compression_picture_types

VGA와 HD의 차이점

VGA: Video Graphics Array
HD: High Definition

풀HD는 :1080i/p  (1920*1080)의 픽셜갯수를 갖은 영상!!
HD는 :  720i/p    (1280* 720)의 픽셜의 갯수를 갖은 영상!!
VGA는:              (640*480  ) 의 픽셜의 갯수를 갖은 영상이라고 생각하면 됩니다


Video Connector 종류






참조: http://www.bobaedream.co.kr/board/bulletin/view.php?code=tour&No=410315

HDR 과 SDR

HDR: High Dynamic Range
SDR: Standard Dynamic Range

Dynamic Range:  ratio between the largest and smallest values that a certain quantity can assume.

SDR:  the dynamic range of images/rendering/video using a conventional gamma curve.

참조: http://communityforums.rogers.com/t5/blogs/blogarticlepage/blog-id/CommunityBlog/article-id/806



conventional: 전통적인

gamma correction: 목적은 인간 시각의 비선형성에 맞추어 정보를 부호화하려는 것이므로, 많은 경우 감마 부호화(gamma encoding)라는 표현이 더 적합하다. 인간 시각은 카메라의 다이나믹 레인지보다 훨씬 높은 명암차이를 감지할 수 있으며 색상이나 해상도차이에 비해 명암의 차이에 민감하다. 디스플레이 장치의 발전에 따라서 다이나믹 레인지를 보다 잘 표현하기 위해서 기존의 영상 시스템의 활용성을 높이면서 시각에 민감한 부분의 데이터를 보다 효율적으로 압축 전달하기 위한 방향으로 gamma encoding이 개발, 발전 되고 있다.
참조
    1) https://en.wikipedia.org/wiki/Gamma_correction
    2) https://ko.wikipedia.org/wiki/%EA%B0%90%EB%A7%88_%EB%B3%B4%EC%A0%95


2017년 4월 3일 월요일

Image processor

이미지 프로세서를 이해하기 위해서 Wikipedia 내용을 번역

An image processor, image processing engine, also called media processor, is a specialized digital signal processor (DSP) used for image processing in digital cameras, mobile phones or other devices.[1][2] Image processors often employ parallel computing even with SIMD or MIMD technologies to increase speed and efficiency. The digital image processing engine can perform a range of tasks. To increase the system integration on embedded devices, often it is a system on a chip with multi-core processor architecture.
이미지 프로세서(이미지 프로세싱 엔진, 그리고 미디어 프로세서로 불리는)는 디지털 카메라, 핸드폰 그리고 다른 장치들에서 사용되는 특화된 디지털 시그널 프로세서(DSP)를 말한다. 이미지 프로세서는 스피드오 효율성을 위해서 SIMD 나 MIMD 와 같은 병렬 컴퓨팅를 사용한다. 디지털 이미지 프로세싱 인진은 여러 Task 를 사용할 수 있다. 임베디드 시스템에서의 시스템 통합을 위해서, 멀티코어 프로세서 시스템 구성을 가진 칩 위에서 사용된다.


Function

Bayer transformation
The photodiodes employed in an image sensor are color-blind by nature: they can only record shades of grey. To get color into the picture, they are covered with different color filters: red, green and blue (RGB) according to the pattern designated by the Bayer filter - named after its inventor. As each photodiode records the color information for exactly one pixel of the image, without an image processor there would be a green pixel next to each red and blue pixel. (Actually, with most sensors there are two green for each blue and red diodes.)
This process, however, is quite complex and involves a number of different operations. Its quality depends largely on the effectiveness of the algorithms applied to the raw data coming from the sensor. The mathematically manipulated data becomes the photo file recorded.
이미지 센서에 사용된 포토 다이오드(감광성의 반도체 장치)는 자연에 의한 color-blind 이다: 회색 그림자만을 저장할 수 있다. 그림에 색을 넣기 위해서는, 서로 다른 Bayer Filter(만든사람 이름)로 디자인된 색 필터가 사용되어야 한다: 빨간색, 녹색 그리고 파란색(RGB). 각각의 포토 다이오드는 하나의 색 정보(RGB 중 1개) 밖에 없기 때문에 이미지 프로세서가 없다면 그냥 녹색 픽셀 옆에 파란색 그 옆에 빨간색 픽셀이 있는 것이다?(실제로는 파란색, 빨간색 하나씩에 녹색은 2개가 있다.)
하지만 이 프로세스는 꽤 복잡하며 많은 작업들이 연관되어 있다. 품질은 sensor 에서 받은 raw 데이터에 대한 알고리즘의 효과성에 달려 있다. 수학적으로 조작된 데이터는 사진 파일이 된다.

Demosaicing
As stated above, the image processor evaluates the color and brightness data of a given pixel, compares them with the data from neighboring pixels and then uses a demosaicing algorithm to produce an appropriate colour and brightness value for the pixel. The image processor also assesses the whole picture to guess at the correct distribution of contrast. By adjusting the gamma value (heightening or lowering the contrast range of an image's mid-tones) subtle tonal gradations, such as in human skin or the blue of the sky, become much more realistic.
이미지 프로세서는 픽셀에 있는 색과 밝기를 평가하고 옆에 있는 픽셀들과 비교하여 demosaicing 알고리즘을 적용하고 나면 적절한 색과 밝기를 생산해 낸다. 이미지 프로세서는 전체 사진에 대해 판단하여 정확한 대비의 분배를 추측한다. gamma 값을 조정하여(이미지의 mid-tone 대비값을 강조하거나 낮추거나 해서) 미묘한 톤의 단계적 차이를 현실감 있게(피부 및 하늘의 파란 색 등) 표현한다.
- 디지털 카메라의 모자이크 형태의 컬러필터배열(CFA)에 의해 만들어진 샘플을 풀컬러 이미지로 변환하는 것(Link)

Noise reduction
Noise is a phenomenon found in any electronic circuitry. In digital photography its effect is often visible as random spots of obviously wrong colour in an otherwise smoothly-coloured area. Noise increases with temperature and exposure times. When higher ISO settings are chosen the electronic signal in the image sensor is amplified, which at the same time increases the noise level, leading to a lower signal-to-noise ratio. The image processor attempts to separate the noise from the image information and to remove it. This can be quite a challenge, as the image may contain areas with fine textures which, if treated as noise, may lose some of their definition.
노이즈는 어느 전기적 회로에나 있는 현상이다. 디지털 사진에서 random 하게 명확하게 잘못된 값들이 관찰되게 된다. 노이즈는 온도에 따르거나 노출 시간에 따라 증가되게 된다. 이미지 센서가 증폭될 때에 높은 ISO 셋팅이 사용되면 노이즈 도 같이 증폭되게 된다. 이미지 프로세서는 이미지 정보와 노이즈를 분리하려고 시도한 뒤 노이즈를 제거한다. 이런 것은 꽤 challenge 가 될 수 있다. 이미지에서 정제된 질감을 가질 때는 노이즈로 취급되어 사라질 수도 있다.


Image sharpening
As the color and brightness values for each pixel are interpolated some image softening is applied to even out any fuzziness that has occurred. To preserve the impression of depth, clarity and fine details, the image processor must sharpen edges and contours. It therefore must detect edges correctly and reproduce them smoothly and without over-sharpening.
각 픽셀의 색과 밝기 값들이 interpolate 되어 보풀같은 것들이 일어났을 때 이미지를 부드럽게 만들어낼 때 쓰인다. depth, clarity, fine detail 의 인상을 보존하고 싶을 때, 이미지 프로세서는 에지나 윤곽을 날카롭게 한다.    그래서 에지들을 명확하게 감지하고 그것들을 부드럽게 재현하는 것 그리고 Over sharpening 하는 것이 없어야 한다.

참조: Link