OpenstarTs >
Ricerca >
Tesi di dottorato >
Ingegneria industriale e dell'informazione >

Please use this identifier to cite or link to this item: http://hdl.handle.net/10077/7414

Title: Detection and measurement of artefacts in digital video frames
Other Titles: Rilevamento e misura di artefatti in fotogrammi video digitali
Authors: Abate, Leonardo
Supervisor/Tutor: Ramponi, Giovanni
Issue Date: 15-Mar-2012
Publisher: Università degli studi di Trieste
Abstract: This work presents original algorithms for the measurement of artefacts impairing the quality of digital video sequences. The intended use of these algorithms is the control of the restoration processes performed on the video in advanced monitors for costumer applications. The problem of the artefact measurement at this stage of the processing chain di ffer from the assessment of quality performed in other applications. Quality assessment aimed to the improvement of the encoding operation, for example, can be done using the original sequence for comparison, and based on the pixel-by-pixel di erences with it. Quality measurements in intermediate stages of the transmission chain of the video, where the sequence is available in compressed form, can employ useful information contained in the bitstream, such as the frequency distribution of the frame content, the bitrate, the quantisation step and the error rate, all factors related to the global quality. In the proposed application, i. e. at the monitor, the measurements of the frame degradation must instead take place on the decoded numerical values of the pixels of the sole altered sequence. In addition, these measurement should require a low computational cost, so that they can be used in real time. In the rst part of this work some of the existing methods for Quality Assessment are briefly overviewed and classi ed based on the chosen approach to the problems. In this overview three main classes of methods are identi ed, namely the methods based on the measurement of speci c frame and video artefacts, the methods measuring the discrepancies between some statistical properties of the pixel distribution or the sequence parameters and ideal models, and the methods processing highly generic measures with trained classi ers. The rst strategy is deemed the most promising in the intended application, due to the good achieved results with relatively little computation and the possibility to avoid a long and complex training phase. The proposed algorithms are therefore based on the measurement of speci c video artefacts. A second part of the work is devoted to the identi cation of the main potential degradation factors in one of the most recent encoding standard, namely H264. The main aspects of frame degradation, namely blockiness in smooth areas and texture, edge degradation, and blurriness, are identi ed, and their relationship to the encoding options is briefly examined. Based on this brief inspection, two of the most common artefacts of the transmitted video, namely blurriness and blockiness, are chosen for measurements estimating the picture quality degradation. The devised algorithms integrate measures of the inter-pixel relationships determined by the artefacts with models of human vision to quantify their subjective appearance. For the blurriness measurement two methods are proposed, the fi rst acting selectively on object edges, the second uniformly on the frame surface. In the measurement of the edge blurriness the hierarchical role of each edge is estimated, distinguishing between the marginal edges of the detail and the edges of the main objects of the frame. The former have reduced contrast and short length compared to the edges of the surrounding shapes, and have little e ect on the overall blurriness impression. Conversely, the state of the latter is the main responsible of the frame quality aspect. The edge blurriness measure is based on the edge width and steepness, corrected with the edge length and the activity of the surrounding scene. This measure of edge blurriness is further corrected with a measure of the local scene clutter, accounting for the fact that in cluttered scenes the perception of the artefact is reduced. The resulting method yields blurriness measurements in local frame parts. The correlation of this measurements with subjective impression is evaluated in experimental tests. The two metrics acting uniformly on the frame measure the decrement in perceived contrast and the lack of detail, respectively. Used together, they are e ective in identifying special types of blurriness resulting in the generation of large areas with few edges and little contrast. These forms of blurriness generally cause a milder degradation of the perceived quality compared to the blurriness caused by encoding. The ability to distinguish among blurriness types and corresponding quality ranges is veri ed in experimental tests. Also the artefacts resulting from block based compression are analysed with a method acting on the sole edges and another applied to the whole frame. The edge degradation, consisting in an unnatural geometric alteration of the main objects, was measured from the frequency and length of straight edge fractions and the incidence of square corners. A correction procedure is introduced in order to avoid false alarms caused by natural polygonal objects and by the intrinsic nature of digital pictures. The measure of the blocking artefact on the frame surface, which appears altered by an unnatural grid, is performed with an original solution especially devised for video frames, and aimed to detect the displacement of the synthetic block edges caused by the motion compensation performed in video encoding. On this purpose very sensitive local blockiness indicators are devised, and corrected with models of the human perception of discontinuities in luminance in order to avoid false alarms. Vision models are further integrated in the computation of a global frame blockiness measure consisting in a weighted sum of local measures on detection points. The metric is tested with respect to its constance on subsequent frames, robusteness to upscaling and correlation with the quality ratings produced in experiments by a group of human observers.
Questo lavoro presenta algoritmi originali per la misura di artefatti che causano un degrado della qualità di sequenze video digitali. L'uso previsto per questi algoritmi è il controllo dei processi di restauro compiuti sul video in monitor avanzati di uso domestico. Il problema della misura di artefatti a questo stadio della catena di elaborazione si differenzia dalla stima di qualità compiuta in altre applicazioni. La stima di qualità volta al miglioramento dell'operazione di codifica, per esempio, può fare uso della sequenza originale per confronto, ed essere basato sulle differenze rispetto ad essa, calcolate pixel per pixel. Misure di qualità compiute in stadi intermedi della catena di trasmissione del video, dove la sequenza è disponibile in forma compressa, possono sfruttare utili informazioni contenute nel flusso di bit compresso, come la distribuzione in frequenza del contenuto del fotogramma, il tasso di compressione, l'intervallo di quantizzazione ed il tasso di errore, tutti fattori legati alla qualità globale del video. Nell'applicazione prevista, cioè al monitor, la misura del degrado dei fotogrammi deve invece avvenire usando solo i valori decodificati dei pixel della sequenza corrotta. Inoltre questa misura dovrebbe richiedere un basso costo computazionale, per poter avvenire in tempo reale. Nella prima parte di questo lavoro alcuni dei metodi esistenti per la stima di qualità sono brevemente esaminati e classificati in base al modo in cui affrontano il problema. I metodi sono divisi in tre categorie principali, cioè i metodi fondati sulla misura di specifici artefatti del fotogramma video, i metodi che misurano l'allontanamento di alcune proprietà statistiche della distribuzione dei pixel o dei parametri della sequenza da particolari modelli ideali, ed i metodi che fanno un'elaborazione di misure molto generiche con classificatori addestrati. La prima strategia è ritenuta la più promettente nell'applicazione considerata, per i buoni risultati ottenuti con una complessità di calcolo relativamente ridotta e la possibilità di evitare una lunga e complessa fase di addestramento. Gli algoritmi proposti si fondano perciò sulla misura di specifici artefatti del video. Una seconda parte del lavoro è dedicata all'identificazione dei principali fattori di degrado insiti nella codifica secondo uno dei più recenti standard, H264. Sono identificati i principali aspetti del degrado del fotogramma, cioè la blocchettatura in aree piane e tessitura, degrado dei bordi, e sfocatura, ed è brevemente esaminato il loro rapporto con le impostazioni di codifica. Sulla base di questo breve esame, due degli artefatti più comuni nel video trasmesso, cioè la sfocatura e la blocchettatura, sono scelti come oggetto di misure per stimare il degrado della qualità dell'immagine. Gli algoritmi progettati integrano misure delle relazioni fra pixel causate dagli artefatti con modelli della percezione umana che determinano la visibilità di tali artefatti. Per la misura di sfocatura sono presentati due metodi, il primo applicato selettivamente ai bordi degli oggetti, il secondo uniformemente sulla superficie del fotogramma. Nella misura della sfocatura dei bordi è stimato il ruolo gerarchico di ciascun bordo, distinguendo tra bordi secondari del dettaglio e bordi degli oggetti principali dell'immagine. I primi hanno contrasto ridotto e sono corti rispetto ai bordi degli oggetti nei dintorni, e hanno poco effetto sull'impressione di sfocatura complessiva. I secondi invece sono determinanti per la qualità del fotogramma. La misura di qualità dei bordi si fonda sulla loro larghezza e ripidità, corretta con la lunghezza e con l'attività della scena circostante. Questa misura di sfocatura dei bordi è ulteriormente corretta con una misura della densità della scena, misura che tiene conto del fatto che in scene affollate la percezione del difetto è ridotta. Il metodo complessivo fornisce misure di sfocatura in aree locali dell'immagine. La correlazione di queste misure con l'impressione soggettiva è valutata in test sperimentali. Le due misure di sfocatura che agiscono uniformemente sull'immagine misurano rispettivamente la diminuzione del contrasto percepito e la mancanza di dettaglio. Il loro uso congiunto permette di identificare specifici tipi di sfocatura che generano grandi aree con pochi bordi e basso contrasto. Queste forme di sfocatura generalmente causano un degrado di qualità percepita più lieve rispetto alla sfocatura dovuta alla codifica. La capacità di distinguere fra i tipi di sfocatura e fra i corrispondenti intervalli di qualità è verificata in prove sperimentali. Anche gli artefatti dovuti alla compressione a blocchi sono analizzati con un metodo che agisce sui soli bordi ed un altro applicato sull'intera superficie del fotogramma. Il degrado dei bordi, che consiste in un'innaturale alterazione geometrica degli oggetti principali, è stimata in base alla frequenza e alla lunghezza delle parti di bordi diritte ed alla frequenza degli angoli retti. Una correzione è introdotta per evitare falsi allarmi causati da oggetti di forma naturalmente poligonale e dalla natura intrinseca delle immagini digitali. La misura dell'artefatto di blocchettatura sulla superficie del fotogramma, che appare alterato da una griglia artificiale, è compiuta con un metodo originale specificamente studiato per fotogrammi video, e volto a rilevare lo spostamento dei bordi artificiali dei blocchi causato dalla compensazione del movimento compiuta nella codifica video. A questo scopo sono adottati indicatori di blocchettatura locale molto sensibili, corretti con modelli della percezione delle discontinuità di luminanza per evitare falsi allarmi. Modelli della percezione umana sono anche integrati nel calcolo di una misura globale della blocchettatura del frame, calcolata come somma pesata di misure locali sull'insieme dei punti di rilevamento. L'indice di blocchettatura è valutato in base alla sua uniformità in fotogrammi consecutivi, alla resistenza al riscalaggio e alla correlazione con i giudizi di qualità espressi da un gruppo di osservatori umani nelle prove sperimentali.
PhD cycle: XXIII Ciclo
PhD programme: SCUOLA DI DOTTORATO DI RICERCA DI INGEGNERIA DELL'INFORMAZIONE
Description: 2010/2011
Keywords: Quality Assessment
blockiness
blurriness
Human Visual System
discontinuity detection
edge detection
masking
Main language of document: en
Type: Tesi di dottorato
Doctoral Thesis
Scientific-educational field: ING-INF/01 ELETTRONICA
NBN: urn:nbn:it:units-9135
Appears in Collections:Ingegneria industriale e dell'informazione

Files in This Item:

File Description SizeFormat
Abate Phd.pdfTesi Specialistica3.68 MBAdobe PDFView/Open
View Statistics

This item is licensed under a Creative Commons License
Creative Commons

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.