O grande aumento de dispositivos com altas resoluções faz crescer também a demanda pela qualidade de vídeo que, por sua vez, aumenta o tráfego de vídeo pela Internet e demais formas de comunicação. Com isso, faz-se necessária a codificação de vídeo, afim de eliminar informações redundantes presente em sequências de vídeo. A tarefa da codificação apresenta alto grau de complexidade, o que inviabiliza que sua execução puramente em software consiga atender aos usuários, com vídeos que apresentem taxas de quadros suficiente para que não ocorra latency-at-game (LAG), isto é, que o intervalo de tempo de exibição entre os quadros seja grande suficientemente para que o usuário sinta a sensação de travamentos. A bateria é o maior gargalo da tecnologia móvel moderna, o que implica que a mesma deva ser utilizada de forma eficiente. Assim sendo, soluções em hardware surgem como possibilidades de contorno, desses contextos. O presente trabalho propõe a implementação em hardware do bloco interpolador dentro do contexto da compensação de movimento baseado no padrão HEVC de codificação de vídeo, visando ganhos em desempenho e redução do consumo de potência.

In this paper, we propose a new 3D pattern matching based video compression algorithm. Spatiotemporal prediction tools are used to exploit both the temporal and the spatial redundancies, and the resulting residue is encoded using a 3D data coding extension of the Multidimensional Multiscale Parser (MMP) algorithm. MMP was originally proposed as a generic lossy data compression algorithm. A high degree of adaptivity and versatility allowed it to be competitive with state-of-the-art transform-based compression methods for a wide range of applications and data sets. The performance of the proposed algorithm is compared with that of H.264/AVC, achieving close results for some data sets, which indicates the potential of the pattern matching paradigm as an alternative to the traditional hybrid video codecs.

A norma de codificação de vídeo HEVC (High Efficiency Video Coding) surge como sucessora da norma H.264/AVC, em resposta ao rápido aumento do volume de informação em vídeo com resoluções HD e UHD. A nova norma inclui ferramentas para suportar implementações paralelas, como slices, tiles e wavefront parallel processing. Este trabalho propõe um método que ajusta automaticamente a geometria das tiles durante o processo de codificação de vídeo, para equilibrar a distribuição de carga entre as unidades processadoras , num cenário em que cada tile é processada por uma unidade distinta. A solução baseia-se em quatro métodos de estimação de complexidade e um algoritmo que ajusta dinâmicamente as tiles de acordo com a complexidade estimada. Os resultados mostram que o método proposto é capaz de aumentar a eficiência de paralelização, quando comparado com tiles com tamanhos iguais, obtendo-se em média uma redução do tempo de processamento de 6.1% com um aumento de BD-rate entre 0.82% e 1.67%.

This dissertation presents a study made of the video coding standard AV1. The research provides statistical results referring to various encoding options, such as the most commonly used Transform kernel, vector sizes, the number of bits used in cosine approximations, amongst others. With the gathered results, optimization measures were implemented on the reference encoder, achieving a 3% decrease in the total encoding time, with 81% reduction in the memory used to store cosine coefficients. The algorithm implemented in software was then described in VHDL, obtaining two implementable architectures. The first allows a high degree of parallelization, obtaining all transformed vector sizes within 22 clock cycles, being able to maintain FHD video at 30 frames per second, at an operating frequency of 187 MHz. The second minimizes the amount of logic, although it does not allow the calculation of multiple vector sizes in parallel. This implementation was synthesized and tested on a Nexys 4 board, occupying 79.93% of total FPGA area and 50 mW consumption. On the hardware kit on which it was implemented, this architecture is able to process HD video at 30 frames per second.

We report on an exploratory study where the first 60 seconds of the video recording of a user interaction are used to predict the user’s experienced task difficulty. This approach builds on previous work on “thin slices” of human-human behavior, and applies it to humancomputer interaction. In the scenario of interacting with a photocopy machine, automated video coding showed that the Activity and Emphasis predicted 46.6% of the variance of task difficulty. This result closely follows reported results on predicting negotiation outcomes from conversational dynamics using similar variables on the speech signal.

This Thesis presents two novel intra-frame prediction models for video coding: Least-Squares Approximation Surfaces (LSAS) and curve-based prediction models. Both approaches enhance intra-frame prediction capabilities by offering a better approximation of encoded block contents. While the LSAS implementation is currently not practical due to its prohibitive bitrate requirements, the curve-based prediction models show promising results. The evaluations for the novel intra-frame prediction models adopt the High Efficiency Video Coding (HEVC) standard, which culminates years of advancements in video coding technologies. Compared to its predecessor, H.264, HEVC achieves up to 50% coding efficiency improvements. This efficiency gain translates into half the encoded video size while keeping the same visual quality. Among the many improvements of HEVC, its intra-frame predictor comes with more prediction modes, capable of modeling more textures in prediction blocks than its predecessors. Improving intra-frame prediction is an essential aspect of the encoding flow, as a better prediction translates into reduced residual energy, consequently improving coding efficiency. All thirty-three angular modes in HEVC received a curve displacement calculation to each predicted sample so that the resulting prediction block models image regions with curved textures. The proposal includes a small overhead in the bitstream syntax elements to transmit the curve displacement value and increased encoding times. However, the enhanced prediction offsets this overhead with improved coding efficiency. The experimental results demonstrate increased prediction accuracy with lower residual energy when applying the Centerline and Radial curve-based models for the displacement calculations. These models achieve an average reduction of the Bj?ntegaard-Delta bitrate (BD-Rate) of 2% and 3% for the HEVC test sequences using the All-Intra-8 configuration, for the Centerline and Radial models, respectively, albeit at an increase in encoding times. Higher encoding efficiency is achievable with the combination of both curve models, reaching an average 4% BD-Rate reduction with the All-Intra-8 configuration.

This paper presents the architecture, design, validation, and hardware prototyping of the main architectural blocks of main profile H.264/AVC decoder, namely the blocks: inverse transforms and quantization, intra prediction, motion compensation and deblocking filter, for a main profile H.264/AVC decoder. These architectures were designed to reach high throughputs and to be easily integrated with the other H.264/AVC modules. The architectures, all fully H.264/AVC compliant, were completely described in VHDL and further validated through simulations and FPGA prototyping. They were prototyped using a Digilent XUP V2P board, containing a Virtex-II Pro XC2VP30 Xilinx FPGA. The post place-and-route synthesis results indicate that the designed architectures are able to process 114 million samples per second and, in the worst case, they are able to process 64 HDTV frames (1080x1920) per second, allowing their use in H.264/AVC decoders targeting real time HDTV applications.

O tráfego de conteúdo multimídia pela Internet vem cada vez mais sendo representado por dispositivos alimentados por bateria, como smartphones, tablets, etc. Por outro lado, o aumento na densidade de componentes em um chip e, consequentemente, na dissipação de potência, representa um problema para tais dispositivos. Apesar da capacidade computacional ter crescido consideravelmente nas últimas décadas, o mesmo crescimento não foi observado no tempo de vida das baterias para tais sistemas. Devido ao fato do conteúdo multimídia representar a maior parte da taxa do tráfego na Internet, há uma necessidade de otimizar esses tipos de aplicações, para compensar o curto tempo de vida das baterias. A pesquisa em codificação de vídeo digital é uma das áreas focadas neste tipo de otimização, e um dos seus objetivos é a busca de soluções para reduzir a potência dissipada dos codificadores. A Estimação de Movimento é um componente chave nos codificadores de vídeo atuais, devido ao fato de explorar redundâncias temporais de sequências de vídeo, através de intensas buscas por similaridades em blocos anteriormente codificados. Consequentemente, esse estágio da codificação é um dos mais críticos e demorados do último padrão de codificação de vídeo HEVC, sendo responsável por mais de 60% do tempo total de codificação, em média. Este trabalho propõe o projeto e implementação de uma arquitetura eficiente em potência para o estágio da Estimação de Movimento Inteira. A arquitetura foi sintetizada para ASIC, com uma biblioteca de standard cells de 65 nm. Análises de potência são feitas em alguns dos componentes, para a decisão das melhores versões arquiteturais dos módulos a serem otimizados. Uma hierarquia de memória cache focada em eficiência de potência também é proposta, interfaceando a memória DRAM off-chip (que contém dados relativos aos quadros de referência) e a arquitetura da Estimação de Movimento Inteira, com resultados de hit-rate de até 96.47%. A solução proposta reduz a banda off-chip de 5.22 GB/s - obtido considerando que todo acesso é requisitado diretamente para a DRAM - para 0.18 GB/s, sem considerar mecanismos de bufferização. Considerando o sistema como um todo, foi obtida uma redução energética de 94.5% quando comparado com a versão que não utiliza mecanismos de cache.

Computação Aproximada é um paradigma de projeto que pode ser empregado em situações onde os resultados da computação não precisam ser exatos - aplicações que podem tolerar certa quantidade de erros de aproximação e ainda produzir saídas úteis para o usuário final, especialmente quando se tratar de processamento de sinais perceptuais. Memórias aproximadas são uma técnica de "design"de sistemas digitais que traz essas aproximações para o nível de armazenamento de dados. Esse paradigma geralmente é explorado em aplicações tolerantes a erros (ETAs), que incluem o processamento de imagem e de vídeo, redes neurais artificiais, visão computacional, pesquisas na Web, aprendizado de máquina etc. Este trabalho propõe o uso de Memórias Aproximadas para Codificação de Vídeo de Alta Eficiência (HEVC ou H.265), com o desenvolvimento de uma metodologia para avaliar o impacto da introdução de tais aproximações na qualidade de saída e consumo de energia. O padrão de acesso à memória do codificador HEVC será gravado como um rastreio de memória e usado para extrair resultados de energia. A degradação da qualidade produzida pelas aproximações será avaliada com métricas objetivas utilizadas na literatura de codificação de vídeo, como a relação sinal-ruído (PSNR) e taxa de bits Bjontegaard Delta (BD-CA).

A unified architecture for fast and efficient computation of the set of two-dimensional (2-D) transforms adopted by the most recent state-of-the-art digital video standards is presented in this paper. Contrasting to other designs with similar functionality, the presented architecture is supported on a scalable, modular and completely configurable processing structure. This flexible structure not only allows to easily reconfigure the architecture to support different transform kernels, but it also permits its resizing to efficiently support transforms of different orders (e. g. order-4, order-8, order-16 and order-32). Consequently, not only is it highly suitable to realize high-performance multi-standard transform cores, but it also offers highly efficient implementations of specialized processing structures addressing only a reduced subset of transforms that are used by a specific video standard. The experimental results that were obtained by prototyping several configurations of this processing structure in a Xilinx Virtex-7 FPGA show the superior performance and hardware efficiency levels provided by the proposed unified architecture for the implementation of transform cores for the Advanced Video Coding (AVC), Audio Video coding Standard (AVS), VC-1 and High Efficiency Video Coding (HEVC) standards. In addition, such results also demonstrate the ability of this processing structure to realize multi-standard transform cores supporting all the standards mentioned above and that are capable of processing the 8k Ultra High Definition Television (UHDTV) video format (7,680 x 4,320 at 30 fps) in real time.