FPGA Üzerinde Video Sıkıştırma ve H.264/H.265 Kodlama

/ Cengizhan Kahraman / FPGA Tasarım Mühendisi
#videocompression#h264#h265#encoding#FPGA
FPGA Üzerinde Video Sıkıştırma ve H.264/H.265 Kodlama

İyi bir video encoder’ı görüntüyü sıkıştırmaz, tahmin eder. Sakladığı tek şey, tahmininin tutmadığı yerlerdir.

Bir saniyelik 1080p30 ham video yaklaşık 750 megabit veri eder. Aynı videonun boyutu H.264’te 3 ila 8 megabite iner, yani yüz ila iki yüz elli kat sıkışır ve görüntü hâlâ izlenebilir kalır. Encoder bunu görüntüye bir şey ekleyerek değil, zaten orada olan tekrarı atarak yapar. Sıkıştırmanın tamamı aslında şu cümlede saklıdır: iş, veriyi küçültmek değil, videonun kendini ne kadar tekrar ettiğini bulup o tekrarı bir daha kodlamamaktır.

FPGA projelerinde tasarımı belirleyen ikinci nokta ise şudur: H.264 bir algoritma değil, bir standarttır. Yalnızca iki şeyi sabitler, bitstream’in biçimini ve bir decoder’ın ondan ne üreteceğini. Encoder’ın içini tamamen serbest bırakır. Hareketi ne kadar aradığınız, hangi tahmini seçtiğiniz, bitleri karelere nasıl paylaştırdığınız sizin kararınızdır. Yani “H.264 encoder” diye tek bir şey yoktur; aynı standarda uyan, biri ötekinden kat kat iyi ya da kat kat pahalı sayısız encoder vardır. İyi haber de budur: en basit halinden başlayıp yukarı doğru iyileştiren her ara adım, çalışan ve çözülebilen geçerli bir video akışı üretir.

Ayrı bir yazıda gerçek zamanlı görüntü işlemede gecikmenin algoritmalardan çok, hangi bloğun bir satır hangisinin bir tam kare beklettiğine bağlı olduğunu anlatmıştık. Bu yazı aynı zincirin ucundaki sıkıştırma bloğuna bakıyor: neyi, neden ve FPGA üzerinde nasıl yapıldığını. Baştan söyleyelim, işin özü çoğunlukla matematikte değildir. Donanımda bir codec’in maliyetini belirleyen asıl şey, veri bağımlılıklarının nerede durduğu ve çözünürlüğün saat frekansını nasıl zorladığıdır.

Nerelerde Sıkıştırma Yapılır

Karelerde sıkıştırma mümkündür çünkü video verisi büyük ölçüde tekrar içerir. Standartlar bu tekrarın üç türünü hedefler ve her birine karşılık gelen bir aşama vardır.

  • Uzamsal fazlalık. Bir karedeki komşu pikseller birbirine benzer; gökyüzü aniden değişmez. Bunu kare içi tahmin, yani intra tahmin azaltır.
  • Zamansal fazlalık. Ardışık kareler neredeyse aynıdır; içerik değişmez, yer değiştirir. Bunu kareler arası tahmin, yani hareket kestirimi (motion estimation) azaltır.
  • İstatistiksel fazlalık. Bu adımlardan sonra kalan semboller eşit dağılmaz; bazı değerler çok daha sık görülür. Bunu entropi kodlama azaltır.

Üçünün ortak mantığı aynıdır. Encoder bir bloğu doğrudan kodlamaz; önce onu tahmin eder, sonra yalnızca tahminin ne kadar yanlış olduğunu, yani artığı (residual) kodlar. Tahmin iyiyse artık küçük sayılardan oluşur ve küçük sayılar çok daha az yer kaplar. Orijinal pikseller bitstream’e asla doğrudan yazılmaz.

compress compress

Kayıp Tek Bir Yerden Gelir: Nicemleme

Sıkıştırma boru hattı dört adımdan oluşur: tahmin, dönüşüm, nicemleme, entropi. Bunların içinde bilginin atıldığı tek adım nicemlemedir. Dönüşüm (çoğu standartta tamsayı bir DCT) kayıpsızdır ve enerjiyi az sayıda katsayıda toplar. Nicemleme ise her katsayıyı bir adım boyutuna bölüp yuvarlar; bu işlem geri döndürülemez.

Adım boyutunu tek bir sayı yönetir: nicemleme parametresi (QP). Bu sayı büyüdükçe adım boyutu artar, daha çok katsayı sıfıra yuvarlanır ve dosya küçülür; karşılığında görüntü bozulur. Yani QP, sıkıştırma ile kalite arasındaki kadranın tamamıdır.

Burada bir video encoder’ını durağan görüntü sıkıştırıcısından ayıran kritik bir ayrıntı vardır. Decoder hiçbir zaman orijinal kareyi görmez, yalnızca bir miktar bozulmuş rekonstrükte kareyi tutar. Eğer encoder gelecek kareleri kendi belleğindeki orijinal kareden tahmin ederse, decoder’ın sahip olmadığı bir veriye dayanır ve ikisi kare kare birbirinden uzaklaşır. Bu birikime drift denir; tek bir bit bozulmadan görüntü giderek bozulur. Çözüm, encoder’ın kendi çıktısını tıpkı decoder gibi yeniden çözüp tahminini ondan yapmasıdır.

Bunun donanım tarafında somut bir sonucu vardır. Drift’in oluşmaması için encoder ve decoder matematiğinin bit düzeyinde birebir aynı olması gerekir. Bu yüzden standartlar kayan noktalı dönüşüm yerine yalnızca toplama ve kaydırmayla çalışan tamsayı dönüşümü zorunlu kılar. Sebebi hız değil, kesinliktir. Pratik karşılığı da nettir: bir encoder’ın doğru çalıştığının ölçütü “çıktı güzel görünüyor mu” değil, “bağımsız bir decoder, bitstream’i encoder’ın ürettiği kareyle bit düzeyinde aynı çözüyor mu” sorusudur.

quantization quantization

Bu İş Neden FPGA’ye Uygun

Video sıkıştırmayı bir işlemci ya da GPU da yapabilir. FPGA’yi ayıran birkaç somut özellik vardır ve bunlar özellikle gerçek zamanlı, gömülü sistemlerde öne çıkar.

Birincisi öngörülebilirliktir. FPGA’de işlem hattı sabit bir devredir; her kare aynı sayıda çevrimde işlenir. İşletim sistemi zamanlayıcısı, önbellek ıskaları ya da aynı anda yarışan başka süreçler yoktur. Gerçek zamanlı bir sistemde önemli olan ortalama hız değil, en kötü durumdur; FPGA’de en kötü durum ile ortalama neredeyse aynıdır.

İkincisi gecikmedir. Bir FPGA tasarımı kareyi tamamlamayı beklemeden, satır satır işlemeye başlayabilir. Bu, uçtan uca gecikmeyi bir kare süresinin altına indirebilir. İşlemci tabanlı çözümlerde kare önce belleğe toplanır, sonra işlenir; bu tek başına bir kare gecikme ekler.

Üçüncüsü paralelliktir. Çözünürlük arttıkça, çevrim başına birden fazla piksel işleyen bir veri yolu kurarak ölçeklenebilirsiniz. Aynı işi yazılımda tek bir çekirdekte bu ölçekte paralelleştirmek zordur.

Dördüncüsü güç verimliliğidir. Aynı işi sabit bir devrede yapmak, genel amaçlı bir işlemcide yapmaktan tipik olarak çok daha az enerji harcar. Bu, güç bütçesi dar olan uçta ve mobil platformlarda belirleyici olur.

Beşincisi entegrasyondur. Kamera arayüzü, ISP zinciri ve sıkıştırma aynı yonga üzerinde yan yana durabilir. Görüntü, sensörden çıkıp sıkıştırılana kadar dış belleğe ya da bir PCIe hattına hiç uğramadan ilerleyebilir. Bu hem gecikmeyi hem sistem karmaşıklığını azaltır.

Donanımda Maliyet

Sıkıştırma matematiğinin çoğu FPGA için ucuzdur. Pahalı olan, bazı adımların seri yapısıdır.

Entropi kodlamada iki yaygın yöntem vardır. CAVLC tablo tabanlıdır; her adımı bir tablo okumasıdır ve donanımda kolayca paralelleşir. CABAC ise aritmetik kodlamadır, yaklaşık yüzde 5 ila 15 daha iyi sıkıştırır, ama yapısal olarak seridir: bir sonraki ikili kararın kodlanması, bir öncekinin olasılık durumunu güncellemesi bitmeden başlayamaz. Bu bir yazılımda fark etmez; bir donanım hattında ya işlem hızını düşürür ya da derin, önbellekli bir tasarım gerektirir. Bu yüzden ilk sürümler çoğu zaman CAVLC ile kurulur, CABAC daha sonraki bir aşamaya bırakılır.

İkinci maliyet çözünürlükten gelir. Bir codec’in saat frekansı tahminle değil bölmeyle bulunur: piksel hızını, çevrim başına işlenen piksel sayısına bölersiniz. 1080p30 saniyede yaklaşık 62 milyon piksel eder ve çevrim başına tek piksel işleyen bir hat için 62 MHz yeterlidir. 1080p60 yaklaşık 124 MHz, 4K60 ise yaklaşık 498 MHz ister. Bu son değer, hareket kestirimi gibi derin mantık için çoğu FPGA dokusunun ulaşabileceğinin üzerindedir. Çözüm saati yükseltmek değil, çevrim başına birden fazla piksel işleyen bir hat kurmaktır. Ama bu, bloğu çoğaltmak kadar basit değildir; hareket arama ve blok giderici filtre gibi komşuya bağımlı adımlar bu genişlemeye direnir.

Üçüncü maliyet bellek bant genişliğidir ve çoğu zaman asıl darboğaz budur. Hareket kestirimi, referans kareden örtüşen bölgeleri tekrar tekrar okur; rekonstrükte kare geri yazılır. Yüksek çözünürlük ve kare hızında bu trafik, dış DDR üzerinde saniyede birkaç gigabayta ulaşır.

Gecikme: Satır mı, Kare mi

Sıkıştırmanın her kazancı bir yerde gecikmeyle ödenir. En pahalı kalem B-karelerdir. Bir B-kare, zaman çizgisinde kendisinden sonra gelen bir kareye baktığı için, o kare gelip çözülmeden gösterilemez. Bu kaçınılmaz bir tampon gecikmesi getirir; bu yüzden düşük gecikmeli sistemlerde B-kareler çoğunlukla hiç kullanılmaz.

I-kareler de bir gecikme kaynağıdır. Bir I-kare, P-karelerden çok daha büyüktür ve sabit bant genişlikli bir kanalda her I-kare bir yük tepesi yaratır. Bunu düzeltmenin yaygın yolu intra refresh’tir: tam bir I-kare yerine, her karede birkaç makroblok satırı kare içi kodlanır ve kayan bir bant tüm kareyi birkaç karede tazeler. Böylece büyük bir yük tepesi oluşmaz ve gecikme sabit kalır.

Buradan çıkan pratik sonuç şudur: gecikmeyi düşürmek için GOP’u kısaltmak çoğu zaman ters teper, çünkü I-kare tepelerini sıklaştırır. Doğru yaklaşım B-kareleri kapatmak, intra refresh kullanmak ve kareyi tamamlamadan göndermeye başlayan satır tabanlı bir çıkış kurmaktır.

Standartlar: H.264, H.265 ve Sonrası

H.264 (AVC) bugün en yaygın kullanılan video sıkıştırma standardıdır. Neredeyse her cihaz, tarayıcı ve platform tarafından desteklenir, lisanslaması oturmuştur ve düşük gecikmeli, düşük güçlü uygulamalar için dengeli bir seçimdir. Dezavantajı, daha yeni standartlara göre aynı kalitede daha fazla bit harcamasıdır.

H.265 (HEVC) bir sonraki kuşaktır, o da yaygın bir biçimde kullanılır. Temel vaadi basittir: aynı görsel kaliteyi kabaca yarı bitrate ile verir ve bu kazanç özellikle 4K ve 8K’da belirginleşir. Bedeli de aynı oranda ağırdır. Daha büyük ve esnek blok yapıları, çok daha fazla tahmin modu ve zorunlu CABAC, hem hesaplama yükünü hem donanım karmaşıklığını ciddi biçimde artırır. Lisanslaması da H.264’e göre daha karmaşıktır. Sonraki kuşaklar (H.266/VVC, AV1) bu eğilimi sürdürür: her adımda daha iyi sıkıştırma, daha yüksek karmaşıklık getirir.

Donanım açısından altı çizilmesi gereken bir nokta vardır. Bir kuşaktan diğerine geçmek bir ayar değişikliği değildir. H.265’e geçmek, blok yapısından entropi koduna kadar neredeyse her bloğun yeniden tasarlanması demektir; devreden tek şey RTL değil, tasarım ve doğrulama yöntemidir. Bu nedenle pratikte yaygın yol, H.264 ile sağlam ve taşınabilir bir temel kurmak, sonraki kuşakları ayrı projeler olarak planlamaktır.

Bir karşılaştırma noktası daha var. Bazı cihazlarda video codec’i zaten sabit, sert bir blok olarak gömülüdür. Soft IP’nin değeri onunla ucuzlukta yarışmak değil, farklı bir ihtiyacı karşılamaktır: FPGA üreticileri arasında taşınabilirlik, özelleştirilebilirlik ve çok düşük gecikme. Tek bir RTL’i birden fazla üreticinin dokusunda çalıştırabilmek, soft IP’yi sert bloğun karşılayamadığı yerde değerli kılar.

Sonuç olarak video sıkıştırma bir hız yarışı değildir. Videonun tahmin edilebilirliğini bitlere, bitleri de gecikme ve bellek bütçesine çevirme işidir. Kayıp tek bir yerde, nicemlemede toplanır. Donanım maliyeti ise matematikte değil, seri bağımlılıklarda ve çözünürlüğün saate koyduğu baskıda birikir.

architecture architecture

FPGA bu denklemde güçlü bir seçenektir: sabit ve öngörülebilir gecikme, satır düzeyinde işleme, çözünürlükle ölçeklenen paralellik ve sensöre yakın entegrasyon. Bu özellikler, özellikle gerçek zamanlı ve gömülü görüntü sistemlerinde belirleyici olur.

RunX olarak FPGA üzerinde çalışan, üreticiden bağımsız video sıkıştırma çözümleri geliştiriyoruz. Video sıkıştırma çözümleriniz için RunX mühendislik ekibiyle iletişime geçebilirsiniz.

Bizimle İletişime Geçin: info@run-x.com | www.run-x.com

Bu makaleyi paylaş: