Odvětvové informační středisko a Zeměměřická knihovna VÚGTK 250 66 Zdiby 98, tel. +420 284 890 375, fax: +420 284 890 056

[Melhoramento da resoluçăo a partir de seqüęncias de imagens] / Leandro Luiz de Almeida, Antonio Maria Garcia Tomasselli - In: Bol. Cięnc. Geod. - ISSN 1413-4853. - Roč.9, č.2 (2003), s.163-178 : 6 obr. - Res. angl.

Přeložila M. Kulatá (zkráceno)
Zdiby : VÚGTK, 2004. - 4 s.

Klíčová slova: rozlišení, zlepšení, série snímků, restaurování

Abstrakt:

Práce představuje dvě metody pro zlepšení rozlišení snímku zpracováním série snímků a analyzuje výsledky experimentů, které ukazují, že po sloučení snímků se výrazně zlepší geometrické i radiometrické rozlišení. Snímky se registrují, následně rektifikují k jednomu referenčnímu snímku a sloučí. Pro sloučení jsou použity dvě metody - aritmetického průměru úrovní jasu nebo minimalizace chyb. Popsané kroky, kromě registrování snímků, byly vytvořeny v jazyku C++.

1. Úvod

Analýza snímků se využívá v nejrůznějších oblastech a všeobecným problémem je používání snímků s malým rozlišením, například videosnímků, což ztěžuje přesnou vizualizaci detailů zobrazovaných jevů. Také digitální snímek může projít procesem degradace v závislosti na některých faktorech, a jsou to např. odchylky čoček kamery, nesprávné zaměření, přemístění snímajícího systému během pořizování snímku, nedostatek nebo nadbytek osvětlení nebo atmosférické vlivy.

Kvalita digitálního snímku je spojena s prostorovým a radiometrickým rozlišením. Prostorové rozlišení je spojeno s velikostí pixelu, která závisí na počtu a velikosti snímajících elementů, tedy na charakteristikách senzoru. Radiometrické rozlišení je závislé na použitých úrovních kvantování pro modelování jasnosti odrážené scénou, což závisí na počtu bitů použitých pro uložení informace jasu (nebo barvy) každého pixelu. Pro zvýšení prostorového rozlišení je možné přiblížit senzor směrem k objektu, čímž se zvýší měřítko snímku, nebo se uchýlit k senzoru s větším počtem prvků. Pokud jsou snímky již k dispozici, nedají se předchozí možnosti uplatnit, takže je nutné použít techniku zpracovávání snímků.

Jednou z možností, jak zvýšit prostorové rozlišení, je analýza sérií snímků stejné scény, se záměrem vytvořit snímek s lepším prostorovým rozlišením na základě transformace a sloučení různých snímků. Jde o techniku restaurování. Pro sloučení se v této práci používají dvě metody - aritmetický průměr úrovní jasu jednotlivých snímků a minimalizace chyb. Uvedené experimenty prokazují zlepšení geometrického i radiometrického rozlišení.

2. Metody pro restaurování

Práce zde představuje vývoj několika metod pro zlepšení rozlišení na základě série snímků, a to v nejrůznějších oblastech aplikace (od r. 1987 do r. 2001). Ze všech těchto metod vyplývá, že veškerým procesům vytváření snímků s velkým rozlišením na základě série snímků musí předcházet determinace parametrů posunů vyskytujících se na scéně. Ty jsou definovány a priori nebo se vypočítají pomocí registrování snímků.

2.1 Rektifikace snímků

Cílem restaurování a rektifikace snímků je korekce degradací nebo deformací snímků, které nastávají při pořizování scény. Pro možnost aplikace jakéhokoliv typu techniky restaurování je nutné napřed realizovat registrování a rektifikaci snímků. Pro zde zkoumané metody se vybere jeden ze série snímků jako referenční a ostatní snímky se registrují ve vztahu k tomuto referenčnímu. Hlavní etapa registrování snímků je určení korespondence mezi body snímku s jejich korespondujícími body v referenčním systému. Transformace mezi systémy souřadnic může být vytvořena použitím různých matematických modelů, nejčastěji se používají transformace afinní, projektivní nebo polynomické. Jinou formou determinování registru je proces prostorové recese s použitím modelu kolinearity.

Jakmile je určena transformace použitelná pro registrování, je provedena determinace parametrů na základě souboru korespondujících bodů účastněných referenčních systémů, s použitím techniky odhadu, nejčastěji se používá metoda nejmenších čtverců. Podle předem zvoleného modelu transformace se provede rektifikace snímku, pro převedení do nového systému se použije některá technika interpolace. Obvykle se používá bilineární interpolace, která má dobré výsledky pro počítačové využití.

3. Metoda pro zlepšení rozlišení

Jednotlivé kroky metodologie pro vytvoření snímků s lepším rozlišením jsou následující:

- pořízení série snímků, - manuální měření bodů korespondujících na snímcích patřících do série,
- registrování snímků ve vztahu ke snímku referenčnímu,
- rektifikace snímků na základě parametrů vypočítaných při registrování snímků,
- sloučení rektifikovaných a přemodelovaných snímků a předložení vylepšeného snímku.

První etapy byly realizovány manuálně, zatímco ty závěrečné, týkající se procesu vylepšování, byly provedeny v jazyku C.

a) Shromáždění snímků

Pro shromáždění snímků byly použity digitální kamery Kodak DC-40 a Kodak DC-210. Snímky pořízené kamerou Kodak DC-40 byly získány na vzdálenost 2 m, s měřítkem 1:43 a velikostí pixelu na scéně 6 mm. První soubor snímků získaných kamerou Kodak DC-210, byl získán na vzdálenost asi 1 m, ve druhém experimentu na vzdálenost 2,13 m, aby vznikl pixel stejné velikosti 2,2 mm v cílovém prostoru a stejné měřítko 1:73. Při použití videokamery by bylo nutné použít speciální software pro digitalizaci a separaci jednotlivých snímků.

b) Registrování a rektifikace

Pro registrování a rektifikaci snímků bylo provedeno manuální měření souřadnic korespondujících bodů mezi snímky, s použitím softwaru vizualizace snímků. V této práci byl použit software Adobe Photoshop 5.0 a zvolena maximální velikost zoomu. Souřadnice byly zaneseny v řádku i sloupci, s cílem minimalizovat chybu zacílení. Tyto souřadnice (v pixelech) byly transformovány pro referenční systém pocházející ze středu snímku (v milimetrech), s použitím rovnic (3.1) :

Po determinování těchto bodů byly určeny parametry pro registrování mezi snímky. Byly použity rovnice projektivní transformace a model kolinearity.

Dále se provedla zároveň rektifikace a přemodelování snímků série ve vztahu ke snímku referenčnímu. Byl vytvořen výsledný snímek s větším rozlišením. Rektifikací byla získána korespondence každého pixelu snímku referenčního super modelového se snímkem původním s malým rozlišením, který měl na začátku intenzitu jasu téměř nulovou. Přehled procesu provedené rektifikace vypadá následovně:

- ze snímků scény je vybrán snímek referenční, - vytvoří se snímek super modelový v černém (pixely s intenzitou jasu blízké nule),
- pro každý snímek se vypočítají odpovídající souřadnice na snímku s malým rozlišením,
- použijí se parametry vypočítané při registrování,
- pro každý pixel snímku se určí korespondence,
- provede se bilineární interpolace hodnot jasu na základě sousedních pixelů a hodnota se přiřadí ke snímku se super rozlišením.

c) Sloučení a vytvoření snímku se super rozlišením

Ačkoliv jsou všechny přetvořené snímky série rektifikované ve stejném systému souřadnic a mají zvýšené prostorové rozlišení, nejsou stejné tóny šedi každého pixelu na všech snímcích vzhledem k degradaci originálních snímků. Je tedy nutné sloučit všechny snímky, takže se vytvoří jediný snímek se super rozlišením. Jsou možné dva způsoby:

1) Průměr hodnot jasu pixelů:

provede se aritmetický průměr úrovní jasu korespondujících pixelů determinovaných procesem registrování a rektifikace na snímcích série;

2) Proces s minimalizací chyb:

nejdříve se provede první odhad úrovní jasu snímku s velkým rozlišením, např. použitím referenčního snímku přemodelovaného bilineární interpolací. Na základě nejbližšího snímku s velkým rozlišením se vytvoří každý pixel na snímcích s malým rozlišením. Hodnota jasu se vytvoří v souřadnicích zlomkových (na hladinu subpixelu) a musí se interpolovat odpovídající hodnota na každém snímku s malým rozlišením. Tím se získá rozdíl mezi hodnotou jasu vytvořenou a hodnotou jasu pozorovanou, z čehož vyplyne zbytková chyba (er). Vypočítá se střední kvadratická chyba (emq) (rovnice 3.2) pro skupinu čtyř sousedních pixelů. Posoudí se všechny snímky série; sníží (dekrementuje) se hodnota jasu prvního pixelu (1) na snímku s velkým rozlišením a zopakuje se projekce pro vypočítání chyby. Zvýší (inkrementuje) se (+1) a výpočet se opakuje. Tímto procesem se vypočítají chyby pro všechny možné kombinace hodnot jasu, které se mění v intervalu (1, +1). Kombinace, která představuje nejmenší střední kvadratickou chybu, je zachována na snímku s velkým rozlišením.


(3.2)

kde:

4. Experimenty a výsledky

Byly realizovány různé experimenty s údaji simulovanými i skutečnými, s cílem zjistit nejlepší metodu registrování a slučování. Ve studovaných případech bylo zjištěno, že projektivní transformace přinesla lepší výsledky než metoda s použitím kolinearity. V této práci jsou představeny pouze dva nejvýznamnější experimenty se skutečnými snímky získanými kamerou Kodak DC-210. V obou byla pro registrování snímků použita metoda projektivní transformace.

V prvním experimentu byly originální snímky (rozlišení 1152 × 864 pixelů) registrovány a převedeny na rozlišení 564 × 432 pixelů, ke snímku byly přidány poruchy, pro simulování nasbíraných snímků s přístroji s malým rozlišením, jako jsou videokamery. Originální snímek byl použit jako referenční pro zhodnocení kvality zkoumaných metod; jako kritérium kvality byla použita střední kvadratická chyba rozdílů úrovní šedi mezi snímkem vytvořeným a snímkem původním.

Pro sloučení snímků byla použita metoda zprůměrňování a to série osmi snímků s malými posuny a softwarem přidanými poruchami. Výsledný snímek prokazuje zlepšení rozlišení a získání snímku, který se blíží snímku původnímu.

Série snímků, ačkoliv záměrně degradovaná poruchami, dovolila obnovení informací původní scény. Střední kvadratická chyba rozdílů mezi úrovněmi šedi originálního snímku a snímku výsledného byla 53,5 (v úrovních šedi), což bylo vypočítáno z rovnice (3.2).

Ačkoliv střední kvadratická chyba restaurovaných úrovní jasu byla vysoká vzhledem k jiným experimentům, vlivem velké degradace zavedené do série snímků, je vidět zlepšení v rozlišení snímku s identifikací detailů dříve nerozlišitelných.

Druhý experiment ukazuje zlepšení rozlišení s použitím projektivní transformace pro registrování

a rektifikaci a metody minimalizace chyb, se změnou hodnot jasu v intervalu [-5, +5]. Je proveden na základě série snímků složené z osmi snímků s malým prostorovým rozlišením, ale s dobrou radiometrickou  kvalitou.

Na rozdíl od prvního experimentu nebyly snímky degradovány, střední kvadratická chyba mezi původním snímkem a snímkem vytvořeným touto metodou je 12,2 (v úrovních šedi).

5. Závěr

V práci byla představena metoda zlepšení prostorového rozlišení ze série snímků a analyzovány výsledky dvou experimentů se skutečnými snímky. Počítačovým zpracováním byly vytvořeny dvě metody slučování a vytváření snímků s lepším rozlišením. Po porovnání těchto metod bylo zjištěno, že metoda registrování snímků projektivní transformací měla výsledek s lepší radiometrickou kvalitou, především pro rovné snímky, tím, že jde o transformaci s chybami menšími než je polovina pixelu. Chyby v registrování větší než 1 pixel způsobují zakalení na sloučeném snímku, neboť hodnoty jasu rozdílných pixelů jsou smíchány nesprávně. Proto je tento proces registrování snímků nebo jejich částí kritizován a doporučují se metody, které by navrhovaly přesnost subpixelů a které by registrování prováděly automaticky, aby se vyhnulo chybám ze směru operátora. Stejně tak je důležité přizpůsobit příslušnou transformaci konkrétní skutečnosti senzoru.

Dále bylo ověřeno, že metoda minimalizace chyb, která bere v úvahu počáteční přiblížení a která je analyzována a vylepšována v průběhu procesu vytváření snímku se super rozlišením, vytváří značné zmírnění v místech, které na snímku představují vysoké frekvence, jako jsou okraje snímku.

Ačkoliv měl být tento proces použit pro snímky černobílé, je možné jej použít také pro snímky barevné, přitom postačí reprodukovat tento postup pro tři kanály R, G a B.

Další zajímavou možností pro budoucí výzkumy by bylo slučování ortorektifikovaných snímků, ve kterých je efekt paralaxe předem eliminován změnou výšky.