Key information

Title
Bildeutjevning
Application number
20131443
Case type
National
Status
04.03.2025 Ved avkall på patentet
Filed
31.10.2013
Effective date
31.10.2013
Publicly available
01.05.2015
Applicant
Terranor Kartanalyse Nils Erik Jørgensen (NO)
Owner
Terranor Kartanalyse Nils Erik Jørgensen (NO)
Inventor
Nils Erik Jørgensen (NO)
Agent
ACAPO ONSAGERS AS (NO)
Granted
01.08.2016
Patent number
338098

Abstract and drawing


Disclaimer: This text has been machine-scanned and may contain errors – please refer to "Publications" for legally binding content.
Bildeforsterking / Bildeutjevning er et dataprogram, algoritme, som utjevner lysstyrken i farge og monokrome bilder som er ujevnt belyst. Utjevningen skjer basert på kurver for relativ lysstyrke i blidet. Algoritmen beregner kurver for den relative lysstyrken over hele bildet basert på målinger i gridpunkt i bildet. Området med normal belysning eller vanligvis det med sterkest lys, får den relative verdien 1,0. De andre får verdiene mellom 0,0 og 1,0. Enkelte områder kan få verdi>1,0 hvis operatør bestemmer hvor maksimalt normal lys er i bildet. Metoden tar kun hensyn til geometrisk posisjon i bildet og tar ikke hensyn til histogram eller verdien til nabopiksler. Programmet tar heller ikke hensyn til om bildet er lyst, mørkt, har 8 bit eller 16 bit piksler. Metoden er utviklet for og testet på bilder tatt av havbunnen med AUV (undervannsbåt) med kamera og en kraftig lyskilde, men er anvendelig for alle typer farge og monokrome bilder tatt med ujevn belysning. Teknikken kan også brukes på flybilder og satellittbilder.

Publications


B1A1
Checking availability of the latest published version...

Documents


Expand Download files (34)
Date
Date Doc. No. Process Case number In/Out Journal description To/from
07.03.2025 02-01 Trekning og oppgivelse (søknad/rettighet) 2025/02946 UT GH Forespørsel Terranor Kartanalyse Nils Erik Jørgensen
04.03.2025 01-01 Trekning og oppgivelse (søknad/rettighet) 2025/02946 INN Generell henvendelse Terranor Kartanalyse Nils Erik Jørgensen
02.03.2025 16-01 Saksbehandling 20131443(338098) UT PT Påminnelse om ikke betalt årsavgift (3329) (PT20131443) ACAPO ONSAGERS AS
04.08.2016 15-01 Saksbehandling 20131443 UT PT Registreringsbrev Nasjonal Patent (15)
11.05.2016 14-01 Saksbehandling 20131443 UT PT Meddelelse om patent Onsagers AS
04.02.2016 13-05 Saksbehandling 20131443 INN Beskrivelse merket Onsagers AS
04.02.2016 13-04 Saksbehandling 20131443 INN Beskrivelse ren Onsagers AS
04.02.2016 13-03 Saksbehandling 20131443 INN Hovedbrev Onsagers AS
04.02.2016 13-02 Saksbehandling 20131443 INN Patenttegninger Onsagers AS
04.02.2016 13-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) Onsagers AS
06.01.2016 02-01 Endring av fullmektig 2015/16982 UT GH Forespørsel Onsagers AS
17.12.2015 11-01 Saksbehandling 20131443 INN Hovedbrev E-post Terranor Kartanalyse Nils Erik Jørgensen
16.12.2015 10-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) Onsagers AS
16.12.2015 01-02 Endring av fullmektig 2015/16982 INN Fullmakt Onsagers AS
16.12.2015 01-01 Endring av fullmektig 2015/16982 INN Generell henvendelse Onsagers AS
16.11.2015 12-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) Terranor Kartanalyse Nils Erik Jørgensen
17.09.2015 09-01 Saksbehandling 20131443 UT Realitet patent Terranor Kartanalyse Nils Erik Jørgensen
03.08.2015 08-01 Saksbehandling 20131443 UT PT Batch Varsel om betaling av første årsavgift (3317)
29.06.2015 07-05 Saksbehandling 20131443 INN Patenttegninger Terranor Kartanalyse Nils Erik Jørgensen
29.06.2015 07-04 Saksbehandling 20131443 INN Krav Terranor Kartanalyse Nils Erik Jørgensen
29.06.2015 07-03 Saksbehandling 20131443 INN Beskrivelse Terranor Kartanalyse Nils Erik Jørgensen
29.06.2015 07-02 Saksbehandling 20131443 INN Sammendrag Terranor Kartanalyse Nils Erik Jørgensen
29.06.2015 07-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) Terranor Kartanalyse Nils Erik Jørgensen
13.03.2015 06-03 Saksbehandling 20131443 INN Beskrivelse og krav TerraNor Kartanalyse
13.03.2015 06-02 Saksbehandling 20131443 INN Sammendrag TerraNor Kartanalyse
13.03.2015 06-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) TerraNor Kartanalyse
25.02.2015 05-01 Saksbehandling 20131443 UT Realitet patent Terranor Kartanalyse Nils Erik Jørgensen
15.09.2014 04-03 Saksbehandling 20131443 INN Krav Terranor Kartanalyse Nils Erik Jørgensen
15.09.2014 04-02 Saksbehandling 20131443 INN Beskrivelse Terranor Kartanalyse Nils Erik Jørgensen
15.09.2014 04-01 Saksbehandling 20131443 INN Korrespondanse (Hovedbrev inn) Terranor Kartanalyse Nils Erik Jørgensen
11.04.2014 03-01 Saksbehandling 20131443 UT Realitet patent Terranor Kartanalyse Nils Erik Jørgensen
12.11.2013 02-01 Saksbehandling 20131443 UT Generelt Brev Patent Terranor Kartanalyse Nils Erik Jørgensen
31.10.2013 01-02 Saksbehandling 20131443 INN Beskrivelse
31.10.2013 01-01 Saksbehandling 20131443 INN National Patent Application Form

Description, claims and drawings


Disclaimer: This text has been machine-scanned and may contain errors – please refer to "Publications" for legally binding content. Description
Den foreliggende oppfinnelsen vedrører det tekniske området for bildebehandling. Nærmere bestemt vedrører oppfinnelsen en fremgangsmåte for bildeforsterkning eller bildeutjevning av et bilde omfattende en matrise av pixler, der lysstyrken for hver pixel er registrert i en bildesensor.Fremgangsmåten kan implementeres som et dataprogram, eller en algoritme, som utjevner lysstyrken i bilder tatt med kunstig lys, f.eks LED lyspanel, slik at hele bildet får samme lysstyrke etter bearbeiding.Standard bildebehandlingsprogramvare har gode løsninger for å justere lysstyrke og farger i bildet. Ingen av dem har likevel muligheter for automatisk justering av lysstyrken i et helt bilde til samme nivå, uavhengig av hva verdiene var tidligere i bildet.Ved søkning i kjent litteratur finnes en rekke filterteknikker og utjevningsteknikker. De fleste benytter manuelle metoder hvor bruker aktivt redigerer de deler av bildet som er for lyst eller mørkt og justerer fargen i disse områdene.Filtreringsteknikker i bildebehandling opererer gjerne med å behandle pixel for pixel og redigere denne ved å kalkulere gjennomsnittet av de omkringliggende pixlene basert på flere ulike formler.Ingen av de kjente teknikkene benytter, så langt søkeren vet, geometriske funksjoner for å balansere lysverdiene over hele bildet til samme nivå.EP-2 226 762 Al vedrører en fremgangsmåte for behandling av IR-bilder, herunder utjevning/utlikning av bildene, der bildene omfatter pixler med et respektivt intensitetsnivå. Fremgangsmåten omfatter å inndele bildet i første regioner, å gruppere for å danne grupper av første regioner, der hver gruppe omfatter et respektivt flertall av tilstøtende første regioner, å beregne, for hver gruppe av første regioner, et histogram av intensitetsnivåer for pikslene i de første regionene i gruppen, å beregne, for hver gruppe av første regioner, en korresponderende kumulativ funksjon av det korresponderende histogram, å assosiere med hver første region de kumulative funksjoner beregnet for gruppene som omfatter den første region, å beregne, for hver første region, en korresponderende første utlikningsfunksjon på grunnlag av de kumulative funksjoner assosiert med den første regionen, å inndele bildet i andre regioner på en slik måte at hver andre region omfatter korresponderende områder av ulike korresponderende tilstøtende regioner, og å utlikne i hver andre region intensitetsnivået for de korresponderende pixler på grunnlag av de første utlikningsfunksj onene beregnet for de korresponderende første regionene.Oppfinnelsen skal beskrives i nærmere detalj med henvisning til tegningene, der:Figur 2 illustrerer et eksempel på originalbilde og korresponderende utjevnet bilde. Figur 3 illustrerer et annet eksempel på originalbilde og korresponderende utjevnet bilde.Ideen til oppfinnelsen kom ved oppdrag for et selskap som driver med kartlegging av havbunnen. Bildene blir tatt med en sterk LED lyskaster. Bildene har et svært godt opplyst område sentralt i bildet og svakere utover til sidene.Originalbildene er vanskelige å tolke visuelt og nesten umulig å analysere maskinelt. Øynene må kontinuerlig tilpasse seg mørkere og mørkere områder utover i bildet. Dette er tungt for øynene og etter hvert hjernen som skal tolke bildene.Ved klassifikasjon og analyser av bilder tolker programmene utseende, lysstyrke og fargesammensetning. Samme type objekt vil ha forskjellig lysstyrke avhengig av hvor de er i bildet. Automatisk klassifikasjon er ikke mulig med originalbildene uten å justere for forskjellig lysstyrke.Ved automatisk mosaikkering (sammensetting av flere bilder til ett sammenhengende) ser man etter mønstre, lysstyrke og farger i bildet. Siden dette varierer over bildet, klarer ikke programmene å vite hvordan bildene skal settes sammenVi testet maskinell behandling av ubehandlete bilder i en rekke verdensledende bildebehandlingsprogram:Ingen av programmene håndterte bildene tatt med kunstig lys. Selv om de har funksjoner for fargeutjevning og lysutjevning, klarte de ikke å håndtere disse bildene.Vi laget en prototype for bildeutjevning som justerte for lysforskjellene i bildet. Data som ble prosessert i prototypen viste at alle de nevnte programmene etterpå kunne håndtere data. Denne prototypen er i samsvar med oppfinnelsen utviklet videre slik at den kan brukes for automatisk håndtering av store mengder bilde data.Bilder til kartlegging er sjelden tatt med kunstig lys. Alle kjente system arbeider med data fra flybårne eller satellitt sensorer. For disse sensorene er det naturlig sollys som gjelder. Bildesystemene kan justere for forskjellig lyspåvirkning i bildet. Likevel er det ingen som kan jevne ut lysstyrken i bilder tatt med kunstig lys. Eksisterende programsystem bruker standard funksjoner for utjevning over områder, men ikke en utjevning basert på geometrisk fordeling over hele bildet.Bilder er en matrise hvor lysstyrken i hver pixel er registrert i sensoren. For fargebilder har man en pixelverdi for hver farge. I en fargeskjerm vises fargene ved å kombinere fargerne Rødt Grønt Blått - RGB.Bildeforsterkning/bildeutjevningsprogrammet legger et punktnett over bildet. Standardverdi er 20*20 punkt, men vil være avhengig av bildets størrelse. I hvert punkt beregnes den gjennomsnittlige lysstyrken for pixlene rundt punktet. Normalt vil punktet/ruten midt i bildet eller punktet som ligger nærmest det kunstige lyset, ha størst gjennomsnitt verdi. Den høyeste gjennomsnittsverdien brukes for å beregne en faktor for alle de andre punktene. Denne faktoren brukes for å justere pixlene til balansert verdi.Ved omklassifisering av pixlene i bildet, blir verdien i hvert pixel justert opp basert på de 4 omkringliggende punktene. Dette gir en forsterkning av bildene som tar hensyn til geometrisk plassering, til opprinnelig pixelverdi og til den vektete faktoren for de 4 punktene. Er det mørke partier slik som skygge, vil de fortsatt fremstå som mørke partier etter justering, men ikke mørkere enn de som ligger i den lyse delen av det opprinnelige bildet.Metoden er helautomatisk og finner selv frem til de verdiene som skal justeres. Bruker kan styre hvor mange justeringspunkt som skal legges på bildet og hvor mange pixler rundt hvert justeringspunkt som skal brukes for gjennomsnittsverdi for punktet. På store bilder med mange pixler kan man bruke flere pixler rundt hvert punkt og flere punkt for å lage et bedre gjennomsnitt.I et bilde vil det alltid være områder som er svært lyssterke eller helt mørke. Programmet fjerner en andel av de lyssterkeste data som unntas beregningene. Dette gjøres for at de lyssterke områdene ikke skal ødelegge for gjennomsnittbehandlingen i et område. Hvis de lyssterkeste områdene ikke blir unntatt, vil de nærmeste områdene rundt objektet blir for mørke etter utjevningen.Hva som er lyssterkt kan variere fra bildeserie til bildeserie. Derfor er verdien for hva som er lyssterkt brukerstyrt.Figur 1 er en graf som viser fargeutjevning i et bilde før og etter utjevning. Kurvene viser lysstyrken verdi tvers over bildet før og etter utjevning med programmet. En tilsvarende endring i lysstyrken vil også gjelde nedenfra og opp på bildet.Gi objekter av samme type samme lys verdi eller fargeverdi over hele bildet Gjøre bildet homogent slik at det kan lages mosaikk av flere bilder automatiskTeknikken kan også brukes for å gi jevn farge til bilder hvor lysinnstråling gir forskjellig verdiObjekter som tidligere var skjult i mørke deler av bilder trer tydelig frem Programmet muliggjør maskinell oppdatering av flere hundre tusen bilder uten manuell redigering. Dette er testet.Ved å beregne den gjennomsnittlige lysmengden i ulike deler av bildet, finner man det nivået som hele bildet kan/skal ligge på. Ved å beregne dette for 20*20 punkter eller mer, og så interpolere mellom punktene, blir hele bildet løftet til samme nivå. Det er denne utjevningen distribuert geometrisk som fjerner forskjellene i lysverdi over bildet.Programmet er i en eksempelimplementering skrevet i Microsoft Visual Studio C++. Dette gjør programmet raskt å kjøre og enkelt å distribuere. Programmet kan distribueres både som exe fil og som DLL - Dynamic link library.Løsningen er eksempelvis tenkt solgt som modul til eksisterende programvare eller som selvstendig program.Figur 2 illustrerer et eksempel på originalbilde og korresponderende utjevnet bilde.På det utjevnete bildet til høyre i figur 2 ser man tydelig groper og steiner selv helt ut i sidekanten på bildet. I den øverste del av bildet har ikke lyset nådd ned til havbunnen, slik at kun vannpartikler vises. Figur 3 illustrerer et annet eksempel på originalbilde og korresponderende utjevnet bilde. Det fremgår tydelig fra figur 3 at detaljene kommer mer frem i det utjevnete bilde. Figur 4 illustrerer et større område med flere bilder utjevnet og satt sammen. Det ferdige bildet er også utjevnet for å fjerne forskjellene mellom de sammensatte bildene.På bildet legges et nett med punkt jevnt fordelt over bildet, slik figur 5 illustrerer. For hvert punkt beregnes gjennomsnittverdi for lysforhold = n basert på p antall pixler rundt hvert punkt. Når alle punkt har fått beregnet gjennomsnittsverdi, blir den største gjennomsnittsverdien satt som N. For alle andre punkt beregnes en faktor k som settes lik N/n. Ved bildeutjevning av bildet, brukes k for å heve pixlene opp til riktig nivå. For hver pixel interpoleres verdien k for de 4 omkringliggende punkt for å beregne verdien t. Verdien t multipliseres med pixelens lysverdi og gir pixelens utjevnete verdi. Jo flere punkt som legges over bildet, desto jevnere blir utjevningen.Prinsippet er å beregne den gjennomsnittlige lysstyrken i ulike deler av bildet og bruke det til å få opp lysverdien til samme nivå som det mest lyssterke.Antall punkt og antall pixler p kan styres av bruker. Ulike bilder vil kreve ulike verdier for å gi et godt resultat.Normalt utelukkes 5% av de høyeste medianverdiene og 1% av de laveste medianverdiene fra beregningene. Dette gjøres for å unngå at spesielt opplyste områder skal påvirke gjennomsnittet rundt punktet.Når verdien k er beregnet for alle punkt, kontrolleres det at verdiene er jevne over bildet og ikke har ekstreme verdier opp eller ned. Det vil kunne gi for lyse eller mørke områder hvis et punkt har spesielt mange lyse objekter som unntas beregning.Oppfinnelsen kan benevnes som bildeforsterkning/bildeutjevning. På engelsk er benevnelsen image enhancement/image equalization.I henhold til et mulig aspekt ved oppfinnelsen, utføres en geometrisk analyse av lysstyrken i bildet med justering av pixelverdiene i hele bildet slik at alle deler av bildet blir like lyssterkt. Den geometriske analysen skjer ved at et punktnett blir lagt over bildet og gjennomsnittverdiene for et grid rundt hvert punkt blir beregnet. Gjennomsnittverdiene for hvert punkt brukes for å oppgradere pixlene rundt punktet slik at gjennomsnittet blir likt med det som er mest lyssterkt. Det spiller ingen rolle hvor bildet er mest lyssterkt. Den geometriske beregningen skjer ved at lysstyrken for hvert pixel beregnes ved en lineær utjevning mellom verdiene for de 4 punkt som omgir pixelen.I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en automatisk utjevning av lysstyrken i bildet slik at hele bildet visuelt fremstår som med jevn lysstyrke. Utjevningen skjer slik at objekter som kaster skygge, vil være like lyssterke og kaste samme skyggen uansett hvor de er i bildet.I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en automatisk utjevning av lysstyrken i bildet, slik at dataprogram kan gjøre automatisk bildematching/bildegjenkjenning mellom overlappende bilder. For å kunne matche bilder, må de samme objektene fremstå relativt likt i begge de overlappende bildene. Når bildene har objekt som matcher, kan de automatisk kobles sammen i mosaikk, brukes til å lage terrengmodell og bestemme geometrisk korrekt posisjon.I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres automatisk utjevning av lysstyrken i bildet slik at bildene kan brukes til automatisk klassifikasjon av objekt i bildet. Automatisk klassifikasjon innebærer at man skal kunne bruke samme regelsett for klassifikasjon uansett hvor i bildet objektet ligger.I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en utjevning av bilder som er ujevne i lysstyrke fordi bildene har fått forskjellig belysning i forskjellige deler av bildene.Oppfinnelsen er i det ovenstående beskrevet uten begrensning, som eksempler, med henvisning til tegningene. Oppfinnelsens rekkevidde fremgår av de etterfølgende patentkrav.
Claims
1. Fremgangsmåte for bildeforsterkning eller bildeutjevning av et bilde omfattende en matrise av pixler, der lysstyrken for hver pixel er registrert i en bildesensor, karakterisert ved at fremgangsmåten omfatter å legge et punktnett over bildet,for hvert punkt i punktnettet, å beregne en gjennomsnittlig lysstyrke for pixler rundt hvert punkt,å benytte en høyeste gjennomsnittlig lysstyrke til å beregne en faktor for alle de andre punktene, ogå justere, ved bruk av den beregnede faktoren, pixlene i bildet til balanserte verdier.2. Fremgangsmåte i samsvar med krav 1,hvor pikslene rundt hvert punkt i punktnettet omfatter fire eller flere pixler rundt punktet.3. Fremgangsmåte i samsvar med krav 1,hvor punktnettets størrelse er avhengig av bildets størrelse.4. Fremgangsmåte i samsvar med krav 1,hvor punktnettet omfatter 20*20 punkter eller mer enn 20*20 punkter.5. Fremgangsmåte i samsvar med krav 1,omfattende en geometrisk analyse av lysstyrken i bildet med justering av pixelverdiene i hele bildet, slik at alle deler av bildet blir like lyssterkt.6. Fremgangsmåte i samsvar med krav 1,hvor pixlene i bildet justeres slik at et gjennomsnitt av lysstyrken for pixlene rundt hvert punkt blir lik et gjennomsnitt av lysstyrken rundt det punkt som er mest lyssterkt i det opprinnelige bildet.7. Fremgangsmåte i samsvar med krav 1, omfattende automatisk utjevning av lysstyrken i bildet slik at hele bildet visuelt fremstår som med jevn lysstyrke.8. Fremgangsmåte i samsvar med krav 7, hvor utjevningen skjer slik at objekter som kaster skygge, vil være like lyssterke og kaste den samme skygge uansett hvor de er i bildet.9. Fremgangsmåte i samsvar med krav 1, omfattende automatisk utjevning av lysstyrken i bildet slik at dataprogram kan gjøre automatisk bildematching/bildegjenkjenning mellom overlappende bilder.10. Fremgangsmåte i samsvar med krav 1, implementert som et dataprogram, eller en algoritme, som utjevner lysstyrken i bilder tatt med kunstig lys, f.eks LED-lyspanel, slik at hele bildet får samme lysstyrke etter bearbeiding.
Drawings

Priority


No priority

Patent classes


IPC classesG06T 5/00CPC classesG06T 2207/10004

Citations


EP 2 226 762 A1 (A1)US 6,757,442 B1 (B1)US 2005/0035206 A1 (A1)

Applicants, owners and inventors


Owners
Terranor Kartanalyse Nils Erik Jørgensen
Voldstadenga 9 2742 GRUA NO (LUNNER Municipality, Akershus county)Org. number: 964973326
Inventors
Nils Erik Jørgensen
Voldstadenga 9 2742 GRUA NO (LUNNER Municipality, Akershus county)

Agent


ACAPO ONSAGERS AS
ACAPO ONSAGERS AS

Org. number: 932214636

Name and address are automatically synchronized with the Brønnøysund Register Centre.

Open in The Brønnøysund Register Centre
Edvard Griegs vei 1 5059 BERGEN NO (BERGEN Municipality, Vestland county)
Org. number: 932214636
Reference: -

Status history


Payment history


Oppositions and appeals


No oppositions or appeals

Administrative limitation


No administrative limitation

Liens and licences


No liens or licenses registered

Gazette entries


No Gazette entries foundOnly events from 2024.03.04 and onwards are shown.