Den årlige rapporten fra «Director Operational Test & Evaluation» (DOT&E) kom ut i vinter. Rapporten beskrev sider ved F-35 som må forbedres, og den resulterte i negativ oppmerksomhet rundt F-35 i media. Slik jeg kjenner F-35, mener jeg at medias omtale av rapporten var preget av misforståelser og urealistiske forventninger – noe som forøvrig synes å være en trend.
Derfor skriver jeg dette innlegget om testing; hvorfor vi tester, hva vi finner ut og hva en testrapport kan resultere i. Jeg skriver på bakgrunn av egne erfaringer gjennom utdanning ved US Naval Test Pilot School, men ikke minst arbeid med F-16 og F-35 i Luftforsvaret.
Jeg begynner med smarttelefoner, som et relevant eksempel på annen utvikling av høyteknologi. Telefonene kommer i stadig smartere utgaver, med tanke på hvordan selve telefonen er bygget og med tanke på programvaren. Smarttelefoner er kompliserte systemer. Derfor er det vanlig med jevnlige oppdateringer av programvaren; oppdateringer som gir nye funksjoner og retting av tidligere feil.
Et eksempel: Ifølge Wikipedia slapp Apple programvaren iOS 9.0 til sine telefoner og nettbrett den 16. september 2015. Allerede 23. september kom iOS 9.0.1, fulgt av iOS 9.0.2 30. september 2015, iOS 9.1 21. oktober 2015 og iOS 9.2 den 8. desember 2015. Så hyppige oppdateringer tyder kanskje på at ikke alt fungerte perfekt, men er det riktig å si at telefonene ikke virket? Eller er kanskje bildet litt mer nyansert? Kan en smarttelefon være et godt produkt, selv om den ikke fungerte 100% fra «dag én»? Fungerer en smarttelefon noen gang 100%?
Jeg har opplevd ulike snodigheter med min telefon. I verste fall har jeg måttet skru den av og på. For meg er det likevel mer nyttig å ha telefonen, med små og store lyter, enn alternativet; å ikke ha telefon.
Dette er ikke et innlegg om telefoner, men kanskje er det noen likheter med tanke på utvikling og testing av et integrert og komplisert system? Videre skriver jeg derfor litt om hvordan testing av flymaskiner gjerne organiseres og planlegges. I flysammenheng er det vanlig å skille mellom teknisk og operativ testing. Teknisk testing («Developmental Test» – DT) fokuserer på «produktutvikling», og søker å svare på mange spørsmål. I første omgang skal DT finne ut hvordan flymaskinen fungerer. Testingen fokuserer både på enkeltsystemer og på flymaskinen som helhet. Testingen må bekrefte at flymaskinen er trygg å operere innenfor normale rammer; går den ut av kontroll eller overbelaster vi deler av maskinen? Testprogrammet vil etterhvert beskrive flymaskinens ytelse på godt og vondt. For oss som kunde er det viktig å finne ut om flymaskinen fungerer i henhold til krav-spesifikasjonen – har leverandøren levert det vi ble enige om? Er for eksempel rekkevidden det den var spesifisert til å være, eller «ser» radaren så langt som den skulle?
Testprogrammet for et kampfly er tidkrevende og kostbart. Testingen av F-35 – både teknisk og operativ test – er overordnet beskrevet i «Test and Evaluation Plan» (TEMP). Et dokument på skarve 1400 sider, som overfladisk skisserer de ulike testene.
En testflygning er gjerne forberedt måneder i forveien. Testflygeren er bare en liten del av dette teamet. Ingeniørene har validert modeller, testet i simulator og bokstavelig talt planlagt testflygningen minutt for minutt. Når endelig tiden har kommet for å testfly, så har testflygeren i praksis med seg alle ingeniørene inn i «cockpit»; hundrevis av ytelses-data blir sendt fra flyet over datalink til bakken, slik at test-teamet kan følge med på det meste som foregår i flyet. (Test-teamet vet mer om hva som foregår i flymaskinen når den flyr enn flygeren.)
Testprogrammet vil finne mange små og store feil, men ikke alle. Tid og kostnad gjør det urealistisk å finne alle feil i løpet av testprogrammet. De viktigste systemene om bord, som for eksempel datamaskinene som kontrollerer rorflatene, blir grundigere testet. Mengden testing er en statistisk avveining; i alle testprogram er det slik at vi vet at det vil være ting vi ikke vet når testprogrammet er ferdig, men det er mindre sannsynlig at det vil være store og farlige feil.
DT er også en dialog mellom test-teamet sine ingeniører, testflygerne, ingeniørene som bygget systemet, produsentens ledelse og kunden. Etter hvert som ytelsen beskrives på godt og vondt, må disse i fellesskap jobbe fram alternative løsninger, prioritere hva som skal fikses på og hva som blir værende som det er – selv om et system kanskje ikke virket i henhold til den opprinnelige spesifikasjonen.
Operativ testing («Operational Test» – OT) fokuserer på hva maskinen kan gjøre i en relevant operativ sammenheng, og søker å svare på spørsmål som; «kan maskinen gi effektiv ildstøtte til bakkeavdelinger», eller «kan maskinen overleve i et gitt trusselmiljø»? «Operational Test» fungerer som et slags bindeledd mellom teknisk test og sluttbrukeren. Min erfaring med F-16 har vist at det gjerne dukker opp funn under OT som fører til re-design og en ny runde DT (som igjen fører til en ny runde OT). Produktutvikling og test er en iterativ prosess.
Hva er ståa med F-35? Er det så ille som DOT&E-rapporten gir inntrykk av?
Personlig er jeg imponert over F-35; signatur, sensorytelse og aerodynamisk ytelse er god. I denne sammenhengen vil jeg likevel trekke fram et annet poeng. F-35 er helt i begynnelsen av sitt livsløp – det er litt over tre år til Norge skal ha en første operativ kapasitet med F-35. Likevel blir F-35 som system sammenlignet med modne systemer som F-16. F-16 har blitt utviklet i over 40 år, og er mer moden på enkelte, men begrensede områder.
Når det er sagt, vil jeg advare mot å tro at andre kampfly er lytefrie. Det er stor åpenhet rundt testingen av F-35. Dette gir media tilgang til data, som rapporten fra DOT&E. Jeg har ikke sett like stor åpenhet i forbindelse med utviklingen av andre kampfly. Derfor vil jeg spørre; har media egentlig et grunnlag å sammenligne F-35 ut fra? Kan det derfor hende at kritikken mot F-35 er i overkant krass?
La meg sette F-35 i perspektiv i forhold til modenhet. F-16 er etter min mening et vellykket kampfly. Det bør tale for seg selv at maskinen har blitt produsert siden 70-tallet, og at den produseres enda. Maskinen har utviklet seg langt i forhold til hva Forsvaret engang mottok. Da flyene ankom Norge i 1980 hadde vi verken våpen eller systemer for å løse annet enn enkle oppdrag i et «snillt» trusselmiljø. Oppgraderingene av F-16 begynte straks. En tidlig, og synlig modifikasjon av våre F-16, var å utstyre flymaskinen med større høyderorsflater. Dette ble gjort for å redusere muligheten for å miste kontroll – «departure» – under aggressiv manøvrering. (En «departure» kan føre til tap av både flymaskinen og flygerens liv). Den mest omfattende oppgraderingen begynte på slutten av 1990-tallet, da flyene gjennomgikk «Mid Life Update» (MLU). Denne oppgraderingen forbedret både struktur og de fleste av flyets ulike systemer, og den pågår enda.
Også andre kampfly bærer tegn på feilretting. Hornet-familien gir gode eksempler på synlige «aerodynamiske plastre». Et eksempel fra F/A-18 «Baby Hornet» er de vertikale flatene som er montert på hver side av maskinen, litt bak «cockpit». Disse flatene ble ettermontert for redusere belastningen på halerorene, slik at innfestingen av disse ikke skulle sprekke. Et annet eksempel fra «Baby Hornet» er hvordan høyderor og haleror drives til fulle utslag før avgang. Første testtur ble nok spennende da testflygeren dro i stikka, og ingenting skjedde. Til slutt løftet nesa seg og maskinen kom i lufta, men situasjonen var ikke forutsett. «Plasteret», med forhåndsplassering av rorflatene, gjorde dette problemet håndterbart. Hos den mer moderne «Super Hornet» finnes et porøst felt der hvor vingen kan brettes (for parkering på hangarskip). Dette ble gjort i et forsøk på å redusere «buffet» – risting – under manøvrering.
Våre «modne» F-16 lever også i dag med mange lyter; feil som har blitt oppdaget i DT, OT eller operativ bruk, men som ikke har blitt rettet. Enten på grunn av kostnad, kompleksitet eller fordi ingen forstår «feilmekanismen» – dvs. hva som egentlig skjer. Jeg snakker ikke bare om kosmetiske småfeil. Ett eksempel på dette er at Forsvaret over en periode på rundt 10 år ikke opererte sine F-16 enkeltvis i dårlig vær eller i mørke, fordi flyets hoved-datamaskin brøt sammen ganske ofte. Dette påførte oss reelle operative begrensninger. Det tok mer enn 10 år å fikse problemet, fordi det var vanskelig å finne og forstå feilmekanismen. (Til slutt var det et hint fra norske flygere som ledet Lockheed Martin i riktig retning). Våre F-16 har fortsatt feil som ikke vil bli rettet. Dette er ikke oppsiktsvekkende. Normalsituasjonen for et kampfly er at vi lever med feil og svakheter i alt fra programvare til skrog, men oftest klarer vi å jobbe rundt problemet. Noen av problemene er midlertidige. Andre kan i praksis bli permanente.
Basert på min erfaring, spesielt fra F-16, vil jeg hevde at F-35 viser god modenhet. Jeg er ikke bekymret for den operative evnen Forsvaret får gjennom F-35. Særlig med tanke på at Forsvaret i første omgang skal ha en første operativ evne mot slutten av 2019. Dette gir Lockheed Martin tid til flere justeringer, men ikke minst gir det oss tid til å lære å bruke F-35, og spille på styrkene til flymaskinen. Fra F-16 har jeg opplevd at brukerne gjerne utnytter nye kapasiteter annerledes enn hva som var forutsatt da et konsept ble formulert mange år i forveien, og annerledes enn ingeniørene trodde da de i sin tid designet kapasiteten. Denne kreativiteten og viljen til å løse problemer finnes i menneskene – ikke i maskinene – og den har vi fortsatt med oss. I tillegg har jeg som flyger naturligvis også sterk egeninteresse i at både flymaskin og taktikker fungerer godt. Dette handler også om mitt eget liv. (Og på egne vegne ønsker ikke jeg en rettferdig og «ridderlig» arena for luftkamp. Jeg ønsker overtaket, og mener F-35 gir oss det).
Jeg har tidligere skrevet om hvor sammensatt moderne luftkamp er. Det er mange variabler, og det er ofte vanskelig å være skråsikker. «Det kommer an på», er en frase som ofte blir brukt når vi diskuterer blant kollegaene. Jeg håper jeg med dette innlegget har klart å vise at også utvikling og test av et kampfly er en kompleks prosess, der dialog, kompromiss og forståelse er viktig. Heller ikke i denne sammenhengen er verden sort-hvitt, selv om ett enkelt krav i et dokument kan gi inntrykk av det.