AI-DETEKTIONS-
PIPELINE

Denna sida förklarar hur Lisa 26 omvandlar en rå kamerabild till ett bekräftat mål på en karta. Varje steg: från det ögonblick kameran fångar en bildruta till det ögonblick NATO-symbolen visas på den gemensamma operationsbilden (COP).

Hur AI:n ser — på vanlig svenska

Tänk på AI:n som en extremt snabb soldat som stirrar på en skärm. Den granskar varje enskild bildruta från kameran — 30 bilder per sekund — och letar efter saker den tränats att känna igen: stridsvagnar, pansarfordon, lastbilar, artilleri, truppformationer, drönare. När den hittar något ritar den en ruta runt det och säger "78% säker att det är ett pansarfordon." Allt detta tar 22 millisekunder — snabbare än du kan knäppa med fingrarna.

AI:n förstår inte vad en stridsvagn ÄR. Den känner igen mönster. Under träning visades den 50 000+ bilder av stridsvagnar från olika vinklar, avstånd och ljusförhållanden. Den lärde sig vilka pixelmönster som korrelerar med "stridsvagn." Nu jämför den nya kamerabilder mot dessa inlärda mönster. Styrkan: blixtsnabb, aldrig trött, ser i mörker med termisk kamera. Svagheten: en sinnrikt kamouflerard stridsvagn eller en stridsvagnformad attrapp kan lura den.

AI-modellen heter YOLOv8 (You Only Look Once, version 8). Den körs på en liten dator ombord på drönaren — Jetson Orin Nano (230 euro, 40×55 mm, 15W). Med TensorRT-optimering bearbetar den 640×480 pixlar i 22 ms. Utan optimering: 180 ms — för långsamt. TensorRT konverterar PyTorch-modellen till en Jetson-specifik binär som utnyttjar GPU:ns 1024 CUDA-kärnor parallellt.

Från pixel till karta — hur positionen beräknas

AI:n hittade ett fordon i kamerabilden vid pixelposition (420, 280). Men en pixel är inte en plats i den verkliga världen. Systemet måste omvandla "pixel 420, 280" till "MGRS PA 2345 6789." Denna transformation kräver tre saker: kamerans orientering (vart den pekar — från IMU:ns gyroskop och accelerometer), drönarens höjd (från barometern), och en terrängmodell (DEM) som berättar var markens yta befinner sig under pixeln.

I en GPS-nekad miljö (fienden stör all satellitnavigering) använder systemet tre alternativa positionskällor: barometrisk höjd (BMP390, ±0,5 m noggrannhet — berättar hur högt drönaren flyger), visuell odometri (ORB-SLAM3 spårar kamerafunktioner och estimerar rörelse — driftar 2–5% av flygd sträcka), och optiskt flöde (PMW3901 mäter markhastighet — fungerar under 30 m höjd). Ingen av dessa är lika noggrann som GPS men kombinerat ger de tillräcklig precision för ISR.

Matematiken (för ingenjörer): pixel → kamerastråle [(u−cx)/fx, (v−cy)/fy, 1,0] → rotera med IMU-attityd till NED-ram → projicera strålen till DEM-markytan → konvertera NED-förskjutning till MGRS. Totalt: 3 matrismultiplikationer + 1 strålkorsning med DEM-gitter. Bearbetningstid: 2 ms på Jetson. Noggrannhet: ±15 m vid 120 m AGL med GPS, ±50 m utan GPS (domineras av positionsdrift).

Matematisk härledning — pixel-till-mark

Den fullständiga fyrstegs-härledningen av pixel-till-mark-projektionen är publicerad på den engelska versionen av denna sida. Matematiken följer Hartley & Zissermans Multiple View Geometry in Computer Vision (Cambridge University Press, 2004, kapitel 6) — sidans bidrag är det konkreta insättandet av Fischer 26:s sensorvärden och numeriska mellanresultat. De två bearbetade numeriska exemplen (120 m AGL vs 30 m AGL) och verifieringskoden är matematiskt verifierade i provable_claims.py under PIXEL_TO_GROUND_120M och PIXEL_TO_GROUND_30M.

Varför härledningen är operativt viktig

Tre separata operativa beslut beror på att denna matematik är korrekt. Målsökningsnoggrannhet: när Lisa 26 placerar en röd diamant på COP:en och befälhavaren auktoriserar en FPV-strike baserat på diamantens koordinater är koordinaterna bara så bra som denna härledning. Ett fel i rotationsordningen (kropp-till-värld är Rz·Ry·Rx, inte Rx·Ry·Rz) producerar symmetriska fel som placerar målet på fel sida av en trädgräns. Osäkerhetsbudget: känslighetsanalys visar att ett 1°-fel i IMU-pitch vid 120 m höjd producerar cirka 2 m markposition­sfel. Det är därför Fischer 26 är en BDA-plattform och inte en precisions-strike-plattform. GPS-förnekad navigering: härledningen visar explicit att projektionen behöver (1) pixelposition, (2) kamerakalibrering, (3) IMU-attityd, (4) barometrisk höjd — inget av detta kräver GPS.

Ett exempel: vid 120 m höjd och pitch = −3°, yaw = 45°, ger pixeln (320, 180) en markposition­sförskjutning på ungefär (7,4 m N, 7,4 m Ö) från drönarens nuvarande NED-position. Vid 30 m höjd med identiska övriga inparametrar blir förskjutningen exakt en fjärdedel: (1,85 m N, 1,85 m Ö). Den linjära skalningen med höjd bekräftar similar-triangles-argumentet och kopplar direkt till osäkerhetsbudgeten — pixelosäkerhet ×2 → positionsosäkerhet ×2.

NATO-symboler — markera mål på kartan

När systemet vet VAD det detekterade och VAR det befinner sig skapar det en NATO-standardsymbol (APP-6D) och placerar den på operatörens karta (COP). Röd diamant = fientligt, blå rektangel = eget, gul cirkel = okänt. Symbolens form anger typ: rektangel med diagonallinje = pansarfordon, triangel = artilleri, person = infanteri. Storleken anger konfidensen — större symbol = högre konfidens.

Formerna berättar vem det tillhör på ett ögonkast — du behöver inte läsa text. En operatör som tittar på en COP full av NATO-symboler kan bedöma hela stridsfältet på 5 sekunder. Utan symboler: operatören måste läsa varje detektion som text ("fordon, 78%, PA 2345 6789") — tar 10× längre och skalerar inte med detektionsvolymen.

Lisa 26 mappar automatiskt YOLOv8-detektioner till NATO-symboler. "armored_vehicle" med konfidens >70%: röd APP-6D pansarsymbol. "truck" med konfidens >60%: röd logistiksymbol. "person" med konfidens >50%: röd infanterisymbol. Konfidenströsklar är justerbara per uppdrag — under låg hotintensitet: höj trösklar för att reducera falsklarm. Under hög hotintensitet: sänk trösklar för att fånga fler potentiella mål.

Den kompletta pipelinen — från början till slut

Detektionspipelinen transformerar råa kamerapixlar till NATO APP-6D-symboler på COP:en inom 170 millisekunder sensor-till-skärm. Varje steg bidrar: kamerainsamling 33 ms, YOLOv8-inferens 22 ms, geolokalisering 2 ms, APP-6D-symbolmappning 1 ms, MAVLink-paketisering 5 ms, MANET-transmission 7–50 ms, COP-rendering 10 ms. Totalen beror primärt på MANET-hopantalet — varje hopp adderar 7 ms.

Testa den interaktiva Dempster-Shafer-fusionskalkylatorn →

Öppna den interaktiva täckningskalkylatorn →

Öppna den interaktiva hotfusionsöversikten →

Öppna den interaktiva pipeline-analysatorn →

Kostnad

Implementering

# Lisa 26 Detection Pipeline — YOLOv8 to MGRS
# pip install numpy
# pip install ultralytics
# pip install opencv-python
import ultralytics, numpy as np

model = ultralytics.YOLO("nordic_v3.engine")  # TensorRT optimized
cap = cv2.VideoCapture("/dev/video0")          # Arducam IMX477 CSI

while True:
    ret, frame = cap.read()
    results = model(frame, conf=0.5, imgsz=640)
    
    for det in results[0].boxes:
        cls = int(det.cls)          # 0=vehicle, 1=person, 2=drone
        conf = float(det.conf)     # 0.0-1.0
        x1, y1, x2, y2 = det.xyxy[0].cpu().numpy()
        
        # Pixel center → ground position (MGRS)
        cx, cy = (x1+x2)/2, (y1+y2)/2
        lat, lon = pixel_to_ground(cx, cy, drone_ahrs, cam_params)
        mgrs = lat_lon_to_mgrs(lat, lon)
        
        # Push to Lisa 26 COP via CoT
        cot_xml = build_cot(mgrs, cls, conf, timestamp=time.time())
        manet_socket.send(cot_xml.encode())  # Silvus MANET

Svensk leveranskedja

Interaktivt: latensanalysator för detektionspipeline

Källor

YOLOv8-arkitektur och prestandadata (docs.ultralytics.com, 2024). NVIDIA Jetson Orin Nano SDK-dokumentation. TensorRT-optimeringsvägledning. NATO APP-6D symbologistandard. STANAG 4609 KLV-metadataspecifikation. FSG-A detektionspipelineprestandamätningar vid Vidsel 2025.

Relaterade kapitel