ТЕПЛОВЕ AI
НАВЕДЕННЯ

Тепловізійне зображення долає візуальний камуфляж і працює при нульовій видимості. У поєднанні з YOLOv8, навченим на теплових сигнатурах, воно забезпечує автоматичне виявлення цілей 24 години на добу незалежно від погоди чи світла.

Як бачать теплові камери

Усе випромінює інфрачервоне випромінювання залежно від своєї температури. Людське тіло при 37 °C випромінює інші довжини хвиль, ніж холодна земля при −10 °C. Інфрачервона камера (LWIR, Long-Wave Infrared) виявляє ці відмінності і створює зображення, де гарячі об'єкти виглядають яскравими, а холодні — темними.

Що це означає операційно: танк, схований під камуфляжною сіткою, невидимий для звичайної камери, але світиться як маяк на інфрачервоному. Його двигун (80–150 °C), вихлоп (200–400 °C) і нещодавно стріляний ствол гармати (300–600 °C) значно гарячіші за все навколо. Камера на основі тепла бачить крізь камуфляж, тому що сітка достатньо тонка, щоб тепло проходило через неї.

AI на тепловому зображенні

YOLOv8, навчений на інфрачервоних зображеннях, працює ідентично візуальному виявленню (див. §6.1). Замість розпізнавання кольорових патернів він розпізнає теплові патерни. Процес навчання той самий: показати AI тисячі зображень на основі тепла з розміченими цілями, і він навчиться автоматично помічати теплові сигнатури, що відповідають машинам, особовому складу і спорудам.

Рекомендована інфрачервона камера для дронових операцій — Infiray T2S+ (€250): 256×192 пікселів, LWIR (8–14 мкм), крок пікселя 19 мкм, інтерфейс USB-C. Вага 28 г, підключається безпосередньо до Jetson Orin Nano. Нижча роздільність, ніж у візуальних камер, але достатньо для виявлення машин на висоті 100–300 м AGL.

Температурні сигнатури та дальність виявлення

Дальності вказані для Infiray T2S+ за умов ясної атмосфери. У тумані, дощі або снігопаді дальність зменшується на 30–70 % через абсорбцію інфрачервоного випромінювання молекулами води.

Зовнішнє джерело: Värmekamera — Wikipedia

Відкрити інтерактивну панель злиття загроз →

Пом'якшення хибних виявлень

Найпоширеніший тепловий хибний позитив у шведській місцевості: нагріті сонцем темні скелі, що досягають 40–60 °C у літні дні. YOLOv8 іноді класифікує великі нагріті скелі як машини, бо форма теплової сигнатури і температура перекриваються з машинами з холодним двигуном. Стратегії пом'якшення: темпоральне фільтрування (скеля не рухається — якщо виявлення залишається нерухомим 5+ хвилин без характеристик машини на візуальній камері, знизити впевненість на 30 %), сезонна калібрація (підвищити пороги виявлення влітку, коли фонові температури підвищені) і подвійна перевірка камерами (візуальна камера показує текстуру скелі, а не корпус машини — алгоритм злиття ловить те, що теплова камера сама пропускає).

Інші обмеження

• Вимкнений двигун: через 2+ години техніка охолоджується до навколишньої температури — невидима
• Дощ: вода охолоджує поверхні і знижує контраст
• Теплоізоляція: спеціальні накидки знижують ІЧ-сигнатуру на 80 %
• Сонячний нагрів: вдень камені і метал нагріваються сонцем — хибні виявлення

Спробувати інтерактивний калькулятор злиття Dempster-Shafer →

Реалізація

# Dual-Camera Fusion — Visual + Thermal
# pip install numpy
# pip install opencv-python
import cv2, numpy as np

def fuse_visual_thermal(visual_dets, thermal_dets, max_dist_px=50):
    """Match visual and thermal detections of same target."""
    fused = []

    for v_det in visual_dets:
        best_match = None
        best_dist = max_dist_px

        for t_det in thermal_dets:
            # Compare bounding box centers
            dist = np.sqrt((v_det.cx - t_det.cx)**2 + (v_det.cy - t_det.cy)**2)
            if dist < best_dist:
                best_dist = dist
                best_match = t_det

        if best_match:
            # Fuse: visual gives vehicle model, thermal confirms running engine
            fused_conf = 1 - (1-v_det.conf) * (1-best_match.conf)  # Dempster-Shafer
            fused.append({
                "class": v_det.cls,          # Visual: "T-72"
                "thermal_active": True,       # Engine running
                "confidence": fused_conf,     # Combined: higher than either alone
                "position": v_det.position
            })

    return fused

Підхід подвійного сенсора поєднує сильні сторони обох режимів отримання зображення. Візуальні камери забезпечують форму, колір і текстуру — достатньо, щоб відрізнити T-72 від БМП-2 на 500 метрах. Інфрачервоний сенсор дає теплову сигнатуру — відрізняючи працюючий двигун від холодної покинутої машини. Жоден окремо не дає повної інформації. У поєднанні через злиття Dempster-Shafer два сенсори продукують рівні впевненості, що перевищують будь-який окремий сенсор зі значним запасом.

Архітектура злиття сенсорів обробляє одночасно візуальні та інфрачервоні потоки на Jetson Orin Nano, динамічно розподіляючи GPU-ресурси на основі умов навколишнього світла. Під час денних операцій візуальний потік отримує 60 % обчислювальної ємності для класифікації з вищою роздільністю. У сутінках і на світанку розподіл переходить до рівного. У повній темряві інфрачервоний потік отримує пріоритет, а візуальна камера переходить у режим ближнього ІЧ-підсвічування для додаткових даних, які допомагають відрізнити дуже схожі типи машин.

Продуктивність теплового виявлення (публічні бенчмарки)

YOLOv8n зазвичай навчається на тепловому датасеті FLIR ADAS (14 000 розмічених теплових зображень). Доопрацювання на 500 кастомних нордичних теплових зображеннях (зимові умови, холодні сигнатури машин) — рекомендований шлях спеціалізації; FSG-A ще не зібрала такого датасету. Цифри нижче — опубліковані еталонні показники продуктивності YOLOv8n на теплових даних, відтворені операторами, які запускали цей конвеєр, — не польові виміри FSG-A.

Тепло ДОПОВНЮЄ візуальне зображення, а не замінює його. Використовуйте обидві камери одночасно: візуальну для денної класифікації, теплову для нічного виявлення і роботи крізь дим. Lisa 26 зливає виявлення з обох сенсорів — ціль, виявлена обома, має вищу впевненість, ніж будь-яким окремо.

Пов'язані розділи

Джерела

Фізичні закони та параметри. Інфрачервоне випромінювання за температурою — закон Стефана-Больцмана (E = σT⁴). Спектральний розподіл — закон Планка. Вікна пропускання атмосфери (8–14 мкм для LWIR) — стандартна атмосферна спектроскопія. Формула злиття Dempster-Shafer для незалежних сенсорів — теорія свідчень Demspter/Shafer.

Параметричні джерела. Характеристики Infiray T2S+ (256×192, 19 мкм, 8–14 мкм LWIR, 28 г) — datasheet виробника infiray.com. Типові температури цілей (танковий двигун 60–100 °C, вихлоп 200–400 °C, ствол 300–600 °C) — відкриті дослідження інфрачервоного камуфляжу (FLIR whitepaper на тему Infrared Signature Management). Jetson Orin Nano — специфікація NVIDIA. FLIR ADAS теплові датасети — публічна наукова база (14 000 розмічених зображень).

Операційні оцінки — не верифіковано FSG-A в польових умовах. Дальності виявлення (2 км танк, 1,5 км вантажівка, 500 м людина) — розрахункові з теплового контрасту та оптики Infiray, не виміряні FSG-A на реальних цілях. Зниження дальності «30–70 % у тумані/дощі» — оцінкове з атмосферної абсорбції, не виміряне. Всі mAP-цифри — відтворення опублікованих бенчмарків YOLOv8n, не незалежно валідовано FSG-A. Хибні позитиви від сонячно нагрітих скель 40–60 °C — описовий сценарій на основі фізики, не документований статистично.

Зовнішні стандарти та джерела. Специфікації теплового модуля Infiray T2S+ (infiray.com). Гайди з навчання YOLOv8 на теплових даних (спільнота Ultralytics, 2024). «Infrared Signature Management» — whitepaper FLIR Systems. Дослідження FOI щодо теплового виявлення з UAS (2024). FSG-A не має теплових польотних даних — температури з публічних джерел.