Os dados coletados por satélites de sensoriamento remoto são fundamentais para muitas atividades importantes, incluindo mapeamento aéreo, previsão do tempo e monitoramento do desmatamento. Atualmente, a maioria dos satélites só pode coletar dados passivamente, pois não estão equipados para tomar decisões ou detectar mudanças. Em vez disso, os dados precisam ser retransmitidos para a Terra para serem processados, o que normalmente leva várias horas ou até dias. Isso limita a capacidade de identificar e responder a eventos que surgem rapidamente, como um desastre natural.

Para superar essas restrições, um grupo de pesquisadores liderado pelo aluno do DPhil Vít R?ži?ka (Departamento de Ciência da Computação, Universidade de Oxford), assumiu o desafio de treinar o primeiro programa de aprendizado de máquina no espaço sideral. Durante 2022, a equipe lançou com sucesso sua ideia para a missão Dashing through the Stars , que havia lançado uma chamada aberta para propostas de projetos a serem realizados a bordo do satélite ION SCV004, lançado em janeiro de 2022. Durante o outono de 2022, a equipe uplinked o código para o programa para o satélite já em órbita.

Os pesquisadores treinaram um modelo simples para detectar mudanças na cobertura de nuvens a partir de imagens aéreas diretamente a bordo do satélite, em contraste com o treinamento no solo. O modelo foi baseado em uma abordagem chamada aprendizado de poucos tiros, que permite que um modelo aprenda os recursos mais importantes a serem procurados quando ele tem apenas algumas amostras para treinar. Uma vantagem importante é que os dados podem ser compactados em representações menores, tornando o modelo mais rápido e eficiente.

Vít R?ži?ka explicou: 'O modelo que desenvolvemos, chamado RaVAEn , primeiro comprime os grandes arquivos de imagem em vetores de 128 números. Durante a fase de treinamento, o modelo aprende a manter apenas os valores informativos neste vetor; as que se relacionam com a alteração que está tentando detectar – neste caso, se há nuvem presente ou não. Isso resulta em treinamento extremamente rápido devido a ter apenas um modelo de classificação muito pequeno para treinar.' Enquanto a primeira parte do modelo, para comprimir as imagens recém-vistas, era treinada no solo, a segunda parte (que decidia se a imagem continha nuvens ou não) era treinada diretamente no satélite.

Normalmente, desenvolver um modelo de aprendizado de máquina exigiria várias rodadas de treinamento, usando o poder de um cluster de computadores vinculados. Em contraste, o minúsculo modelo da equipe completou a fase de treinamento (usando mais de 1.300 imagens) em cerca de um segundo e meio.

Quando a equipe testou o desempenho do modelo em dados novos, detectou automaticamente se uma nuvem estava presente ou não em cerca de um décimo de segundo. Isso envolveu a codificação e análise de uma cena equivalente a uma área de cerca de 4,8 x 4,8 km2 (equivalente a quase 450 campos de futebol).

Segundo os pesquisadores, o modelo poderia ser facilmente adaptado para realizar diferentes tarefas e usar outras formas de dados. Vít R?ži?ka acrescentou: 'Tendo alcançado esta demonstração, pretendemos agora desenvolver modelos mais avançados que possam diferenciar automaticamente entre mudanças de interesse (por exemplo, inundações, incêndios e desmatamento) e mudanças naturais (como mudanças naturais na cor das folhas ao longo das estações ). Outro objetivo é desenvolver modelos para dados mais complexos, incluindo imagens de satélites hiperespectrais. Isso poderia permitir, por exemplo, a detecção de vazamentos de metano e teria implicações importantes para o combate às mudanças climáticas.'

A realização de aprendizado de máquina no espaço sideral também pode ajudar a superar o problema dos sensores de satélite a bordo afetados pelas condições ambientais adversas, de modo que exigem calibração regular. Vít R?ži?ka disse: 'Nosso sistema proposto pode ser usado em constelações de satélites não homogêneos, onde informações confiáveis ??de um satélite podem ser aplicadas para treinar o resto da constelação. Isso poderia ser usado, por exemplo, para recalibrar sensores que se degradaram ao longo do tempo ou experimentaram mudanças rápidas no ambiente.'

Este projeto foi resumido em uma publicação pré-impressa 'Fast model inference and training on-board of Satellites' disponível em arXiv . O trabalho também foi apresentado na conferência International Geoscience and Remote Sensing Symposium (IGARSS) em 21 de julho de 2023.

Este projeto foi conduzido em colaboração com a Agência Espacial Europeia (ESA) ?-lab através da campanha Cognitive Cloud Computing in Space (3CS) e a iniciativa Networked Intelligence in Space ( NIO.space ) da Trillium Technologies e parceiros da D-Orbit e Unibap .