satellite-image-deep-learning - 衛星画像と航空写真による深層学習

(Deep learning with satellite & aerial imagery)

Created at: 2018-04-16 16:42:09
Language:
License: Apache-2.0

このリポジトリには、衛星画像や航空写真に適用されるディープラーニングのトピックに関するリソースが一覧表示されます。それほどではないが、古典的な機械学習手法がリストされており、クラウドコンピューティングやモデルデプロイなどのトピックもリストされている。あなたはTwitterで私をフォローし、LinkedInの専用の衛星画像ディープラーニンググループに参加することができます。このリソースがあなたの仕事に役立つ場合は、Githubスポンサーからの寄付でスポンサーすることを検討してください

このリポジトリの使用方法:探しているもの(データセット名など)が正確にわかっている場合は、ページ内で検索できます。それ以外の場合は、以下の目次を参照し、関連するセクション内で検索してください。トピックの使用を開始するのに適した素材には絵文字が🔰付けられ、検索することもできます。

Control+F

目次

技術

このセクションでは、衛星画像解析の一般的な問題に適用されるさまざまなディープ ラーニングと機械学習 (ML) 手法について説明します。優れた背景読みは、リモートセンシングアプリケーションにおけるディープラーニング:メタアナリシスとレビューです

分類

古典的な猫と犬の画像分類タスクは、リモートセンシングドメインで画像にラベルを割り当てるために使用されます(例:これは森林の画像です)。より複雑なケースは、画像に複数のラベルを適用することです。画像レベルの分類のこのアプローチは、セマンティックセグメンテーションと呼ばれるピクセルレベルの分類と混同しないでください。私のブログ記事を読む ニューラルネットワークによる衛星画像分類の簡単な紹介

セグメンテーション

セグメンテーションは、画像内の各ピクセルにクラスラベルを割り当てます。単一クラスのモデルは、多くの場合、道路または建物のセグメンテーション用にトレーニングされ、土地利用/作物タイプの分類にはマルチクラスがあります。「ハイパースペクトル土地分類」に言及する多くの記事は、実際にはセマンティックセグメンテーションを説明していることに注意してください。クラウド検出はセマンティックセグメンテーションで対処でき、独自のセクションクラウド検出と削除があることに注意してください。私のブログ記事を読む ニューラルネットワークによる衛星画像セグメンテーションの簡単な紹介

セグメンテーション - 土地利用と土地被覆

セグメンテーション - 植生、作物、作物の境界

セグメンテーション - 水、海岸線、洪水

セグメンテーション - 火災、煙、燃焼領域

セグメンテーション - 地すべり

セグメンテーション - 氷河

  • HED-UNet ->セマンティックセグメンテーションとエッジ検出を同時に行うためのモデルであり、Inria Aerial Image Labelingデータセットを使用した氷河の前面と建物のフットプリントが提供されています。
  • glacier_mapping -> ヒンドゥー教のクシュ・ヒマラヤの氷河のマッピング、ランドサット7画像、氷河のシェープファイルラベル、ドロップアウトのあるウネット
  • 氷河検出-ML -> ランドサット衛星画像で氷河を識別するための単純なロジスティック回帰モデル
  • GlacierSemanticSegmentation -> は unet を使用します
  • Antarctic-fracture-detection ->は、UNetとMODIS Mosaic of Antarcticaを使用して表面の破壊を検出しています(論文)

セグメンテーション - その他の環境

  • オープン埋立地の検出->は、Sentinel-2を使用して正規化燃焼比(NBR)の大きな変化を検出します。
  • sea_ice_remote_sensing-> 海氷濃度分類
  • ハイパースペクトル画像からのメタン検出 - 2020年の論文の>コード:オーバーヘッドハイパースペクトル画像におけるメタン検出のためのディープリモートセンシング法
  • EddyNet -> 海洋渦のピクセル単位の分類のためのディープニューラルネットワーク
  • 住血吸虫 - 2022年論文の>コード:衛星画像のディープラーニングセグメンテーションは、アフリカのセネガルにおける住血吸虫症のカタツムリ中間宿主に関連する水生植物を特定

セグメンテーション - 道路

道路の抽出は、他のオブジェクトによって引き起こされる閉塞や複雑な交通環境のために困難です

セグメンテーション - 建物と屋上

セグメンテーション - ソーラーパネル

セグメンテーション - その他の人工

インスタンスのセグメンテーション

インスタンスセグメンテーションでは、セグメント化された領域の個々の「インスタンス」に一意のラブルが与えられます。非常に小さなオブジェクトを検出するには、これは良いアプローチかもしれませんが、間隔が狭い個々のオブジェクトを分離するのに苦労する可能性があります。

パノプティックセグメンテーション

物体検出

画像内のオブジェクトの数を数えるために、いくつかの異なる手法を使用できます。返されるデータは、オブジェクト数 (回帰)、画像内の個々のオブジェクトの周囲の境界ボックス (通常は Yolo または Faster R-CNN アーキテクチャを使用)、各オブジェクトのピクセル マスク (インスタンスのセグメンテーション)、オブジェクトのキー ポイント (翼端、航空機の機首と尾部など)、または単に画像上のスライドタイルの分類です。このホワイトペーパーでは、航空写真で物体検出を実行するという課題について、適切に紹介します。要約すると、画像は大きく、オブジェクトはほんの数ピクセルしか構成せず、バックグラウンドのランダムな特徴と混同されがちです。同じ理由で、オブジェクト検出データセットは、背景の領域が通常、検出されるオブジェクトの領域を支配するため、本質的に不均衡です。一般に、物体検出は大きな物体でうまく機能し、物体が小さくなり、より密集して詰め込まれるにつれてますます困難になります。画像の解像度が低下するとモデルの精度が急速に低下するため、物体検出では30cm RGBなどの高解像度の画像を使用するのが一般的です。航空写真の特定の特徴は、オブジェクトを任意の方向に向けることができるため、オブジェクトと整列する回転バウンディングボックスを使用することは、オブジェクトの長さや幅などのメトリックを抽出するために不可欠です。Yolov5 などの新しいモデルは、ImageNet などのデータセットではなく、COCO データセットなどの小さなデータセットで事前トレーニングされているため、Faster RCNN や Retinanet などの「古い」モデルと同じパフォーマンスを達成できない可能性があることに注意してください。

オブジェクトカウント

オブジェクトはカウントされるが、その形状は必要ない場合、U-net を使用して、これをイメージからイメージへの変換の問題として扱うことができます。

  • Centroid-unet -> Centroid-UNetは、衛星画像から重心を検出するためのディープニューラルネットワークモデルです 🔰
  • cownter_strike -> ポイントアノテーション付き牛の計数には、CSRNet(密度ベースの方法)とLCFCN(検出ベースの方法)の2つのモデルがあります。
  • DO-U-Net ->、アフガニスタンの国内避難民(IDP)キャンプをセグメント化してカウントするために最初に作成された、オブジェクトのサイズと画像内のオブジェクトの数を知る必要がある場合のための効果的なアプローチです。
  • キャッサバ作物カウント
  • Sky -> リモートセンシング物体計数のための大規模データセットとベンチマーク手法
  • PSGCNet -> コード for 2022 paper: PSGCNet: A Pyramidal Scale and Global Context Guided Network for Dense Object Counting in Remote Sensing Images
  • psgcnet -> code for 2022 paper: PSGCNet: A Pyramidal Scale and Global Context Guided Network for Dense Object Counting in Remote-Sensing Images

回転バウンディングボックスによるオブジェクト検出

装飾された境界ボックス (OBB) は、回転した四角形を表すポリゴンです。

  • データセットのチェックアウトについては、DOTA & HRSC2016
  • mmrotate -> 回転オブジェクト検出ベンチマーク、事前トレーニング済みモデルと非常に大きな画像を推論するための機能付き
  • OBBDetection - MM検出に基づく指向オブジェクト検出ライブラリを>します。
  • rotate-yolov3 -> yolov3 で実装された回転オブジェクト検出。yolov3-polygon も参照
  • DRBox ->、車両、船舶、飛行機など、物体の向きが任意である検出タスクに適しています。
  • s2anet -> 論文の公式コード「指向オブジェクト検出のための深い特徴の整列」
  • CFC-Net -> "CFC-Net: A Critical Feature Capture Network for Anyry-Oriented Object Detection in Remote Sensing Images" の公式実装
  • ReDet -> 論文「ReDet: A Rotation-equivariant Detector for Aerial Object Detection」の公式コード
  • BBAVectors-Oriented-Object-Detection - > Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
  • CSL_RetinaNet_Tensorflow ECCV 2020論文の>コード:円形平滑ラベルによる任意指向物体検出
  • r3det-on-mm検出-> R3Det:回転物体の改良機能を備えた洗練された単段検出器
  • R-DFPN_FPN_Tensorflow-> 回転高密度フィーチャピラミッドネットワーク(テンソルフロー)
  • R2CNN_Faster-RCNN_Tensorflow-> 高速RCNNに基づく回転領域検出
  • Rotated-RetinaNet -> pytorch に実装されており、DOTA、HRSC2016、ICDAR2013、ICDAR2015、UCAS-AOD、NWPU VHR-10、VOC2007 のデータセットをサポートしています。
  • OBBDet_Swin-> 2021年6位入賞 ガオフェンチャレンジ
  • CG-Net -> 航空写真における物体検出のための学習較正ガイダンス。付き
  • OrientedRepPoints_DOTA ->指向のRepPoints + Swin Transformer/ReResNet
  • yolov5_obb -> yolov5 + 指向オブジェクト検出
  • YOLOv5 OBB をトレーニングする方法 - YOLOv5 OBB チュートリアルと YOLOv5 OBB noteboook を>します。
  • OHDet_Tensorflow->は、回転検出と物体方位検出に適用できます
  • Seodore ->フレームワークは、mm検出の最近のアップデートを維持しています
  • Rotation-RetinaNet-PyTorch ->指向検出器 Rotation-RetinaNetの光学およびSAR船データセットへの実装
  • AIDet ->MMDetectionに基づく航空画像ツールボックスでのオープンソースの物体検出
  • 回転-yolov5 -yolov5に基づく回転検出を>
  • ShipDetection - >回転バウンディングボックスを介したHR光学リモートセンシング画像における船舶検出は、より高速なR-CNNおよびORNに基づいて、カフェを使用しています
  • SLRDet -> RRPN を再実装し、モデルを使用するための MMDETECTION に基づくプロジェクト FASTER R-CNN OBB
  • AxisLearning -> コード for 2020 paper: Axis Learning for Orientated Object Detection in Aerial Images
  • Detection_and_Recognition_in_Remote_Sensing_Image -> 本作では、MXNetによるリモートセンシング画像の検出と認識を実現するためにPaNetを用いて
  • DrBox-v2-tensorflow -> リモートセンシング画像中のターゲット検出用の回転可能なボックスを備えた改良された検出器であるDrBox-v2のテンソルフロー実装
  • 回転効率の高いDet-D0 -> カスタム回転車両データセットに適用されるPyTorch実装回転検出器ベースの効率的Det検出器
  • DODet ->指向オブジェクト検出のためのデュアルアライメントは、DOTAデータセットを使用します。付き
  • GF-CSL -> コード for 2022 論文: ガウス焦点損失: 航空写真における回転物体検出のための分布偏角予測の学習
  • 2018年の論文simplified_rbox_cnn->コード:RBox-CNN:リモートセンシング画像内の船舶検出のための回転バウンディングボックスベースのCNN。テンソルフローオブジェクト検出APIを使用
  • Polar-Encodings -> Code for 2021 [paper](SAR画像における任意指向の船舶検出のためのPolarエンコーディングの学習)
  • R-CenterNet -> CenterNet に基づく回転物体用検出器
  • piou - >指向物体検出;IoU 損失 (DOTA データセットに適用)
  • DAFNe -2021年の論文の>コード:DAFNe:指向オブジェクト検出のための1段階アンカーフリーアプローチ
  • AProNet -> コード for 2021 paper: AProNet: 航空写真から正確な向きの物体を検出する。データセット DOTA および HRSC2016 に適用
  • UCAS-AOD-benchmark -> UCAS-AOD データセットのベンチマーク
  • RotateObjectDetection -> Ultralytics/yolov5 に基づいており、予測ボックスの回転を有効にするための調整が行われています。PolygonObjectDetection も参照してください。
  • AD-Toolbox -> MMDetection と MMRotate に基づく Aerial Detection Toolbox で、より多くのデータセットをサポート
  • GGHL -> コード for 2022 paper: A General Gaussian Heatmap label Assignment for Anyry-Oriented Object Detection
  • NPMMR-Det-> 2021年論文のコード:リモートセンシング画像中の物体検出のための新しい非局所認識ピラミッドおよびマルチスケールマルチタスク絞り込み検出器
  • AOPG -> コード for 2022 paper: Anchor-Free Oriented Proposal Generator for Object Detection
  • SE2-Det -> コード for 2022 paper: Semantic-Edge-Supervised Single Stage Detector for Oriented Object Detection in Remote Sensing Imagery
  • OrientedRepPoints -> code for 2021 paper: Oriented RepPoint for Aerial Object Detection
  • TS-Conv-> コード for 2022 paper: Task-wise Sampling Convolutions for Arbitrary-Oriented Object Detection in Aerial Images(航空写真における任意指向物体検出のためのタスクワイズサンプリング畳み込み)

超解像による物体検出の強化

  • 超解像と物体検出 - >超解像は、物体検出性能を向上させることができる比較的安価な機能強化です
  • EESRGAN -エンドツーエンドのエッジ強化GANおよび物体検出器ネットワークによるリモートセンシング画像における小物体検出の>
  • 超低解像度リモートセンシング船舶検出 超解決フィーチャー表現を使用
  • EESRGAN -> コード for 2020 paper: Small-Object Detection in Remote Sensing Images with End-to-End Enhanced GAN and Object Detector Network. EESRGAN - code for 2020 paper: Small-Object Detection in Remote Sensing Images with End-to-End Edge Enhanced GAN and Object Detector Network. EESRGAN- code for 2020 paper: Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network. EESRGAN-COWC および OGST データセットに適用
  • 2022年論文FBNet ->コード:航空写真におけるきめ細かい物体分類のための特徴バランス
  • SuperYOLO -2022年の論文の>コード:SuperYOLO:マルチモーダルリモートセンシング画像における超解像支援物体検出

顕著な物体検出

シーン内で最も目立つオブジェクトまたは重要なオブジェクトを検出する

  • ACCoNet-> Code for 2022 paper: Adjacent Context Coordination Network for Salient Object Detection in Optical Remote Sensing Images(2022年論文のコード):光リモートセンシング画像における顕著な物体検出のための隣接コンテキスト調整ネットワーク
  • MCCNet-> 光学リモートセンシング画像における顕著な物体検出のためのマルチコンテンツ補完ネットワーク
  • CorrNet->特徴相関による光学リモートセンシング画像における軽量で顕著な物体検出。付き
  • 光リモートセンシング画像におけるディープラーニングベースの顕著な物体検出のためのリーディングリスト
  • ORSSD-dataset ->顕著な物体検出データセット
  • EORSSD-dataset -> Extended Optical Remote Sensing Saliency Detection (EORSSD) Dataset
  • DAFNet_TIP20 2020年論文の>コード:光学リモートセンシング画像における顕著な物体検出のための高密度アテンション流体ネットワーク
  • EMFINet -> コード for 2021 paper: Edge-Aware Multiscale Features Integration Network for Salient Object Detection in Optical Remote Sensing Images(光リモートセンシング画像における顕著な物体検出のためのエッジアウェアマルチスケール機能統合ネットワーク)
  • ERPNet -> コード for 2022 paper: Edge-guided Recurrent Positioning Network for Salient Object Detection in Optical Remote Sensing Images(2022年論文のERPNet-コード:光リモートセンシング画像における顕著な物体検出のためのエッジガイド付きリカレントポジショニングネットワーク
  • FSMINet -> コード for 2022 paper: Fully Squeezed Multi-Scale Inference Network for Fast and Accurate Saliency Detection in Optical Remote Sensing Images(2022年論文)のコード:光リモートセンシング画像における迅速かつ正確な顕著性検出のための完全圧搾マルチスケール推論ネットワーク
  • AGNet -> コード for 2022 paper: AGNet: Attention Guided Network for Salient Object Detection in Optical Remote Sensing Images
  • MSCNet -> コード for 2022 paper: 光リモートセンシング画像における顕著な物体検出のための軽量マルチスケールコンテキストネットワーク
  • GPnet-> コード for 2022 論文: Global Perception Network for Salient Object Detection in Remote Sensing Images

物体検出 - 建物、屋上、ソーラーパネル

物体検出 - 船舶とボート

物体検出 - 車、車両、電車

物体検出 - 飛行機と航空機

物体検出 - インフラストラクチャとユーティリティ

物体検出 - 動物

動物を数えるために、物体検出やインスタンスセグメンテーションなど、さまざまな手法を使用できます。便宜上、それらはすべてここにリストされています:

  • cownter_strike -> ポイントアノテーション付き牛の計数には、CSRNet(密度ベースの方法)とLCFCN(検出ベースの方法)の2つのモデルがあります。
  • elephant_detection -> ケラス・レチナネットを使って航空写真からゾウを検出する
  • CNN-蚊の検出 - 潜在的に危険な繁殖地の場所を決定する>、YOLOv4、YOLOR、YOLOv5を比較
  • Borowicz_etal_Spacewhale - > ResNetを使用してクジラを見つける
  • セイウチ検出とカウント>はマスクR-CNNインスタンスセグメンテーションを使用します
  • 海洋哺乳類検出 - 高解像度航空画像における海洋動物の弱監督検出に>いて
  • Audubon_F21 2022年の論文の>コード:航空写真を用いた水鳥モニタリングのための深部物体検出

動画でのオブジェクトトラッキング

  • マルチフレームオプティカルフロートラッカーarxiv紙に基づく衛星ビデオのオブジェクト追跡
  • CFME-> モーション推定による改良された相関フィルタによる衛星ビデオのオブジェクトトラッキング
  • TGraM -> コードとデータセット for 2022 論文: グラフベースのマルチタスクモデリングによる衛星ビデオにおけるマルチオブジェクトトラッキング
  • satellite_video_mod_groundtruth -> 移動物体検出アルゴリズムを評価するための衛星ビデオ上のグランドトゥルース
  • Moving-object-detection-DSFNet -> code for 2021 paper: DSFNet: Dynamic and Static Fusion Network for Moving Object Detection in Satellite Video(2021年)論文:DSFNet: Dynamic and Static Fusion Network for Moving Object Detection in Satellite Video(2021年)の移動物体検出-DSFNet -コード
  • HiFT -> コード for 2021 paper: HiFT: Hierarchical Feature Transformer for Aerial Tracking
  • TCTrack -> コード for 2022 paper: TCTrack: Temporal Contexts for Aerial Tracking

木を数える

石油貯蔵タンクの検出と油流出

石油は、抽出から販売までの多くの時点でタンクに貯蔵されており、貯蔵中の油の量は重要な経済指標です。

クラウドの検出と削除

バンド数学を使用して雲を検出するアルゴリズムはたくさんありますが、ディープラーニングのアプローチはセマンティックセグメンテーションを使用することです

変更検出

一般に、変化検出方法は、災害で損傷した建物など、変化のマスクを生成するために、一対の画像に適用されます。雲と影も頻繁に変化することに注意してください..!

  • 素晴らしいリモートセンシング変更検出は、多くのデータセットと出版物をリストします
  • 変更検出 - レビュー - >ディープラーニング用のコードとオープンデータセットを含む変更検出方法のレビュー
  • 非構造化変更検出 - CNN の使用
  • 航空写真の変化を検出するためのシャムニューラルネットワーク - >はKerasとVGG16アーキテクチャを使用しています
  • 3D での変化検出: 鳩画像からのデジタル標高モデルの生成
  • 高解像度衛星画像に変更検出アルゴリズムを適用するためのQGISプラグイン
  • LamboiseNet -> ディープラーニングを用いた衛星画像の変化検出に関する修士論文
  • 変化検出のための完全畳み込み型シャムネットワーク - で>
  • 畳み込みニューラルネットワークを用いたマルチスペクトル地球観測のための都市変化検出->、オネラ衛星変化検出(OSCD)データセットを使用
  • STANet ->リモートセンシング画像変化検出のための時空間注意ニューラルネットワーク(STANet)の公式実装
  • BIT_CD -トランスフォーマーによるリモートセンシング画像変化検出の公式Pytorch実装を>
  • IAug_CDNet -> リモートセンシング画像の変化検出を構築するための敵対的インスタンス拡張の公式Pytorch実装
  • dpm-rnn-public -> 衛星データとディープラーニングを組み合わせたダメージマッピング手法を実装するコード
  • SenseEarth2020-ChangeDetection - SenseTimeが主催する衛星画像変化検出チャレンジに対する第1位のソリューションを>します。5つのHRNetベースのセグメンテーションモデルの予測がアンサンブルされ、変更されていない領域の擬似ラベルとして機能します
  • KPCAMNet -> ディープカーネルPCA畳み込みマッピングネットワークに基づく多時間VHR画像における教師なし変化検出の論文のPython実装
  • CDLab - 深層学習ベースの変化検出方法のベンチマークを>します。
  • Siam-NestedUNet -> "SNUNet-CD: A Densely Connected Siamese Network for Change Detection of VHR Images" の pytorch 実装
  • SUNet-change_detection -紙の実装>:デュアルチャネル完全畳み込みネットワークを使用した衛星およびUAVからの異種リモートセンシング画像の変化検出
  • マルチビューリモートセンシング画像における自己監視型変化検出
  • MFPNet -> 多方向適応特徴融合と知覚的類似性に基づくリモートセンシング変化検出
  • DIUx xView 検出チャレンジのための GitHub -> xView2 チャレンジは、自然災害後の建物の損傷を評価するプロセスの自動化に焦点を当てています。
  • DASNet ->高解像度衛星画像の変化検出のためのデュアルアテンディティブ完全畳み込み型サイアムネットワーク
  • 生の光衛星時系列分類のための自己注意
  • 惑星の動き - > 惑星の画像ペアを見つけて処理し、オブジェクトの動きを強調表示する
  • UNet-based-Unsupervised-Change-Detection -> 畳み込みニューラルネットワーク(CNN)とセマンティックセグメンテーションが実装され、画像間の変化を検出し、その変更を正しいセマンティッククラスに分類します
  • 時間クラスターマッチング - >リモートセンシング画像の時系列から構造フットプリントの変化を検出する
  • autoRIFT - 2つの画像間のピクセル変位を見つけるための高速でインテリジェントなアルゴリズムを>
  • DSAMNet -> "A Deep Supervised Attention Metric-Based Network and a Open Aerial Image Dataset for Remote Sensing Change Detection" のコード。データセットの変更の主な種類には、(a)新しく建設された都市の建物が含まれます。(b) 郊外の拡張(c) 建設前の下地工事(d) 植生の変化(e) 道路の拡張(f) 海洋建設
  • SRCDNet -> 「異なる解像度を持つ画像のためのスタックアテンションモジュールを備えた超解像度ベースの変化検出ネットワーク」のpytorch実装。SRCDNet は、解像度の異なる双時間画像から変化マップを学習および予測するように設計されています。
  • 土地被覆解析-衛星画像セグメンテーション>よる土地被覆変化検出
  • 高解像度の両時間リモートセニング画像の変化検出のための深く監視された画像融合ネットワーク
  • 衛星-画像-アライメント-差分とセグメンテーション-変化検出に関する>論文
  • 多時間衛星画像の変化検出 -> は主成分分析 (PCA) と K 平均クラスタリングを使用します。
  • PCAとK-Meansクラスタリングを使用した教師なし変化検出アルゴリズム->Matlabにありますが、論文があります
  • ChangeFormer -> 変化検出のための変圧器ベースのシャムネットワーク。トランスフォーマーアーキテクチャを使用して、マルチスケールの長距離の詳細を処理する際のCNNの制限に対処します。ChangeFormer が他の SOTA メソッドに比べてはるかに細かい詳細をキャプチャし、ベンチマーク データセットのパフォーマンスを向上させることを実証します。
  • Heterogeneous_CD -> リモートセンシング画像における異種変化検出。マルチモーダルリモートセンシング画像における教師なし変化検出のためのコード整列オートエンコーダに付属
  • ChangeDetectionProject - > リモートセンシングデータの変化検出のために、ディープCNNでアクティブラーニングを試す
  • DSFANet -> 多時間リモートセンシング画像の変化検出のための教師なしディープスロー特徴分析
  • シアム変化検出-> サイアムニューラルネットワークを用いた変化検出のための多時間リモートセンシング画像の標的合成
  • Bi-SRNet -> code for 2022 paper: Bi-Temporal Semantic Reasoning for the Semantic Change Detection in HR Remote Sensing Images
  • SiROC - 光学衛星画像における教師なし変化検出のための論文空間コンテキスト認識の実装を>しました。4つのデータセット上のセンチネル-2および高解像度プラネットスコープ画像に適用
  • DSMSCN -> 深層シャムマルチスケール畳み込みニューラルネットワークに基づく多時間VHR画像の変化検出のためのテンソルフロー実装
  • RaVAEn ->、オンボード展開の特定の目的を持つ変分オートエンコーダ(VA)に基づく衛星データの変化検出のための軽量で教師なしアプローチです。変更された領域にフラグを立ててダウンリンクの優先順位を付け、応答時間を短縮します。
  • SemiCD -> Code for paper: Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images. SemiCD - Code for paper: Revisiting Consistency Regularization for Semi-Supervised Change Detection in Remote Sensing Images. セミCD - Code for Paper: Revisiting Consistency Regularization for Semi-Supervised Change Detection in Remote Sensing Images注釈付きトレーニングデータのわずか10%へのアクセスでも、監視付きCDのパフォーマンスを達成
  • FCCDN_pytorch -> 紙のコード: FCCDN: VHR イメージ変更検出のための機能制約ネットワーク。LEVIR-CD 建物変更検出データセットを使用する
  • INLPG_Python -> 紙用コード:同種および異種のリモートセンシング画像を使用した教師なし変化検出のための構造一貫性ベースのグラフ
  • NSPG_Python -> 紙用コード:非ローカルパッチの類似性に基づく異種リモートセンシング変化検出
  • LGPNet-BCD -> code for 2021 paper: Building Change Detection for VHR Remote Sensing Image via Local-Global Pyramid Network and Cross-Task Transfer Learning Strategy
  • DS_UNet 2021 論文の > コード: デュアルストリーム U-NET を使用した都市変化検出のための Sentinel-1 と Sentinel-2 データ融合、Onera 衛星変化検出データセットを使用
  • SiameseSSL -> コード for 2022 paper: Urban Change Detection with a Dual-Task Siamese Network and semi-supervised learning. SiameseSSL - code for 2022 paper: Urban Change detection with a Dual-Task Siamese Network and semi-supervised learning. SiameseSSL - code for 2022 paper: Urban Change detection with a Dual-Task Siamese Network and semi-supervised learning.スペースネット 7 データセットを使用
  • CD-SOTA-メソッド->リモートセンシング変化検出:最先端の方法と利用可能なデータセット
  • multimodalCD_ISPRS21 2021年の論文の>コード:監視型変化検出のためのマルチモーダルデータの融合
  • 記事のための教師なしCD-in-SITSの使用-DL-and-Graphs->コード:グラフベースのアプローチと組み合わせたディープラーニングを使用した衛星画像時系列における教師なし変化検出分析
  • LSNet -> コード for 2022 paper: Very Lightweight Siamese Network for Change Detection in Remote Sensing Image
  • PCAとK-meansを使用したリモートセンシング画像の変化検出->
  • 2019年論文のエンドツーエンドCD-for VHR衛星画像->コード:改良されたUNet++を使用した高解像度衛星画像のエンドツーエンド変更検出
  • 2021年のセマンティック-変化-検出->コード:SCDNET:高解像度光リモートセンシング画像におけるセマンティック変化検出のための新しい畳み込みネットワーク
  • ERCNN-DRS_urban_change_monitoring - 2021年の論文の>コード:深時間マルチスペクトルおよびSARリモートセンシングデータを用いたニューラルネットワークベースの都市変化モニタリング
  • EGRCNN -> code for 2021 paper: Edge-guided Recurrent Convolutional Neural Network for Multi-temporal Remote Sensing Image Building Change Detection
  • 2021年の教師なしリモートセンシング変化検出>コード:マルチスケールグラフ畳み込みネットワークとメトリック学習に基づく教師なしリモートセンシング変化検出法
  • CropLand-CD -> code for 2022 paper: A CNN-transformer Network with Multi-scale Context Aggregation for Graned Cropland Change Detection
  • 2022年の論文の対照的な表面画像プレトレーニング>コード:3D表面セマンティクスによるリモートセンシング変化検出モデルの監督
  • dcvaVHROptical -> ディープ チェンジ ベクター アナリシス (DCVA) 変更検出。Code for 2019 paper: VHR 画像の複数変化検出のための教師なしディープチェンジベクトル解析
  • 2021年の論文超次元CD ->コード:トレーニングされていないモデルを使用した超次元画像の変化検出
  • DSFANet -> コード for 2018 paper: 多時間リモートセンシング画像の変化検出のための教師なしディープスロー特徴分析
  • FCD-GAN-pytorch -> Generated Adversarial Network (FCD-GAN) による完全畳み込み変化検出フレームワークは、多時間リモートセンシング画像の変化検出のためのフレームワークです。
  • DARNet-CD -> コード for 2022 paper: A Densely Attentive Refinement Network for Change Detection based Based Very Resolution Bitemporal Remote Sensing Images(2022年論文)コード:超高解像度のバイテンポラルリモートセンシング画像に基づく変化検出のための高密度注意型微細化ネットワーク
  • xView2_Vulcan -> オルソ画像とオルソ画像後の損傷評価。xView2チャレンジの1位モデルに基づいて修正+生産モデル。
  • ESCNet -> コード for 2021 paper: A End to-End Superpixel-Enhanced Change Detection Network for Very Resolution Remote Sensing Images(超高解像度リモートセンシング画像のためのエンドツーエンドのスーパーピクセル強化変化検出ネットワーク)
  • ForestCoverChange - リモートセンシング画像を使用したパキスタン地域の森林被覆変化の検出と予測に>
  • 2020年の論文の森林破壊検出->コード:センチネル-2を用いたウクライナの森林生態系における高周波変化検出のためのディープラーニング
  • forest_change_detection -> シャム語、UNet-LSTM、UNet-diff、UNet3D モデルなど、時間依存モデルによる森林変化セグメンテーション。Code for 2021 paper: Deep Learning for Regular Change Detection in Ukrainian Forest Ecosystem with Sentinel-2
  • SentinelClearcutDetection -> Sentinel-2 Level-A 画像の森林破壊検出のためのスクリプト
  • clearcut_detection - 明確な検出のための>研究とWebサービス
  • 2022年の論文CDRL ->コード:画像再構成損失に基づく教師なし変化検出
  • ddpm-cd -> コード for 2022 paper: Remote Sensing Change Detection (Segmentation) using Denoising Diffusion Probabilistic Models
  • 2022年のリモートセンシング時系列変化検出>コード:Sentinel-2時系列を用いたグラフベースのブロックレベルの都市変化検出
  • austin-ml-change-detection-demo -> Dask on Planet 画像でスケーリングされた事前トレーニング済みの PyTorch モデルを使用したオースティン地域の変化検出デモ
  • dfc2021-msd-baseline -> 2021 IEEE GRSS Data Fusion Competition の "Multitemporal Semantic Change Detection" トラックのベースライン
  • CorrFusionNet -> コード for 2020 paper: Multi-Temporal Scene Classification and Scene Change Detection with Correlation Based Fusion
  • ChangeDetectionPCAKmeans -> 主成分分析と k-Means クラスタリングを使用した衛星画像における教師なし変化検出のための MATLAB 実装。
  • IRCNN -2022年の>コード: IRCNN: 衛星時系列の変化検出のための不規則な時間距離の繰り返し畳み込みニューラルネットワーク
  • UTRNet -> 非正規に収集された画像の変化検出のための教師なし時間距離ガイド付き畳み込み反復ネットワーク
  • open-cd ->一連のオープンソースの一般的なビジョンタスクツールに基づくオープンソースの変更検出ツールボックスです
  • Tiny_model_4_CD 2022年の論文の>コード:TINYCD:変化検出のための(そうではない)ディープラーニングモデル。LEVIR-CD および WHU-CD データセットを使用
  • FHD -> コード for 2022 paper: Feature Hierarchical Differentiation for Remote Sensing Image Change Detection
  • ラスタービジョンによる変化検出 - Colabノートブックを使用したブログ記事>
  • 2021年の論文:ほぼリアルタイムのモニタリングによる環境執行の強化:集中的な家畜農場の構造的拡大の尤度ベースの検出:建物拡張->コード
  • SaDL_CD 2022年の>コード:リモートセンシング画像変化検出のためのセマンティックアウェア高密度表現学習
  • EGCTNet_pytorch -> コード for 2022 paper: Building Change Detection Based on a Edge-Guided Convolutional Neural Network with a Transformer Combined
  • S2-cGAN -> コード for 2020 paper: S2-cGAN: マルチスペクトル画像におけるバイナリ変化検出のための自己教師あり敵対的表現学習

時系列

変化検出よりも一般的な時系列観測は、作物分類の精度の向上や将来のパターンとイベントの予測などのアプリケーションに使用できます。作物収量は非常に典型的なアプリケーションであり、以下に独自のセクションがあります

  • CropDetectionDL -> using GRU-net, First Place Solution for Crop Detection from Satellite Imagery competition 主催 by CV4A workshop at ICLR 2020
  • ランダムフォレストを使用した多時間土地被覆分類のためのLANDSAT時系列分析
  • temporalCNN -> 衛星画像時系列の分類のための時間的畳み込みニューラルネットワーク
  • pytorch-psetae -> ピクセルセットエンコーダと時間的自己注意による衛星画像時系列分類で提示されたモデルのPyTorch実装
  • satflow - 現在および過去の衛星画像から将来の衛星画像を予測するためのオプティカルフローモデルを>
  • ESA-超解像-予測-> ESA Sentinel-5pデータとエンコーダ-デコーダ畳み込みLSTMニューラルネットワークアーキテクチャを用いた大気汚染の予測、Pytorchに実装
  • Radiant-Earth-Spot-the-Crop-Challenge -> このチャレンジの主な目的は、Sentinel-2マルチスペクトルデータの時系列を使用して、南アフリカの西ケープ州の作物を分類することでした。課題は、テストデータセットの作物タイプのクラスを予測する機械学習モデルを構築することでした。
  • 軽量-時間-注意-pytorch -> 衛星画像時系列用の光時間的注意エンコーダ(L-TAE)のPyTorch実装。分類
  • 作物分類-多時間衛星画像を使用した作物分類>
  • dtwSat -> 衛星画像時系列解析のための時間加重動的タイムワーピング
  • DeepCropMapping -> 動的トウモロコシと大豆マッピングの空間一般化可能性を向上させた多時間ディープラーニングアプローチは、LSTMを使用します。
  • CropMappingInterpretation -> クロップマッピングのための多時間ディープラーニングアプローチを理解するための解釈パイプライン
  • MTLCC -> 紙のコード:多時間土地被覆分類ネットワーク。土地被覆分類のための多時間データをエンコードするための再帰ニューラルネットワークアプローチ
  • timematch -> code for 2022 paper: 衛星画像時系列で訓練された作物分類器の教師なしクロスリージョン適応を実行する方法。また、欧州の4つの異なる地域からのSITSによる地域横断的適応のためのオープンアクセスデータセットも導入しています。
  • PWWB -> Code for the 2021 paper: リアルタイム時空間大気汚染予測 (衛星画像解析による深部畳み込みLSTMによる)
  • 衛星画像時系列による作物畑の分類-パイトーチ-psetae & Sentinel-2データを用いた>
  • 宇宙天気 - 太陽風と太陽コロナの衛星測定から地磁気嵐を予測する>、LSTMを使用します
  • Forest_wildfire_spreading_convLSTM -> ConvLSTM細胞を用いたニューラルネットワークを用いた森林山火事の拡散のモデル化3日先の予測
  • ConvTimeLSTM -> リモートセンシングに適した、不規則な間隔の画像に対するConvLSTMとTime-LSTMの拡張
  • dl-time-series-> リモートセンシング時系列の特性評価に適用されるディープラーニングアルゴリズム
  • tpe -> コード for 2022 paper: Generalized Classification of Satellite Image Time Series with Thermal Positional Encoding
  • wildfire_forecasting 2021年の論文のコード>:毎日の山火事危険予測のためのディープラーニング方法。ConvLSTM を使用
  • satellite_image_forecasting ->降水量や標高マップなどのフィーチャを使用して、過去の衛星画像から将来の衛星画像を予測することができます。EarthNet2021チャレンジへのエントリー

作物収量

富と経済活動

目標は、労働集約的な地上調査を実施するのではなく、衛星画像から経済活動を予測することです

災害対応

また、変更検出と水/火災/建物のセグメンテーションに関するセクションもチェックしてください

気象現象

  • EddyData - 紙の>コード:衛星海面高さデータからの渦検出と追跡のための深いフレームワーク
  • python-windspeed -> 衛星画像からハリケーンの風速を予測し、ケラスでCNN回帰を使用
  • hurricane-wind-speed-cnn -> 衛星画像からハリケーンの風速を予測し、ケラスでCNN回帰を使用

超解像

超解像は、画像化システムの解像度を高めようと試み、小さな物体または境界の検出を改善するための前処理ステップとして適用することができる。その使用は、実際の機能と同じ速度でアーティファクトを導入できるため、議論の余地があります。これらの技術は、一般に、単一画像超解像(SISR)または複数画像超解像(MISR)にグループ化される。

Single image super-resolution (SISR)

Multi image super-resolution (MISR)

Note that nearly all the MISR publications resulted from the PROBA-V Super Resolution competition

  • deepsum -> Deep neural network for Super-resolution of Unregistered Multitemporal images (ESA PROBA-V challenge)
  • 3DWDSRNet -> code to reproduce Satellite Image Multi-Frame Super Resolution (MISR) Using 3D Wide-Activation Neural Networks
  • RAMS -> Official TensorFlow code for paper Multi-Image Super Resolution of Remotely Sensed Images Using Residual Attention Deep Neural Networks
  • TR-MISR -> Transformer-based MISR framework for the the PROBA-V super-resolution challenge. With paper
  • HighRes-net -> Pytorch implementation of HighRes-net, a neural network for multi-frame super-resolution, trained and tested on the European Space Agency’s Kelvin competition
  • ProbaVref -> Repurposing the Proba-V challenge for reference-aware super resolution
  • The missing ingredient in deep multi-temporal satellite image super-resolution -> Permutation invariance harnesses the power of ensembles in a single model, with repo piunet
  • MSTT-STVSR -> Space-time Super-resolution for Satellite Video: A Joint Framework Based on Multi-Scale Spatial-Temporal Transformer, JAG, 2022
  • Self-Supervised Super-Resolution for Multi-Exposure Push-Frame Satellites
  • DDRN -> Deep Distillation Recursive Network for Video Satellite Imagery Super-Resolution
  • worldstrat -> SISR and MISR implementations of SRCNN
  • MISR-GRU -> Pytorch implementation of MISR-GRU, a deep neural network for multi image super-resolution (MISR), for ProbaV Super Resolution Competition

Pansharpening

Image fusion of low res multispectral with high res pan band.

  • Several algorithms described in the ArcGIS docs, with the simplest being taking the mean of the pan and RGB pixel value.
  • For into to classical methods see this notebook and this kaggle kernel
  • rio-pansharpen -> pansharpening Landsat scenes
  • Simple-Pansharpening-Algorithms
  • Working-For-Pansharpening -> long list of pansharpening methods and update of Awesome-Pansharpening
  • PSGAN -> A Generative Adversarial Network for Remote Sensing Image Pan-sharpening, arxiv paper
  • Pansharpening-by-Convolutional-Neural-Network
  • PBR_filter -> {P}ansharpening by {B}ackground {R}emoval algorithm for sharpening RGB images
  • py_pansharpening -> multiple algorithms implemented in python
  • Deep-Learning-PanSharpening -> deep-learning based pan-sharpening code package, we reimplemented include PNN, MSDCNN, PanNet, TFNet, SRPPNN, and our purposed network DIPNet
  • HyperTransformer -> A Textural and Spectral Feature Fusion Transformer for Pansharpening
  • DIP-HyperKite -> Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction
  • D2TNet -> code for 2022 paper: A ConvLSTM Network with Dual-direction Transfer for Pan-sharpening
  • PanColorGAN-VHR-Satellite-Images -> code for 2020 paper: Rethinking CNN-Based Pansharpening: Guided Colorization of Panchromatic Images via GANs
  • MTL_PAN_SEG -> code for 2019 paper: Multi-task deep learning for satellite image pansharpening and segmentation
  • Z-PNN -> code for 2022 paper: Pansharpening by convolutional neural networks in the full resolution framework
  • GTP-PNet -> code for 2021 paper: GTP-PNet: A residual learning network based on gradient transformation prior for pansharpening
  • UDL -> code for 2021 paper: Dynamic Cross Feature Fusion for Remote Sensing Pansharpening
  • PSData -> A Large-Scale General Pan-sharpening DataSet, which contains PSData3 (QB, GF-2, WV-3) and PSData4 (QB, GF-1, GF-2, WV-2).
  • AFPN -> Adaptive Detail Injection-Based Feature Pyramid Network For Pan-sharpening
  • pan-sharpening -> multiple methods demonstrated for multispectral and panchromatic images
  • PSGan-Family -> code for 2020 paper: PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening
  • PanNet-Landsat -> code for 2017 paper: A Deep Network Architecture for Pan-Sharpening
  • DLPan-Toolbox -> code for 2022 paper: Machine Learning in Pansharpening: A Benchmark, from Shallow to Deep Networks
  • LPPN -> code for 2021 paper: Laplacian pyramid networks: A new approach for multispectral pansharpening
  • S2_SSC_CNN -> code for 2020 paper: Zero-shot Sentinel-2 Sharpening Using A Symmetric Skipped Connection Convolutional Neural Network
  • S2S_UCNN -> code for 2021 paper: Sentinel 2 sharpening using a single unsupervised convolutional neural network with MTF-Based degradation model
  • SSE-Net -> code for 2022 paper: Spatial and Spectral Extraction Network With Adaptive Feature Fusion for Pansharpening
  • UCGAN -> code for 2022 paper: Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening
  • GCPNet -> code for 2022 paper: When Pansharpening Meets Graph Convolution Network and Knowledge Distillation
  • PanFormer -> code for 2022 paper: PanFormer: a Transformer Based Model for Pan-sharpening
  • Pansharpening -> code for 2021 paper: Pansformers: Transformer-Based Self-Attention Network for Pansharpening

Image-to-image translation

Translate images e.g. from SAR to RGB.

GANS

GANS are famously used for generating synthetic data, see the section Synthetic data

Transformers

Adversarial ML

Efforts to detect falsified images & deepfakes. Also checkout Synthetic data

  • UAE-RS -> dataset that provides black-box adversarial samples in the remote sensing field
  • PSGAN -> code for paper: Perturbation Seeking Generative Adversarial Networks: A Defense Framework for Remote Sensing Image Scene Classification
  • SACNet -> code for 2021 paper: Self-Attention Context Network: Addressing the Threat of Adversarial Attacks for Hyperspectral Image Classification

Autoencoders, dimensionality reduction, image embeddings & similarity search

Image retreival

  • Demo_AHCL_for_TGRS2022 -> code for 2022 paper: Asymmetric Hash Code Learning (AHCL) for remote sensing image retreival
  • GaLR -> code for 2022 paper: Remote Sensing Cross-Modal Text-Image Retrieval Based on Global and Local Information
  • retrievalSystem -> cross-modal image retrieval system
  • AMFMN -> code for the 2021 paper: Exploring a Fine-grained Multiscale Method for Cross-modal Remote Sensing Image Retrieval
  • Active-Learning-for-Remote-Sensing-Image-Retrieval -> unofficial implementation of paper: A Novel Active Learning Method in Relevance Feedback for Content-Based Remote Sensing Image Retrieval
  • CMIR-NET -> code for 2020 paper: A deep learning based model for cross-modal retrieval in remote sensing
  • Deep-Hash-learning-for-Remote-Sensing-Image-Retrieval -> code for 2020 paper: Deep Hash Learning for Remote Sensing Image Retrieval
  • MHCLN -> code for 2018 paper: Deep Metric and Hash-Code Learning for Content-Based Retrieval of Remote Sensing Images
  • HydroViet_VOR -> Object Retrieval in satellite images with Triplet Network
  • AMFMN -> code for 2021 paper: Exploring a Fine-Grained Multiscale Method for Cross-Modal Remote Sensing Image Retrieval

Image Captioning & Visual Question Answering

Mixed data learning

These techniques combine multiple data types, e.g. imagery and text data.

Few-shot learning

This is a class of techniques which attempt to make predictions for classes with few, one or even zero examples provided during training. In zero shot learning (ZSL) the model is assisted by the provision of auxiliary information which typically consists of descriptions/semantic attributes/word embeddings for both the seen and unseen classes at train time (ref). These approaches are particularly relevant to remote sensing, where there may be many examples of common classes, but few or even zero examples for other classes of interest.

Self-supervised, unsupervised & contrastive learning

These techniques use unlabelled datasets. Yann LeCun has described self/unsupervised learning as the 'base of the cake': If we think of our brain as a cake, then the cake base is unsupervised learning. The machine predicts any part of its input for any observed part, all without the use of labelled data. Supervised learning forms the icing on the cake, and reinforcement learning is the cherry on top.

Weakly & semi-supervised learning

These techniques use a partially annotated dataset

  • MARE -> self-supervised Multi-Attention REsu-net for semantic segmentation in remote sensing
  • SSGF-for-HRRS-scene-classification -> code for 2018 paper: A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification
  • SFGAN -> code for 2018 paper: Semantic-Fusion Gans for Semi-Supervised Satellite Image Classification
  • SSDAN -> code for 2021 paper: Multi-Source Semi-Supervised Domain Adaptation Network for Remote Sensing Scene Classification
  • HR-S2DML -> code for 2020 paper: High-Rankness Regularized Semi-Supervised Deep Metric Learning for Remote Sensing Imagery
  • Semantic Segmentation of Satellite Images Using Point Supervision
  • fcd -> code for 2021 paper: Fixed-Point GAN for Cloud Detection. A weakly-supervised approach, training with only image-level labels
  • weak-segmentation -> Weakly supervised semantic segmentation for aerial images in pytorch
  • TNNLS_2022_X-GPN -> Code for paper: Semisupervised Cross-scale Graph Prototypical Network for Hyperspectral Image Classification
  • weakly_supervised -> code for the paper Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery. Demonstrates that segmentation can be performed using small datasets comprised of pixel or image labels
  • wan -> Weakly-Supervised Domain Adaptation for Built-up Region Segmentation in Aerial and Satellite Imagery, with arxiv paper
  • sourcerer -> A Bayesian-inspired deep learning method for semi-supervised domain adaptation designed for land cover mapping from satellite image time series (SITS). Paper
  • MSMatch -> Semi-Supervised Multispectral Scene Classification with Few Labels. Includes code to work with both the RGB and the multispectral (MS) versions of EuroSAT dataset and the UC Merced Land Use (UCM) dataset. Paper
  • Flood Segmentation on Sentinel-1 SAR Imagery with Semi-Supervised Learning with arxiv paper
  • Semi-supervised learning in satellite image classification -> experimenting with MixMatch and the EuroSAT data set
  • ScRoadExtractor -> code for 2020 paper: Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images
  • ICSS -> code for 2022 paper: Weakly-supervised continual learning for class-incremental segmentation
  • es-CP -> code for 2022 paper: Semi-Supervised Hyperspectral Image Classification Using a Probabilistic Pseudo-Label Generation Framework

Active learning

Supervised deep learning techniques typically require a huge number of annotated/labelled examples to provide a training dataset. However labelling at scale take significant time, expertise and resources. Active learning techniques aim to reduce the total amount of annotation that needs to be performed by selecting the most useful images to label from a large pool of unlabelled images, thus reducing the time to generate useful training datasets. These processes may be referred to as Human-in-the-Loop Machine Learning

Federated learning

Federated learning is a process for training models in a distributed fashion without sharing of data

Image registration

Image registration is the process of registering one or more images onto another (typically well georeferenced) image. Traditionally this is performed manually by identifying control points (tie-points) in the images, for example using QGIS. This section lists approaches which mostly aim to automate this manual process. There is some overlap with the data fusion section but the distinction I make is that image registration is performed as a prerequisite to downstream processes which will use the registered data as an input.

Data fusion

Data fusion covers techniques which integrate multiple datasources, for example fusing SAR & optical to make predictions about crop type. It can also cover fusion with non imagery data such as IOT sensor data

  • Awesome-Data-Fusion-for-Remote-Sensing
  • UDALN_GRSL -> Deep Unsupervised Blind Hyperspectral and Multispectral Data Fusion
  • CropTypeMapping -> Crop type mapping from optical and radar (Sentinel-1&2) time series using attention-based deep learning
  • Multimodal-Remote-Sensing-Toolkit -> uses Hyperspectral and LiDAR Data
  • Aerial-Template-Matching -> development of an algorithm for template Matching on aerial imagery applied to UAV dataset
  • DS_UNet -> code for 2021 paper: Sentinel-1 and Sentinel-2 Data Fusion for Urban Change Detection using a Dual Stream U-Net, uses Onera Satellite Change Detection dataset
  • DDA_UrbanExtraction -> Unsupervised Domain Adaptation for Global Urban Extraction using Sentinel-1 and Sentinel-2 Data
  • swinstfm -> code for paper: Remote Sensing Spatiotemporal Fusion using Swin Transformer
  • LoveCS -> code for 2022 paper: Cross-sensor domain adaptation for high-spatial resolution urban land-cover mapping: from airborne to spaceborne imagery
  • comingdowntoearth -> code for 2021 paper: Implementation of 'Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization'
  • Matching between acoustic and satellite images
  • MapRepair -> Deep Cadastre Maps Alignment and Temporal Inconsistencies Fix in Satellite Images
  • Compressive-Sensing-and-Deep-Learning-Framework -> Compressive Sensing is used as an initial guess to combine data from multiple sources, with LSTM used to refine the result
  • DeepSim -> code for paper: DeepSIM: GPS Spoofing Detection on UAVs using Satellite Imagery Matching
  • MHF-net -> code for 2019 paper: Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net
  • Remote_Sensing_Image_Fusion -> code for 2021 paper: Semi-Supervised Remote Sensing Image Fusion Using Multi-Scale Conditional Generative Adversarial network with Siamese Structure
  • CNNs for Multi-Source Remote Sensing Data Fusion -> code for 2021 paper: Single-stream CNN with Learnable Architecture for Multi-source Remote Sensing Data
  • Deep Generative Reflectance Fusion -> Achieving Landsat-like reflectance at any date by fusing Landsat and MODIS surface reflectance with deep generative models
  • IEEE_TGRS_MDL-RS -> code for 2021 paper: More Diverse Means Better: Multimodal Deep Learning Meets Remote-Sensing Imagery Classification
  • SSRNET -> code for 2022 paper: SSR-NET: Spatial-Spectral Reconstruction Network for Hyperspectral and Multispectral Image Fusion
  • cross-view-image-matching -> code for 2019 paper: Bridging the Domain Gap for Ground-to-Aerial Image Matching
  • CoF-MSMG-PCNN -> code for 2020 paper: Remote Sensing Image Fusion via Boundary Measured Dual-Channel PCNN in Multi-Scale Morphological Gradient Domain
  • robust_matching_network_on_remote_sensing_imagery_pytorch -> code for 2019 paper: A Robust Matching Network for Gradually Estimating Geometric Transformation on Remote Sensing Imagery
  • edcstfn -> code for 2019 paper: An Enhanced Deep Convolutional Model for Spatiotemporal Image Fusion
  • ganstfm -> code for 2021 paper: A Flexible Reference-Insensitive Spatiotemporal Fusion Model for Remote Sensing Images Using Conditional Generative Adversarial Network
  • CMAFF -> code for 2021 paper: Cross-Modality Attentive Feature Fusion for Object Detection in Multispectral Remote Sensing Imagery
  • SOLC -> code for 2022 paper: MCANet: A joint semantic segmentation framework of optical and SAR images for land use classification. Uses WHU-OPT-SAR-dataset
  • MFT -> code for 2022 paper: Multimodal Fusion Transformer for Remote Sensing Image Classification
  • ISPRS_S2FL -> code for 2021 paper: Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with A Shared and Specific Feature Learning Model
  • HSHT-Satellite-Imagery-Synthesis -> code for thesis - Improving Flood Maps by Increasing the Temporal Resolution of Satellites Using Hybrid Sensor Fusion
  • MDC -> code for 2021 paper: Unsupervised Data Fusion With Deeper Perspective: A Novel Multisensor Deep Clustering Algorithm
  • FusAtNet -> code for 2020 paper: FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification
  • AMM-FuseNet -> code for 2022 paper: AMM-FuseNet: Attention-Based Multi-Modal Image Fusion Network for Land Cover Mapping
  • S1-S2_Transformer -> Sentinel-1 SAR and Sentinel-2 optical timeseries based Transformer architecture for tropical dry forest disturbance mapping
  • MANet -> code for 2022 paper: MANet: A Network Architecture for Remote Sensing Spatiotemporal Fusion Based on Multiscale and Attention Mechanisms
  • DCSA-Net -> code for 2022 paper: Dynamic Convolution Self-Attention Network for Land-Cover Classification in VHR Remote-Sensing Images

Terrain mapping, Disparity Estimation, Lidar, DEMs & NeRF

Measure surface contours & locate 3D points in space from 2D images. NeRF stands for Neural Radiance Fields and is the term used in deep learning communities to describe a model that generates views of complex 3D scenes based on a partial set of 2D images

Thermal Infrared

SAR

See SAR

NDVI - vegetation index

General image quality

  • Convolutional autoencoder network can be employed to image denoising, read about this on the Keras blog
  • jitter-compensation -> Remote Sensing Image Jitter Detection and Compensation Using CNN
  • DeblurGANv2 -> Deblurring (Orders-of-Magnitude) Faster and Better
  • image-quality-assessment -> CNN to predict the aesthetic and technical quality of images
  • Convolutional autoencoder for image denoising -> keras guide
  • piq -> a collection of measures and metrics for image quality assessment
  • FFA-Net -> Feature Fusion Attention Network for Single Image Dehazing
  • DeepCalib -> A Deep Learning Approach for Automatic Intrinsic Calibration of Wide Field-of-View Cameras
  • PerceptualSimilarity -> LPIPS is a perceptual metric which aims to overcome the limitations of traditional metrics such as PSNR & SSIM, to better represent the features the human eye picks up on
  • Optical-RemoteSensing-Image-Resolution -> code for 2018 paper: Deep Memory Connected Neural Network for Optical Remote Sensing Image Restoration. Two applications: Gaussian image denoising and single image super-resolution
  • Hyperspectral-Deblurring-and-Destriping
  • HyDe -> Hyperspectral Denoising algorithm toolbox in Python, with paper
  • HLF-DIP -> code for 2022 paper: Unsupervised Hyperspectral Denoising Based on Deep Image Prior and Least Favorable Distribution
  • RQUNetVAE -> code for 2022 paper: Riesz-Quincunx-UNet Variational Auto-Encoder for Satellite Image Denoising
  • deep-hs-prior -> code for 2019 paper: Deep Hyperspectral Prior: Denoising, Inpainting, Super-Resolution
  • iquaflow -> from Satellogic, an image quality framework that aims at providing a set of tools to assess image quality by using the performance of AI models trained on the images as a proxy.

Synthetic data

Training data can be hard to acquire, particularly for rare events such as change detection after disasters, or imagery of rare classes of objects. In these situations, generating synthetic training data might be the only option. This has become quite sophisticated, with 3D models being use with open source games engines such as Unreal.

Image dataset creation

Many datasets on kaggle & elsewhere have been created by screen-clipping Google Maps or browsing web portals. The tools below are to create datasets programatically

  • MapTilesDownloader -> A super easy to use map tiles downloader built using Python
  • jimutmap -> get enormous amount of high resolution satellite images from apple / google maps quickly through multi-threading
  • google-maps-downloader -> A short python script that downloads satellite imagery from Google Maps
  • ExtractSatelliteImagesFromCSV -> extract satellite images using a CSV file that contains latitude and longitude, uses mapbox
  • sentinelsat -> Search and download Copernicus Sentinel satellite images
  • SentinelDownloader -> a high level wrapper to the SentinelSat that provides an object oriented interface, asynchronous downloading, quickview & simpler searching methods
  • GEES2Downloader -> Downloader for GEE S2 bands
  • Sentinel-2 satellite tiles images downloader from Copernicus -> Minimizes data download and combines multiple tiles to return a single area of interest
  • felicette -> Satellite imagery for dummies. Generate JPEG earth imagery from coordinates/location name with publicly available satellite data
  • Easy Landsat Download
  • A simple python scrapper to get satellite images of Africa, Europe and Oceania's weather using the Sat24 website
  • RGISTools -> Tools for Downloading, Customizing, and Processing Time Series of Satellite Images from Landsat, MODIS, and Sentinel
  • DeepSatData -> Automatically create machine learning datasets from satellite images
  • landsat_ingestor -> Scripts and other artifacts for landsat data ingestion into Amazon public hosting
  • satpy -> a python library for reading and manipulating meteorological remote sensing data and writing it to various image and data file formats
  • GIBS-Downloader -> a command-line tool which facilitates the downloading of NASA satellite imagery and offers different functionalities in order to prepare the images for training in a machine learning pipeline
  • eodag -> Earth Observation Data Access Gateway
  • pylandsat -> Search, download, and preprocess Landsat imagery
  • landsatxplore -> Search and download Landsat scenes from EarthExplorer
  • OpenSarToolkit -> High-level functionality for the inventory, download and pre-processing of Sentinel-1 data in the python language
  • lsru -> Query and Order Landsat Surface Reflectance data via ESPA
  • eoreader -> Remote-sensing opensource python library reading optical and SAR sensors, loading and stacking bands, clouds, DEM and index in a sensor-agnostic way
  • Export thumbnails from Earth Engine
  • deepsentinel-osm -> A repository to generate land cover labels from OpenStreetMap
  • img2dataset -> Easily turn large sets of image urls to an image dataset. Can download, resize and package 100M urls in 20h on one machine
  • ohsome2label -> Historical OpenStreetMap (OSM) Objects to Machine Learning Training Samples
  • Label Maker -> a library for creating machine-learning ready data by pairing satellite images with OpenStreetMap (OSM) vector data
  • sentinel2tools -> downloading & basic processing of Sentinel 2 imagesry. Read Sentinel2tools: simple lib for downloading Sentinel-2 satellite images
  • Aerial-Satellite-Imagery-Retrieval -> A program using Bing maps tile system to automatically download Aerial / Satellite Imagery given a lat/lon bounding box and level of detail
  • google-maps-at-88-mph -> Google Maps keeps old satellite imagery around for a while – this tool collects what's available for a user-specified region in the form of a GIF
  • srtmDownloader -> Python library (multi-threaded) for retrieving SRTM elevation map of CGIAR-CSI
  • ImageDatasetViz -> create a mosaic of images in a dataset for previewing purposes
  • landsatlinks -> A simple CLI interface to generate download urls for Landsat Collection 2 Level 1 product bundles
  • pyeo -> a set of portable, extensible and modular Python scripts for machine learning in earth observation and GIS, including downloading, preprocessing, creation of base layers, classification and validation.
  • metaearth -> Download and access remote sensing data from any platform
  • geoget -> Download geodata for anywhere in Earth via ladsweb.modaps.eosdis.nasa.gov
  • geeml -> A python package to extract Google Earth Engine data for machine learning

Image chipping/tiling & merging

Since raw images can be very large, it is usually necessary to chip/tile them into smaller images before annotation & training

  • image_slicer -> Split images into tiles. Join the tiles back together
  • tiler by nuno-faria -> split images into tiles and merge tiles into a large image
  • tiler by the-lay -> N-dimensional NumPy array tiling and merging with overlapping, padding and tapering
  • xbatcher -> Xbatcher is a small library for iterating xarray DataArrays in batches. The goal is to make it easy to feed xarray datasets to machine learning libraries such as Keras
  • GeoTagged_ImageChip -> A simple script to create geo tagged image chips from high resolution RS iamges for training deep learning models such as Unet
  • geotiff-crop-dataset -> A Pytorch Dataloader for tif image files that dynamically crops the image
  • Train-Test-Validation-Dataset-Generation -> app to crop images and create small patches of a large image e.g. Satellite/Aerial Images, which will then be used for training and testing Deep Learning models specifically semantic segmentation models
  • satproc -> Python library and CLI tools for processing geospatial imagery for ML
  • Sliding Window -> break large images into a series of smaller chunks
  • patchify -> A library that helps you split image into small, overlappable patches, and merge patches into original image
  • split-rs-data -> Divide remote sensing images and their labels into data sets of specified size
  • image-reconstructor-patches -> Reconstruct Image from Patches with a Variable Stride
  • rpc_cropper -> A small standalone tool to crop satellite images and their RPC
  • geotile -> python library for tiling the geographic raster data
  • GeoPatch -> generating patches from remote sensing data
  • ImageTilingUtils -> Minimalistic set of image reader agnostic tools to easily iterate over large images
  • split_raster -> Creates a tiled output from an input raster dataset. pip installable
  • SAHI -> Utilties for slicing COCO formatted annotations and image files, performing sliced inference using MMDetection, Detectron2, YOLOv5, HuggingFace detectors and calculating AP over image slices.

Annotation

For supervised machine learning, you will require annotated images. For example if you are performing object detection you will need to annotate images with bounding boxes. Check that your annotation tool of choice supports large image (likely geotiff) files, as not all will. Note that GeoJSON is widely used by remote sensing researchers but this annotation format is not commonly supported in general computer vision frameworks, and in practice you may have to convert the annotation format to use the data with your chosen framework. There are both closed and open source tools for creating and converting annotation formats. Some of these tools are simply for performing annotation, whilst others add features such as dataset management and versioning. Note that self-supervised and active learning approaches might circumvent the need to perform a large scale annotation exercise. Note that tiffs/geotiffs cannot be displayed by most browsers (Chrome), but CAN render in Safari.

Annotation tools with GEO features

  • GroundWork is designed for annotating and labeling geospatial data like satellite imagery, from Azavea
  • labelbox.com -> free tier is quite generous, supports annotating Geotiffs & returning annotations with geospatial coordinates. Watch this webcast
  • diffgram describes itself as a complete training data platform for machine learning delivered as a single application, supports streaming data to pytorch & tensorflow. COGS can be annotated
  • iris -> Tool for manual image segmentation and classification of satellite imagery
  • If you are considering building an in house annotation platform read this article. Used PostGis database, GeoJson format and GIS standard in a stateless architecture
  • satellite-imagery-labeling-tool -> from Microsoft, this is a lightweight web-interface for creating and sharing vector annotations over satellite/aerial imagery scenes
  • RSLabel -> remote sensing (RS) image annotation tool for deep learning
  • encord -> supports annotatin SAR
  • Flood-Annotation-Tool -> Annotation tool to annotate flooded and non-flooded regions on satellite image, uses jupyter notebook

Open source annotation tools

  • awesome-data-labeling -> long list of annotation tools
  • awesome-open-data-annotation -> another long list of annotation tools
  • labelImg is the classic desktop tool, limited to bounding boxes for object detection. Also checkout roLabelImg which supports ROTATED rectangle regions, as often occurs in aerial imagery. labelImg_OBB is another fork supporting orinted bounding boxes (OBB)
  • Labelme is a very popular & simple dektop app for polygonal annotation suitable for object detection and semantic segmentation. Note it outputs annotations in a custom LabelMe JSON format which you will need to convert, e.g. using labelme2coco. Read Labelme Image Annotation for Geotiffs
  • Label Studio is a multi-type data labeling and annotation tool with standardized output format, syncing to buckets, and supports importing pre-annotations (create with a model). Checkout label-studio-converter for converting Label Studio annotations into common dataset formats
  • CVAT suports object detection, segmentation and classification via a local web app. This article on Roboflow gives a good intro to CVAT. Checkout CVAT images validator
  • VoTT -> an electron app for building end to end Object Detection Models from Images and Videos, by Microsoft
  • Create your own annotation tool using Bokeh Holoviews, tkinter, or see these dash examples for object detection and segmentation
  • Deeplabel is a cross-platform tool for annotating images with labelled bounding boxes. Deeplabel also supports running inference using state-of-the-art object detection models like Faster-RCNN and YOLOv4. With support out-of-the-box for CUDA, you can quickly label an entire dataset using an existing model.
  • Alturos.ImageAnnotation is a collaborative tool for labeling image data on S3 for yolo
  • pigeonXT -> create custom image classification annotators within Jupyter notebooks
  • ipyannotations -> Image annotations in python using Jupyter notebooks
  • Label-Detect -> is a graphical image annotation tool and using this tool a user can also train and test large satellite images, fork of the popular labelImg tool
  • Swipe-Labeler -> Swipe Labeler is a Graphical User Interface based tool that allows rapid labeling of image data
  • dash_doodler -> A web application built with plotly/dash for image segmentation with minimal supervision
  • remo -> A webapp and Python library that lets you explore and control your image datasets
  • TensorFlow Object Detection API provides a handy utility for object annotation within Google Colab notebooks. See usage here
  • coco-annotator -> Web-based image segmentation tool for object detection, localization, and keypoints
  • pylabel -> Python library for computer vision labeling tasks. The core functionality is to translate bounding box annotations between different formats-for example, from coco to yolo. PyLabel also includes an image labeling tool that runs in a Jupyter notebook that can annotate images manually or perform automatic labeling using a pre-trained model
  • BMW-Labeltool-Lite -> bounding box annotator
  • django-labeller -> An image labelling tool for creating segmentation data sets, for Django and Flask
  • scalabel -> supports 2D images and 3D point clouds
  • Detection-Label-Tool -> Change detection and object annotation, uses PyQt
  • image_sorter -> A quick interface for sorting a folder of images into two other folders
  • bulk -> A Simple Bulk Labelling Tool using embeddings

Cloud hosted & paid annotation tools & services

Several open source tools are also available on the cloud, including CVAT, label-studio & Diffgram. In general cloud solutions will provide a lot of infrastructure and storage for you, as well as integration with outsourced annotators.

  • GroundWork is designed for annotating and labeling geospatial data like satellite imagery, from Azavea
  • labelbox.com -> free tier is quite generous, supports annotating Geotiffs & returning annotations with geospatial coordinates. Watch this webcast
  • Roboflow -> in addition to annotation this platform makes it easy to convert between annotation formats & manage datasets, as well as train and deploy custom models to private API endpoints. Read How to Train Computer Vision Models on Aerial Imagery
  • supervise.ly is one of the more fully featured platforms, decent free tier
  • AWS supports image annotation via the Rekognition Custom Labels console
  • rectlabel is a desktop app for MacOS to annotate images for bounding box object detection and segmentation, paid and free (rectlabel-lite) versions
  • hasty.ai -> supports model assisted annotation & inferencing

Annotation formats

Note there are many annotation formats, although PASCAL VOC and coco-json are the most commonly used. I recommend using geojson for storing polygons, then converting these to the required format when needed.

  • PASCAL VOC format: XML files in the format used by ImageNet
  • coco-json format: JSON in the format used by the 2015 COCO dataset
  • YOLO Darknet TXT format: contains one text file per image, used by YOLO
  • Tensorflow TFRecord: a proprietary binary file format used by the Tensorflow Object Detection API
  • Many more formats listed here
  • OBB: orinted bounding boxes are polygons representing rotated rectangles

Annotation visualisation & conversion tools

Tools to visualise annotations & convert between formats. Note that most annotation software will allow you to visualise existing annotations

  • Dataset-Converters -> a conversion toolset between different object detection and instance segmentation annotation formats
  • FiftyOne -> open-source tool for building high quality datasets and computer vision models. Visualise labels, evaluate model predictions, explore scenarios of interest, identify failure modes, find annotation mistakes, and much more! Read Nearest Neighbor Embeddings Search with Qdrant and FiftyOne
  • rebox -> Easily convert between bounding box annotation formats
  • Pascal VOC BBox Viewer
  • COCO-Assistant -> Helper for dealing with MS-COCO annotations; Merge datasets, Remove specfic category from dataset, Generate annotations statistics - distribution of object areas and category distribution
  • pybboxes -> Light weight toolkit for bounding boxes providing conversion between bounding box types and simple computations
  • voc2coco -> Convert VOC format XMLs to COCO format json
  • ObjectDetectionEval -> Parse all kinds of object detection databases (ImageNet, COCO, YOLO, PascalVOC, OpenImage, CVAT, LabelMe, etc.) & save to other formats
  • LabelMeYoloConverter -> Convert LabelMe Annotation Tool JSON format to YOLO text file format
  • mask-to-polygons -> Routines for extracting and working with polygons from semantic segmentation masks
  • labelme2coco -> Converts LabelMe JSON format into COCO object detection and instance segmentation format.

Training models

This section discusses training machine learning models.

Metrics

A number of metrics are common to all model types (but can have slightly different meanings in contexts such as object detection), whilst other metrics are very specific to particular classes of model. The correct choice of metric is particularly critical for imbalanced dataset problems, e.g. object detection

  • TP = true positive, FP = false positive, TN = true negative, FN = false negative
  • Precision
    is the % of correct positive predictions, calculated as
    precision = TP/(TP+FP)
  • Recall
    or true positive rate (TPR), is the % of true positives captured by the model, calculated as . Note that FN is not possible in object detection, so recall is not appropriate.
    recall = TP/(TP+FN)
  • The (also called the F-score or the F-measure) is the harmonic mean of precision and recall, calculated as . It conveys the balance between the precision and the recall. Ref
    F1 score
    F1 = 2*(precision * recall)/(precision + recall)
  • The false positive rate (FPR), calculated as is often plotted against recall/TPR in an ROC curve which shows how the TPR/FPR tradeoff varies with classification threshold. Lowering the classification threshold returns more true positives, but also more false positives. Note that since FN is not possible in object detection, ROC curves are not appropriate.
    FPR = FP/(FP+TN)
  • Precision-vs-recall curves visualise the tradeoff between making false positives and false negatives
  • Accuracy is the most commonly used metric in 'real life' but can be a highly misleading metric for imbalanced data sets.
  • IoU
    is an object detection specific metric, being the average intersect over union of prediction and ground truth bounding boxes for a given confidence threshold
  • mAP@0.5
    is another object detection specific metric, being the mean value of the average precision for each class. sets a threshold for how much of the predicted bounding box overlaps the ground truth bounding box, i.e. "minimum 50% overlap"
    @0.5
  • For more comprehensive definitions checkout Object-Detection-Metrics
  • Metrics to Evaluate your Semantic Segmentation Model

ML best practice

This section includes tips and ideas I have picked up from other practitioners including ai-fast-track, FraPochetti & the IceVision community

Free online compute

A GPU is required for training deep learning models (but not necessarily for inferencing), and this section lists a couple of free Jupyter environments with GPU available. There is a good overview of online Jupyter development environments on the fastai site. I personally use Colab Pro with data hosted on Google Drive, or Sagemaker if I have very long running training jobs.

Google Colab

  • Collaboratory notebooks with GPU as a backend for free for 12 hours at a time. Note that the GPU may be shared with other users, so if you aren't getting good performance try reloading.
  • Also a pro tier for $10 a month -> https://colab.research.google.com/signup
  • Tensorflow, pytorch & fastai available but you may need to update them
  • Colab Alive is a chrome extension that keeps Colab notebooks alive.
  • colab-ssh -> lets you ssh to a colab instance like it’s an EC2 machine and install packages that require full linux functionality

Kaggle - also Google!

  • Free to use
  • GPU Kernels - may run for 1 hour
  • Tensorflow, pytorch & fastai available but you may need to update them
  • Advantage that many datasets are already available

Others

Deep learning projects & frameworks

  • TorchGeo -> a PyTorch domain library providing datasets, samplers, transforms, and pre-trained models specific to geospatial data, supported by Microsoft. Read Geospatial deep learning with TorchGeo
  • rastervision -> An open source Python framework for building computer vision models on aerial, satellite, and other large imagery sets
  • torchrs -> PyTorch implementation of popular datasets and models in remote sensing tasksenhance) -> Enhance PyTorch vision for semantic segmentation, multi-channel images and TIF file
  • DeepHyperX -> A Python/pytorch tool to perform deep learning experiments on various hyperspectral datasets
  • DELTA -> Deep Earth Learning, Tools, and Analysis, by NASA is a framework for deep learning on satellite imagery, based on Tensorflow & using MLflow for tracking experiments
  • Lightly is a computer vision framework for training deep learning models using self-supervised learning
  • Icevision offers a curated collection of hundreds of high-quality pre-trained models within an easy to use framework
  • pytorch_eo -> aims to make Deep Learning for Earth Observation data easy and accessible to real-world cases and research alike
  • NGVEO -> applying convolutional neural networks (CNN) to Earth Observation (EO) data from Sentinel 1 and 2 using python and PyTorch
  • chip-n-scale-queue-arranger by developmentseed -> an orchestration pipeline for running machine learning inference at scale. Supports fastai models
  • http://spaceml.org/ -> A Machine Learning toolbox and developer community building the next generation AI applications for space science and exploration
  • TorchSat is an open-source deep learning framework for satellite imagery analysis based on PyTorch (no activity since June 2020)
  • DeepNetsForEO -> Uses SegNET for working on remote sensing images using deep learning (no activity since 2019)
  • RoboSat -> semantic segmentation on aerial and satellite imagery. Extracts features such as: buildings, parking lots, roads, water, clouds (no longer maintained)
  • DeepOSM -> Train a deep learning net with OpenStreetMap features and satellite imagery (no activity since 2017)
  • mapwith.ai -> AI assisted mapping of roads with OpenStreetMap. Part of Open-Mapping-At-Facebook
  • SAHI -> Python library for slicing image datasets, performing sliced inference with MMDetection, Detectron2, YOLOv5, Torchvision detectors and generating error analysis plots. Read the arxiv paper and article SAHI: A vision library for large-scale object detection & instance segmentation
  • terragpu -> Python library to process and classify remote sensing imagery by means of GPUs and AI/ML
  • EOTorchLoader -> Pytorch dataloader and pytorch lightning datamodule for Earth Observation imagery
  • satellighte -> an image classification library that consist state-of-the-art deep learning methods, using PyTorch Lightning
  • aeronetlib -> Python library to work with geospatial raster and vector data for deep learning
  • rsi-semantic-segmentation -> A unified PyTorch framework for semantic segmentation from remote sensing imagery
  • AiTLAS -> implements state-of-the-art AI methods for exploratory and predictive analysis of satellite images
  • mmsegmentation -> Semantic Segmentation Toolbox with support for many remote sensing datasets including LoveDA , Potsdam, Vaihingen & iSAID
  • ODEON landcover -> a set of command-line tools performing semantic segmentation on remote sensing images (aerial and/or satellite) with as many layers as you wish
  • aitlas-arena -> An open-source benchmark framework for evaluating state-of-the-art deep learning approaches for image classification in Earth Observation (EO)
  • PaddleRS -> remote sensing image processing development kit
  • RocketML Deep Neural Networks -> read Satellite Image Classification using rmldnn and Sentinel 2 data
  • segmentation_gym -> A neural gym for training deep learning models to carry out geoscientific image segmentation

Neural nets in space

Processing on board a satellite allows less data to be downlinked. e.g. super-resolution image might take 8 images to generate, then a single image is downlinked. Other applications include cloud detection and collision avoidance.

Courses

モデルのデプロイ

「展開」を参照してください。

ソフトウェア

ソフトウェアを見る

データセット

データセットを見る

アーカイブ

アーカイブされた資料については、アーカイブを参照してください。