yolov7 - 紙の実装 - YOLOv7: トレーニング可能な景品の袋は、リアルタイムのオブジェクト検出器の新しい最先端を設定します

(Implementation of paper - YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors)

Created at: 2022-07-06 23:14:06

Language: Jupyter Notebook

URL: https://github.com/WongKinYiu/yolov7

License: GPL-3.0

公式YOLOv7

紙の実装 - YOLOv7: トレーニング可能な景品の袋は、リアルタイムのオブジェクト検出器の新しい最先端を設定します

ウェブデモ

ハグフェイススペースに統合🤗グラジオを使用。ウェブデモを試す

パフォーマンス

MS ココ

モデル	テストサイズ	AP^テスト	AP50^テスト_{_}	AP75^テスト_{_}	バッチ 1 fps	バッチ 32 の平均時間
YOLOv7	640	51.4%	69.7%	55.9%	161fps _	2.8ミリ秒
YOLOv7-X	640	53.1%	71.2%	57.8%	114fps _	4.3ミリ秒

YOLOv7-W6	1280	54.9%	72.6%	60.1%	84fps _	7.6ミリ秒
YOLOv7-E6	1280	56.0%	73.5%	61.2%	56fps _	12.3ミリ秒
YOLOv7-D6	1280	56.6%	74.0%	61.8%	44fps _	15.0ミリ秒
YOLOv7-E6E	1280	56.8%	74.4%	62.1%	36fps _	18.7ミリ秒

インストール

Docker 環境 (推奨)

拡大

# create the docker container, you can change the share memory size if you have more.
nvidia-docker run --name yolov7 -it -v your_coco_path/:/coco/ -v your_code_path/:/yolov7 --shm-size=64g nvcr.io/nvidia/pytorch:21.08-py3

# apt install required packages
apt update
apt install -y zip htop screen libgl1-mesa-glx

# pip install required packages
pip install seaborn thop

# go to code folder
cd /yolov7

テスト

yolov7.pt

yolov7x.pt

yolov7-w6.pt

yolov7-e6.pt

yolov7-d6.pt

yolov7-e6e.pt

python test.py --data data/coco.yaml --img 640 --batch 32 --conf 0.001 --iou 0.65 --device 0 --weights yolov7.pt --name yolov7_640_val

結果が得られます。

 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.51206
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.69730
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.55521
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.35247
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.55937
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.66693
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.38453
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.63765
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.68772
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.53766
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.73549
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.83868

精度を測定するには、Pycocotools の COCO アノテーションを

./coco/annotations/instances_val2017.json

トレーニング

データ準備

bash scripts/get_coco.sh

MS COCO データセットイメージ ( train、val、test ) とラベルをダウンロードします。以前に別のバージョンの YOLO を使用したことがある場合は、ファイルを削除
```
train2017.cache
```
して
```
val2017.cache
```
、ラベルを再ダウンロードすることを強くお勧めします。

シングル GPU トレーニング

# train p5 models
python train.py --workers 8 --device 0 --batch-size 32 --data data/coco.yaml --img 640 640 --cfg cfg/training/yolov7.yaml --weights '' --name yolov7 --hyp data/hyp.scratch.p5.yaml

# train p6 models
python train_aux.py --workers 8 --device 0 --batch-size 16 --data data/coco.yaml --img 1280 1280 --cfg cfg/training/yolov7-w6.yaml --weights '' --name yolov7-w6 --hyp data/hyp.scratch.p6.yaml

複数の GPU トレーニング

# train p5 models
python -m torch.distributed.launch --nproc_per_node 4 --master_port 9527 train.py --workers 8 --device 0,1,2,3 --sync-bn --batch-size 128 --data data/coco.yaml --img 640 640 --cfg cfg/training/yolov7.yaml --weights '' --name yolov7 --hyp data/hyp.scratch.p5.yaml

# train p6 models
python -m torch.distributed.launch --nproc_per_node 8 --master_port 9527 train_aux.py --workers 8 --device 0,1,2,3,4,5,6,7 --sync-bn --batch-size 128 --data data/coco.yaml --img 1280 1280 --cfg cfg/training/yolov7-w6.yaml --weights '' --name yolov7-w6 --hyp data/hyp.scratch.p6.yaml

転移学習

yolov7_training.pt

yolov7x_training.pt

yolov7-w6_training.pt

yolov7-e6_training.pt

yolov7-d6_training.pt

yolov7-e6e_training.pt

カスタムデータセットのシングル GPU 微調整

# finetune p5 models
python train.py --workers 8 --device 0 --batch-size 32 --data data/custom.yaml --img 640 640 --cfg cfg/training/yolov7-custom.yaml --weights 'yolov7_training.pt' --name yolov7-custom --hyp data/hyp.scratch.custom.yaml

# finetune p6 models
python train_aux.py --workers 8 --device 0 --batch-size 16 --data data/custom.yaml --img 1280 1280 --cfg cfg/training/yolov7-w6-custom.yaml --weights 'yolov7-w6_training.pt' --name yolov7-w6-custom --hyp data/hyp.scratch.custom.yaml

再パラメータ化

reparameterization.ipynbを参照してください

推論

ビデオで:

python detect.py --weights yolov7.pt --conf 0.25 --img-size 640 --source yourvideo.mp4

画像上：

python detect.py --weights yolov7.pt --conf 0.25 --img-size 640 --source inference/images/horses.jpg

書き出す

Pytorch から CoreML (および MacOS/iOS での推論)

NMS (および推論) を使用した ONNX への Pytorch

python export.py --weights yolov7-tiny.pt --grid --end2end --simplify \
        --topk-all 100 --iou-thres 0.65 --conf-thres 0.35 --img-size 640 640 --max-wh 640

NMS (および推論) を使用した Pytorch から TensorRT への変換

wget https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-tiny.pt
python export.py --weights ./yolov7-tiny.pt --grid --end2end --simplify --topk-all 100 --iou-thres 0.65 --conf-thres 0.35 --img-size 640 640
git clone https://github.com/Linaom1214/tensorrt-python.git
python ./tensorrt-python/export.py -o yolov7-tiny.onnx -e yolov7-tiny-nms.trt -p fp16

Pytorch から TensorRT への別の方法

拡大

wget https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-tiny.pt
python export.py --weights yolov7-tiny.pt --grid --include-nms
git clone https://github.com/Linaom1214/tensorrt-python.git
python ./tensorrt-python/export.py -o yolov7-tiny.onnx -e yolov7-tiny-nms.trt -p fp16

# Or use trtexec to convert ONNX to TensorRT engine
/usr/src/tensorrt/bin/trtexec --onnx=yolov7-tiny.onnx --saveEngine=yolov7-tiny-nms.trt --fp16

テスト済み: Python 3.7.13、Pytorch 1.12.0+cu113

姿勢推定

code

yolov7-w6-pose.pt

keypoint.ipynbを参照してください。

インスタンスのセグメンテーション

code

yolov7-mask.pt

instance.ipynbを参照してください。

引用

@article{wang2022yolov7,
  title={{YOLOv7}: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors},
  author={Wang, Chien-Yao and Bochkovskiy, Alexey and Liao, Hong-Yuan Mark},
  journal={arXiv preprint arXiv:2207.02696},
  year={2022}
}

ティーザー

Yolov7-セマンティック & YOLOv7-パノプティック & YOLOv7-キャプション

謝辞

拡大