mmpose - OpenMMLab 姿勢推定ツールボックスとベンチマーク。

(OpenMMLab Pose Estimation Toolbox and Benchmark.)

Created at: 2020-07-08 14:02:55

Language: Python

URL: https://github.com/open-mmlab/mmpose

License: Apache-2.0

OpenMMLab ウェブサイト ^ホット OpenMMLab プラットフォーム ^{試してみよう} MMPose 1.0 オープンベータ ^参加する

英語|简体中文

紹介

MMPose は、PyTorch に基づく姿勢推定のためのオープンソースのツールボックスです。これはOpenMMLabプロジェクトの一部です。

マスターブランチは PyTorch 1.5+ で動作します。

https://user-images.githubusercontent.com/15977946/124654387-0fd3c500-ded1-11eb-84f6-24eeddbf4d91.mp4

主な特徴

多様なタスクをサポート

現在の研究コミュニティでは、2D複数人の人物姿勢推定、2D手の姿勢推定、2D顔ランドマーク検出、133キーポイント全身の人間の姿勢推定、3Dヒューマンメッシュの回復、ファッションランドマークの検出、動物の姿勢推定など、幅広い主流の姿勢分析タスクをサポートしています。詳細については、demo.md を参照してください。
高効率・高精度

MMPoseは、トップダウンとボトムアップの両方のアプローチを含む、複数の最先端の(SOTA)ディープラーニングモデルを実装しています。HRNetなどの他の一般的なコードベースよりも高速なトレーニング速度と高い精度を実現します。詳細については、benchmark.md を参照してください。
さまざまなデータセットのサポート

ツールボックスは、複数の一般的で代表的なデータセット、COCO、AIC、MPII、MPII-TRB、OCHuman などを直接サポートしています。詳細については、data_preparation.md を参照してください。
適切に設計、テスト、文書化されている

MMPoseをさまざまなコンポーネントに分解し、カスタマイズされたコンポーネントを簡単に構築できます異なるモジュールを組み合わせることによるポーズ推定フレームワーク。詳細なドキュメントとAPIリファレンス、およびユニットテストを提供します。

取り付け

MMPose は PyTorch と MMCV に依存しています。以下は、インストールの簡単な手順です。詳細なインストールガイドについては、install.md を参照してください。

conda create -n openmmlab python=3.8 pytorch=1.10 cudatoolkit=11.3 torchvision -c pytorch -y
conda activate openmmlab
pip3 install openmim
mim install mmcv-full
git clone https://github.com/open-mmlab/mmpose.git
cd mmpose
pip3 install -e .

はじめ

MMPoseの基本的な使い方については、get_started.md を参照してください。チュートリアルもあります:

モデル動物園

結果とモデルは、各メソッドの config ディレクトリの README.md にあります。概要はモデル動物園のページにあります。

サポートされているアルゴリズム:

[x] ディープポーズ (CVPR'2014)
[x] CPM (CVPR'2016)
[x] 砂時計 (ECCV'2016)
[x] SimpleBaseline3D (ICCV'2017)
[x] 連想埋め込み (NeurIPS'2017)
[x] HMR (CVPR'2018)
[x] SimpleBaseline2D (ECCV'2018)
[x] HRNet (CVPR'2019)
[x] VideoPose3D (CVPR'2019)
[x] HRNetv2 (TPAMI'2019)
[x] MSPN (ArXiv'2019)
[x] SCNet (CVPR'2020)
[x] HigherHRNet (CVPR'2020)
[x] RSN (ECCV'2020)
[x] インターネット (ECCV'2020)
[x] ボクセルポーズ (ECCV'2020)
[x] LiteHRNet (CVPR'2021)
[x] ViPNAS (CVPR'2021)
[x] DEKR (CVPR'2021)
[x] CID (CVPR'2022)

サポートされている手法:

[x] FPN (CVPR'2017)
[x] FP16 (ArXiv'2017)
[x] ウィングロス (CVPR'2018)
[x] アダプティブウィングロス (ICCV'2019)
[x] ダークポーズ (CVPR'2020)
[x] UDP (CVPR'2020)
[x] アルブメンテーション(情報'2020)
[x] ソフトウィングロス (TIP'2021)
[x] SmoothNet (arXiv'2021)
[x] RLE (ICCV'2021)

サポートされているデータセット:

[x] AFLW [ホームページ] (ICCVW'2011)
[x] sub-JHMDB [ホームページ] (ICCV'2013)
[x] COFW [ホームページ] (ICCV'2013)
[x] MPII [ホームページ] (CVPR'2014)
[x] ヒューマン3.6M [ホームページ] (TPAMI'2014)
[x] ココ [ホームページ] (ECCV'2014)
[x] CMU Panoptic [homepage] (ICCV'2015)
[x] ディープファッション [ホームページ] (CVPR'2016)
[x] ディープファッション2 [ホームページ] (CVPR'2019)
[x] 300W [ホームページ] (イマビス'2016)
[x] RHD [ホームページ] (ICCV'2017)
[x] CMU Panoptic HandDB [homepage] (CVPR'2017)
[x] AIチャレンジャー [ホームページ] (ArXiv'2017)
[x] MHP [ホームページ] (ACM MM'2018)
[x] WFLW [ホームページ] (CVPR'2018)
[x] ポーズトラック18 [ホームページ] (CVPR'2018)
[x] オックフマン [ホームページ] (CVPR'2019)
[x] クラウドポーズ [ホームページ] (CVPR'2019)
[x] MPII-TRB [ホームページ] (ICCV'2019)
[x] フライハンド [ホームページ] (ICCV'2019)
[x] アニマルポーズ [ホームページ] (ICCV'2019)
[x] ワンハンド10K [ホームページ] (TCSVT'2019)
[x] ビネガーフライ [ホームページ] (ネイチャーメソッド'2019)
[x] デザートローカスト [ホームページ] (Elife'2019)
[x] グレビーのシマウマ [ホームページ] (Elife'2019)
[x] ATRW [ホームページ] (ACM MM'2020)
[x] ハルペ [ホームページ] (CVPR'2020)
[x] ココ・ホールボディ [ホームページ] (ECCV'2020)
[x] マカクポーズ [ホームページ] (bioRxiv'2020)
[x] インターハンド2.6M [ホームページ] (ECCV'2020)
[x] AP-10K [ホームページ] (NeurIPS'2021)
[x] 馬-10 [ホームページ] (WACV'2021)

サポートされているバックボーン:

[x] AlexNet (NeurIPS'2012)
[x] VGG (ICLR'2015)
[x] レスネット (CVPR'2016)
[x] レスネクスト (CVPR'2017)
[x] SEResNet (CVPR'2018)
[x] シャッフルネットV1 (CVPR'2018)
[x] シャッフルネットV2 (ECCV'2018)
[x] MobilenetV2 (CVPR'2018)
[x] ResNetV1D (CVPR'2019)
[x] ResNeSt (ArXiv'2020)
[x] スウィン (CVPR'2021)
[x] HRフォーマー (生理学研究所'2021)
[x] PVT (ICCV'2021)
[x] PVTV2 (CVMJ'2022)

モデル要求

コミュニティの最新の進捗状況に対応し、より一般的なアルゴリズムとフレームワークをサポートします。機能のリクエストがある場合は、MMPoseロードマップにコメントを残してください。

ベンチマーク

精度とトレーニング速度

MMPoseは、COCOのような標準のキーポイント検出ベンチマークで優れたトレーニング速度と精度を実現します。詳細については、benchmark.md を参照してください。

推論速度

バッチサイズの異なるCPUデバイスとGPUデバイスの両方でのFLOP、パラメーター数、推論速度など、MMPoseの主要なモデルのモデルの複雑さと推論速度を要約します。詳細については、inference_speed_summary.md を参照してください。

データ準備

データ準備に関する一般的な知識については、data_preparation.md を参照してください。

FAQ

よくある質問については、FAQを参照してください。

貢献

MMPoseを改善するためのすべての貢献に感謝します。貢献ガイドラインについては、CONTRIBUTING.md を参照してください。

承認

MMPose is an open source project that is contributed by researchers and engineers from various colleges and companies. We appreciate all the contributors who implement their methods or add new features, as well as users who give valuable feedbacks. We wish that the toolbox and benchmark could serve the growing research community by providing a flexible toolkit to reimplement existing methods and develop their own new models.

Citation

If you find this project useful in your research, please consider cite:

@misc{mmpose2020,
    title={OpenMMLab Pose Estimation Toolbox and Benchmark},
    author={MMPose Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmpose}},
    year={2020}
}

ライセンス

このプロジェクトは Apache 2.0 ライセンスの下でリリースされています。

OpenMMLab のプロジェクト

MMCV: コンピュータビジョンのためのOpenMMLab基礎ライブラリ。
MIM: MIM は OpenMMLab パッケージをインストールします。
MMClassification: OpenMMLab 画像分類ツールボックスとベンチマーク。
MMDetection: OpenMMLab 検出ツールボックスとベンチマーク。
MMDetection3D:一般的な3Dオブジェクト検出のためのOpenMMLabの次世代プラットフォーム。
MMYOLO: OpenMMLab YOLO Series toolbox and benchmark
MMRotate: OpenMMLab 回転物体検出ツールボックスとベンチマーク。
MMSegmentation: OpenMMLab セマンティックセグメンテーションツールボックスとベンチマーク。
MMOCR: OpenMMLab テキスト検出、認識、および理解ツールボックス。
MMPose: OpenMMLab ポーズ推定ツールボックスとベンチマーク。
MMHuman3D: OpenMMLab 3Dヒューマンパラメトリックモデルツールボックスとベンチマーク。
MMSelfSup: OpenMMLab の自己教師あり学習ツールボックスとベンチマーク。
MMRazor: OpenMMLab モデル圧縮ツールボックスとベンチマーク。
MMFewShot: OpenMMLab fewshot learning toolbox and benchmark.
MMAction2: OpenMMLab の次世代アクション理解ツールボックスとベンチマーク。
MMTracking: OpenMMLab ビデオ認識ツールボックスとベンチマーク。
MMFlow: OpenMMLab オプティカルフローツールボックスとベンチマーク。
MMEditing: OpenMMLab の画像およびビデオ編集ツールボックス。
MMGeneration: OpenMMLab 画像およびビデオ生成モデルツールボックス。
MMDeploy: OpenMMLab Model Deployment Framework.