you-get - ⏬ウェブをかき集めるダムダウンローダー

(:arrow_double_down: Dumb downloader that scrapes the web)

Created at: 2012-08-20 23:53:36
Language: Python
License: NOASSERTION

あなた-ゲット

ビルドステータス PyPIバージョン ギッター

注意(2022年5月30日):Python 3.5、3.6、および3.7のサポートは最終的に廃止されます。(詳細はこちらをご覧ください

注意(2019年3月8日):従来の[問題]タブを探している場合は、これをお読みください。


You-Getは、他に便利な方法がない場合に備えて、Webからメディアコンテンツ(ビデオ、オーディオ、画像)をダウンロードするための小さなコマンドラインユーティリティです。

YouTube

you-get
からビデオをダウンロードする方法は次のとおりです。

$ you-get 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
stream:
    - itag:          43
      container:     webm
      quality:       medium
      size:          0.5 MiB (564215 bytes)
    # download-with: you-get --itag=43 [URL]

Downloading Me at the zoo.webm ...
 100% (  0.5/  0.5MB) ├██████████████████████████████████┤[1/1]    6 MB/s

Saving Me at the zoo.en.srt ... Done.

そして、これがあなたがそれを使いたいと思うかもしれない理由です:

  • あなたはインターネットで何かを楽しんだ、そしてあなた自身の喜びのためにそれらをダウンロードしたいだけだ。
  • あなたはあなたのコンピュータからあなたのお気に入りのビデオをオンラインで見ます、しかしあなたはそれらを保存することを禁じられています。あなたは自分のコンピューターを自分でコントロールできないと感じています。(そして、それはオープンWebがどのように機能するかではありません。)
  • クローズドソーステクノロジーやプロプライエタリJavaScriptコードを取り除き、コンピューターでFlashなどを実行することを禁止したいと考えています。
  • あなたはハッカー文化と自由ソフトウェアの支持者です。

あなたのために何

you-get
ができるか:

  • YouTube、Youku、Niconicoなどの人気のあるWebサイトからビデオ/オーディオをダウンロードします。(サポートされているサイトの完全なリストを参照してください)
  • メディアプレーヤーでオンラインビデオをストリーミングします。ウェブブラウザも広告もありません。
  • Webページをスクレイピングして(関心のある)画像をダウンロードします。
  • HTML以外の任意のコンテンツ、つまりバイナリファイルをダウンロードします。

興味がある?今すぐインストールして、例から始めてください。

あなたはPythonプログラマーですか?次に、ソースをチェックしてフォークします。

インストール

前提条件

次の依存関係が推奨されます。

オプション1:pip経由でインストール

の公式リリースはPyPI

you-get
で配布されており、 pipパッケージマネージャーを介してPyPIミラーから簡単にインストールできます。Python3バージョンの:を使用する必要があることに注意してください。
pip

$ pip3 install you-get

オプション2:Antigen経由でインストール(Zshユーザーの場合)

.zshrc
次の行をあなたの:に追加します。

antigen bundle soimort/you-get

オプション3:GitHubからダウンロード

の安定版(PyPIの最新リリースと同じ)または開発版(より多くの修正プログラム、不安定な機能)をダウンロードできます

you-get
。それを解凍し、
you-get
スクリプトを含むディレクトリをに配置します
PATH

または、

$ [sudo] python3 setup.py install

または

$ python3 setup.py install --user

you-get
永続的なパスにインストールします。

pipenvを使用し

you-get
て、Python仮想環境にをインストールすることもできます。

$ pipenv install -e .
$ pipenv run you-get --version
you-get: version 0.4.1555, a tiny downloader that scrapes the web.

オプション4:Gitクローン

これは、Pythonでコーディングすることがあまりない場合でも、すべての開発者に推奨される方法です。

$ git clone git://github.com/soimort/you-get.git

次に、複製されたディレクトリをに配置する

PATH
か、実行して永続パス
./setup.py install
にインストールします。
you-get

オプション5:自作(Macのみ)

you-get
次の方法で簡単にインストールできます。

$ brew install you-get

オプション6:pkg(FreeBSDのみ)

you-get
次の方法で簡単にインストールできます。

# pkg install you-get

シェルの完成

Bash、Fish、およびZshの完全な定義は、にあり

contrib/completion
ます。それらを利用する方法については、シェルのマニュアルを参照してください。

アップグレード

インストールすることを選択したオプションに基づいて

you-get
、次の方法でアップグレードできます。

$ pip3 install --upgrade you-get

または、次の方法で最新リリースをダウンロードします。

$ you-get https://github.com/soimort/you-get/archive/master.zip

develop
PIPを台無しにせずに最新のブランチを取得するには、次のことを試してください。

$ pip3 install --upgrade git+https://github.com/soimort/you-get@develop

入門

ビデオをダウンロードする

興味のあるビデオを入手したら、

--info
/
-i
オプションを使用して、利用可能なすべての品質と形式を確認することをお勧めします。

$ you-get -i 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
streams:             # Available quality and codecs
    [ DASH ] ____________________________________
    - itag:          242
      container:     webm
      quality:       320x240
      size:          0.6 MiB (618358 bytes)
    # download-with: you-get --itag=242 [URL]

    - itag:          395
      container:     mp4
      quality:       320x240
      size:          0.5 MiB (550743 bytes)
    # download-with: you-get --itag=395 [URL]

    - itag:          133
      container:     mp4
      quality:       320x240
      size:          0.5 MiB (498558 bytes)
    # download-with: you-get --itag=133 [URL]

    - itag:          278
      container:     webm
      quality:       192x144
      size:          0.4 MiB (392857 bytes)
    # download-with: you-get --itag=278 [URL]

    - itag:          160
      container:     mp4
      quality:       192x144
      size:          0.4 MiB (370882 bytes)
    # download-with: you-get --itag=160 [URL]

    - itag:          394
      container:     mp4
      quality:       192x144
      size:          0.4 MiB (367261 bytes)
    # download-with: you-get --itag=394 [URL]

    [ DEFAULT ] _________________________________
    - itag:          43
      container:     webm
      quality:       medium
      size:          0.5 MiB (568748 bytes)
    # download-with: you-get --itag=43 [URL]

    - itag:          18
      container:     mp4
      quality:       small
    # download-with: you-get --itag=18 [URL]

    - itag:          36
      container:     3gp
      quality:       small
    # download-with: you-get --itag=36 [URL]

    - itag:          17
      container:     3gp
      quality:       small
    # download-with: you-get --itag=17 [URL]

デフォルトでは、一番上にあるものが取得されます。それがあなたにとってクールに見える場合は、それをダウンロードしてください:

$ you-get 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
site:                YouTube
title:               Me at the zoo
stream:
    - itag:          242
      container:     webm
      quality:       320x240
      size:          0.6 MiB (618358 bytes)
    # download-with: you-get --itag=242 [URL]

Downloading Me at the zoo.webm ...
 100% (  0.6/  0.6MB) ├██████████████████████████████████████████████████████████████████████████████┤[2/2]    2 MB/s
Merging video parts... Merged into Me at the zoo.webm

Saving Me at the zoo.en.srt ... Done.

(YouTubeビデオにクローズドキャプションがある場合は、ビデオファイルと一緒にSubRip字幕形式でダウンロードされます。)

または、別の形式(mp4)を使用する場合は、オプション

you-get
に表示されるものをすべて使用してください。

$ you-get --itag=18 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

ノート:

  • 現時点では、サポートされているほとんどのサイトでフォーマットの選択は一般的に実装されていません。その場合、ダウンロードするデフォルトの形式は最高品質のものです。
  • ffmpeg
    は、複数の部分でストリーミングされたビデオをダウンロードして参加する場合(Youkuなどの一部のサイトなど)、および1080pまたは高解像度のYouTubeビデオの場合に必要な依存関係です。
  • you-get
    ダウンロード後にビデオパーツに参加したくない場合は、
    --no-merge
    /
    -n
    オプションを使用します。

他のものをダウンロードする

必要な正確なリソースのURLがすでにある場合は、次のコマンドを使用して直接ダウンロードできます。

$ you-get https://stallman.org/rms.jpg
Site:       stallman.org
Title:      rms
Type:       JPEG Image (image/jpeg)
Size:       0.06 MiB (66482 Bytes)

Downloading rms.jpg ...
100.0% (  0.1/0.1  MB) ├████████████████████████████████████████┤[1/1]  127 kB/s

それ以外の場合は

you-get
、Webページをスクレイピングして、何か面白いものがあるかどうかを調べます。

$ you-get http://kopasas.tumblr.com/post/69361932517
Site:       Tumblr.com
Title:      kopasas
Type:       Unknown type (None)
Size:       0.51 MiB (536583 Bytes)

Site:       Tumblr.com
Title:      tumblr_mxhg13jx4n1sftq6do1_1280
Type:       Portable Network Graphics (image/png)
Size:       0.51 MiB (536583 Bytes)

Downloading tumblr_mxhg13jx4n1sftq6do1_1280.png ...
100.0% (  0.5/0.5  MB) ├████████████████████████████████████████┤[1/1]   22 MB/s

ノート:

  • この機能は実験的なものであり、完璧にはほど遠いものです。TumblrやBloggerなどの人気のあるWebサイトから大きなサイズの画像をスクレイピングするのに最適ですが、インターネット上のどのサイトにも適用できる普遍的なパターンは実際にはありません。

Googleビデオで検索してダウンロード

文字通り何でもに渡すことができます

you-get
。有効なURLでない場合
you-get
は、Google検索を実行し、最も関連性の高い動画をダウンロードします。(それはあなたが見たいものとは正確に一致しないかもしれませんが、それでも非常に可能性が高いです。)

$ you-get "Richard Stallman eats"

ダウンロードを一時停止して再開します

Ctrl+を使用Cしてダウンロードを中断できます。

一時

.download
ファイルは出力ディレクトリに保持されます。次回
you-get
同じ引数で実行すると、ダウンロードの進行状況は前回のセッションから再開されます。ファイルが完全にダウンロードされた場合(一時的な
.download
拡張子がなくなった場合)、
you-get
ダウンロードをスキップします。

再ダウンロードを強制するには、

--force
/
-f
オプションを使用します。(警告:これを行うと、既存のファイルまたは同じ名前の一時ファイルが上書きされます!)

ダウンロードしたファイルのパスと名前を設定します

--output-dir
/
-o
オプションを使用してパスを設定し、
--output-filename
/を使用し
-O
てダウンロードしたファイルの名前を設定します。

$ you-get -o ~/Videos -O zoo.webm 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

チップ:

  • これらのオプションは、現在のシェル/オペレーティングシステム/ファイルシステムではうまく機能しない特殊文字が含まれている可能性のあるデフォルトのビデオタイトルで問題が発生した場合に役立ちます。
  • これらのオプションは、ファイルをバッチダウンロードして指定された名前の指定されたフォルダーにそれらを配置するスクリプトを作成する場合にも役立ちます。

プロキシ設定

/オプション

you-get
を使用して、使用するHTTPプロキシを指定できます。
--http-proxy
-x

$ you-get -x 127.0.0.1:8087 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

ただし、デフォルトでは、システムプロキシ設定(つまり、環境変数

http_proxy
)が適用されます。プロキシを無効にするには、この
--no-proxy
オプションを使用します。

チップ:

  • プロキシを頻繁に使用する必要がある場合(ネットワークが特定のサイトをブロックしている場合)、プロキシチェーンとセット(Bashで)を使用することをお勧めします
    you-get
    alias you-get="proxychains -q you-get"
  • 一部のWebサイト(Youkuなど)では、中国本土でのみ利用可能な一部のビデオにアクセスする必要がある場合、特定のプロキシを使用してサイトからビデオ情報を抽出するオプションがあります:
    --extractor-proxy
    /
    -y

ビデオを見る

ダウンロードする代わりに、

--player
/
-p
オプションを使用して、選択したメディアプレーヤー(
mpv
または、など)にビデオをフィードします。
vlc

$ you-get -p vlc 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

または、広告やコメントセクションなしで、ブラウザで動画を視聴したい場合は、次のようにします。

$ you-get -p chromium 'https://www.youtube.com/watch?v=jNQXAC9IVRw'

チップ:

  • このオプションを使用して、
    -p
    別のダウンロードマネージャーを起動することは可能ですが、たとえば、
    you-get -p uget-gtk 'https://www.youtube.com/watch?v=jNQXAC9IVRw'
    それらはうまく連携しない場合があります。

クッキーをロードする

すべての動画が誰にでも公開されているわけではありません。何か(プライベートビデオなど)にアクセスするためにアカウントにログインする必要がある場合は、 /オプションを

you-get
介してブラウザのCookieをフィードすることは避けられません。
--cookies
-c

ノート:

  • cookies.sqlite
    現在、MozillaとNetscapeの2つの形式のブラウザCookieをサポートしています
    cookies.txt

抽出したデータを再利用する

--url
/を使用
-u
して、ページから抽出されたダウンロード可能なリソースURLのリストを取得します。
--json
抽出されたデータの要約をJSON形式で取得するために使用します。

警告:

  • 当面、この機能は安定しておらず、 JSONスキーマは将来重大な変更が加えられる可能性があります。

サポートされているサイト

サイト URL ビデオ? 画像? オーディオ?
YouTube https://www.youtube.com/ ✓✓
ツイッター https://twitter.com/ ✓✓ ✓✓
VK http://vk.com/ ✓✓ ✓✓
ぶどうの木 https://vine.co/ ✓✓
Vimeo https://vimeo.com/ ✓✓
Veoh http://www.veoh.com/ ✓✓
タンブラー https://www.tumblr.com/ ✓✓ ✓✓ ✓✓
TED http://www.ted.com/ ✓✓
SoundCloud https://soundcloud.com/ ✓✓
ショールーム https://www.showroom-live.com/ ✓✓
Pinterest https://www.pinterest.com/ ✓✓
MTV81 http://www.mtv81.com/ ✓✓
Mixcloud https://www.mixcloud.com/ ✓✓
メタカフェ http://www.metacafe.com/ ✓✓
マジスト http://www.magisto.com/ ✓✓
カーンアカデミー https://www.khanacademy.org/ ✓✓
インターネットアーカイブ https://archive.org/ ✓✓
インスタグラム https://instagram.com/ ✓✓ ✓✓
InfoQ http://www.infoq.com/presentations/ ✓✓
Imgur http://imgur.com/ ✓✓
ヘビーミュージックアーカイブ http://www.heavy-music.ru/ ✓✓
Freesound http://www.freesound.org/ ✓✓
Flickr https://www.flickr.com/ ✓✓ ✓✓
FC2動画 http://video.fc2.com/ ✓✓
フェイスブック https://www.facebook.com/ ✓✓
eHow http://www.ehow.com/ ✓✓
Dailymotion http://www.dailymotion.com/ ✓✓
Coub http://coub.com/ ✓✓
CBS http://www.cbs.com/ ✓✓
バンドキャンプ http://bandcamp.com/ ✓✓
AliveThai http://alive.in.th/ ✓✓
Interest.me http://ch.interest.me/tvn ✓✓
755
ナナゴー
http://7gogo.jp/ ✓✓ ✓✓
ニコニコ
動画ニコ
http://www.nicovideo.jp/ ✓✓
1630042易
视频
0042易✓音乐
http://v.163.com/
http://music.163.com/
✓✓ ✓✓
560042 http://www.56.com/ ✓✓
AcFun http://www.acfun.cn/ ✓✓
Baidu百
度贴吧
http://tieba.baidu.com/ ✓✓ ✓✓
爆米花網 http://www.baomihua.com/ ✓✓
bilibili
哔哩哔哩
http://www.bilibili.com/ ✓✓ ✓✓ ✓✓
豆瓣 http://www.douban.com/ ✓✓ ✓✓
闘魚 http://www.douyutv.com/ ✓✓
凤凰视频 http://v.ifeng.com/ ✓✓
风行網 http://www.fun.tv/ ✓✓
iQIYI
爱奇艺
http://www.iqiyi.com/ ✓✓
激P0042 http://www.joy.cn/ ✓✓
極6法律 http://www.ku6.com/ ✓✓
強狗音乐 http://www.kugou.com/ ✓✓
強我音乐 http://www.kuwo.cn/ ✓✓
乐视ر http://www.le.com/ ✓✓
荔枝FM http://www.lizhi.fm/ ✓✓
懒人听书 http://www.lrts.me/ ✓✓
秒拍 http://www.miaopai.com/ ✓✓
MioMio弹幕法律 http://www.miomio.tv/ ✓✓
MissEvan
猫耳FM
http://www.missevan.com/ ✓✓
痞客邦 https://www.pixnet.net/ ✓✓
PPTV http://www.pptv.com/ ✓✓
齐鲁ر http://v.iqilu.com/ ✓✓
QQ
腾讯视频
http://v.qq.com/ ✓✓
企鹅直播 http://live.qq.com/ ✓✓

新浪微博视频微博秒拍
视频
http://video.sina.com.cn/
http://video.weibo.com/
✓✓
捜狐搜狐
视频
http://tv.sohu.com/ ✓✓
Tudou
土豆
http://www.tudou.com/ ✓✓
阳光卫视 http://www.isuntv.com/ ✓✓
Youku
_
http://www.youku.com/ ✓✓
战旗TV http://www.zhanqi.tv/lives ✓✓
聞视ر http://www.cntv.cn/ ✓✓
ネイバー
네이버
http://tvcast.naver.com/ ✓✓
芒果TV http://www.mgtv.com/ ✓✓
火猫テレビ http://www.huomao.com/ ✓✓
阳光宽频法律 http://www.365yg.com/ ✓✓
西瓜视频 https://www.ixigua.com/ ✓✓
新片场 https://www.xinpianchang.com/ ✓✓
快手 https://www.kuaishou.com/ ✓✓ ✓✓
抖音 https://www.douyin.com/ ✓✓
チクタク https://www.tiktok.com/ ✓✓
中国体育(TV) http://v.zhibo.tv/ http://video.zhibo.tv/ ✓✓
知乎 https://www.zhihu.com/ ✓✓

リストにない他のすべてのサイトの場合、ユニバーサルエクストラクターがページから興味深いリソースを見つけてダウンロードします。

既知のバグ

何かが壊れて

you-get
いて、あなたが望むものを手に入れることができない場合でも、慌てないでください。(はい、これは常に起こります!)

https://github.com/soimort/you-get/wiki/Known-Bugsですでに既知の問題であるかどうかを確認してください。そうでない場合は、問題を報告する方法に関するガイドラインに従ってください。

参加する

Gitterチャネル#soimort / you-getで私たちに連絡できます(Gitter用にIRCクライアントを設定する方法は次のとおりです)。について簡単な質問がある場合は、

you-get
そこで質問してください。

問題を報告したり、貢献したりする場合は、最初にガイドラインを必ずお読みください。

法的な問題

このソフトウェアはMITライセンスの下で配布されています。

特に、ご注意ください

本ソフトウェアは「現状有姿」で提供され、商品性、特定目的への適合性、および非侵害の保証を含むがこれらに限定されない、明示または黙示を問わず、いかなる種類の保証もありません。いかなる場合も、作者または著作権所有者は、契約、不法行為、またはその他の行為にかかわらず、ソフトウェアまたはソフトウェアの使用またはその他の取引に起因する、または関連する、いかなる請求、損害、またはその他の責任についても責任を負わないものとします。ソフトウェア。

人間の言葉に翻訳:

ソフトウェアの使用が著作権侵害の根拠となる場合、またはその他の違法な目的でソフトウェアを使用する場合、作者はあなたに対して一切の責任を負いません。

ここにコードを出荷するだけであり、それをどのように使用するかはあなた自身の裁量に任されています。

著者

@soimortによって作成されました。🍺🍜

すべての寄稿者のリストはここにあります。