MacOSにBSDコマンドを追加し、まとめてファイルをダウンロード

Mac OS-XはBSD系のUnixなので、正体不明のwindowsよりもはるかに使いやすい。

http://www.cozzbox.com/wordpress/archives/691

にあるように、Mac Portというコマンドを導入すると、各種のBSD UNIX系のツールが簡単に導入できる。引用しておくと。

■MacPortsを導入する
http://distfiles.macports.org/MacPorts/から最新のパッケージをダウンロードする。
dmgファイルを実行してMacPortsをインストールする。
※2011年1月現在 MacPorts-1.9.2-10.6-SnowLeopard.dmg　 

■更新処理
MacPortsを最新に更新し、インストール可能なソフトウェアを再取得する
$ sudo port -d selfupdate
$ sudo port -d sync
■wgetをインストール
$ sudo port install wget

webに置かれた、アーカイブをまとめてダウンロードするのには、UNIXのツールでwgetというツールがある。MacにもCurlというツールが用意されているようだが、Mac Portを使ってwgetをインストールする。

wgetを使うと、

wget -m -np --user=xxx --password=yyy http://www.hoge.org/archives/

のようにして、一括ダウンロードができる。ログは以下のような具合である。
wgetでは、ディレクトリインデックスのHTMLファイルも作られてしまうので、以下のようにしてまとめて消せば良い。

find . -name 'index.html*' -exec rm {} \; -print

---

Last-modified ヘッダがありません -- 日付を無効にします。
2011-08-26 21:32:08 (105 MB/s) - `www.hotchips.org/archives/hc23/HC23-videos/videos_mp4/index.html?C=S;O=A' へ保存完了 [2432/2432]


--2011-08-26 21:32:08--  http://www.hotchips.org/archives/hc23/HC23-videos/videos_mp4/?C=D;O=A
www.hotchips.org:80 への接続を再利用します。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 2432 (2.4K) [text/html]
`www.hotchips.org/archives/hc23/HC23-videos/videos_mp4/index.html?C=D;O=A' に保存中
--