wget
ウェブページのソースコード(html)を取得する．
-O: ファイルのパス（ファイル名）を指定する
-P: ファイルを保存するディレクトリを指定する
-c: ダウンロードを中断した場合にやり直す
-t: リトライ回数を指定する
-nc: ファイルが保存先に存在していた場合，上書きしない
--limit-rate=: ダウンロードの速度制限を行う
-b: ダウンロードをバックグラウンドで実行する
-i: ファイルに記述されたURLのデータをダウンロードする
-r: 再帰的にダウンロードする
--spider: ダウンロードせずにファイルの有無を確認する
--http-user=username: ユーザー名を入力する
--http-password=password: パスワードを入力する
例: URLの存在を確認する
URLの有無を確認し，その結果を変数として受け取る．
URLが存在する場合，メッセージに'200 OK'というフレーズが含まれるため，それが存在するか確認することでURLの存在の有無が分かる．grepのオプション-cは文字列中の指定のフレーズの個数を返す．
wgetの出力は全て標準エラー出力らしいので2>&1で受け取る．
-qを使っても同様のことができる．
curl
とりあえずhttpステータスを取得するサンプルコードは以下．
サイトがあればstat=200となるはず．