bin/bin/mirror-site.sh

   1 #!/bin/sh
   2
   3 user_agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27"
   4
   5 name=$1
   6 shift
   7 mkdir -p $name
   8
   9 cd $name
  10 wget \
  11     --page-requisites \
  12     --convert-links \
  13     --adjust-extension \
  14     --restrict-file-names=ascii \
  15     --span-hosts \
  16     --random-wait \
  17     --execute robots=off \
  18     --recursive \
  19     --timestamping \
  20     -l inf \
  21     --no-remove-listing \
  22     --no-parent \
  23     --user-agent "$user_agent" \
  24     --reject '*.woff*,*.ttf,*.eot,*.js' \
  25     --tries 10 \
  26     $@