]> Sergey Matveev's repositories - feeder.git/blob - default.download.do
Use title+content as more reliable item identifier
[feeder.git] / default.download.do
1 PROXY="--proxy http://localhost:8080/"
2 d=${1%/*}
3 [ -z "$FEEDER_SKIP_DOWNLOAD" ] || {
4     echo temporarily skipping feed download >&2
5     sha512 < $d/feed
6     exit
7 }
8 read url < $d/url
9 [ -s $d/etag ] && etag_compare="--etag-compare $d/etag" || etag_compare=""
10 [ -z "$FEEDER_CURL_VERBOSE" ] && silent="--silent" || silent="--verbose"
11 curl --fail \
12     --user-agent "go.stargrave.org-feeder/0.1.0" \
13     --compressed \
14     --location --max-redirs 2 \
15     --dump-header $d/hdr \
16     --output $d/out \
17     --remote-time \
18     --time-cond $d/out \
19     --etag-save $d/etag \
20     $PROXY \
21     $silent \
22     $etag_compare \
23     "$url" >&2
24 if [ -s $d/out ] ; then
25     cp -a $d/out $d/feed
26     truncate -s 0 $d/out
27     touch -r $d/feed $d/out
28 fi
29 sha512 < $d/feed