buildd: merge grml-buildd.std{out,err} into grml-buildd.log
[grml-live.git] / buildd / functions.sh
1 #!/bin/sh
2 # Filename:      /usr/share/grml-live/buildd/functions.sh
3 # Purpose:       main function file for grml-live buildd
4 # Authors:       grml-team (grml.org), (c) Michael Prokop <mika@grml.org>
5 # Bug-Reports:   see http://grml.org/bugs/
6 # License:       This file is licensed under the GPL v2 or any later version.
7 ################################################################################
8
9 die() {
10   [ -n "$1" ] && echo "$1">&2
11   exit 1
12 }
13
14 . /etc/grml/grml-buildd.conf || die "Could not source /etc/grml/grml-buildd.conf. Exiting."
15
16 which mutt >/dev/null 2>&1 || die "mutt binary not found. Exiting."
17
18 # exit if important variables aren't set:
19 [ -n "$STORAGE" ]  || die "\$STORAGE is not set. Exiting."
20 [ -n "$SUITE" ]    || die "\$SUITE is not set. Exiting."
21 [ -n "$CLASSES" ]  || die "\$CLASSES is not set. Exiting."
22 [ -n "$NAME" ]     || die "\$NAME is not set. Exiting."
23 [ -n "$PRODUCT_NAME" ] || die "\$PRODUCT_NAME is not set. Exiting."
24
25 # some defaults:
26 PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/bin/X11
27 DATE=$(date +'%Y%m%d_%H%M%S')
28 TMP_DIR="$(mktemp -d)"
29 [ -n "$TMP_DIR" ]      || die "Could not create \$TMP_DIR. Exiting."
30 ISO_NAME="${PRODUCT_NAME}.iso"
31
32 # make sure we have same safe defaults:
33 [ -n "$OUTPUT_DIR" ]    || OUTPUT_DIR="${STORAGE}/grml-live_${DATE}.$$"
34 [ -n "$ISO_DIR" ]       || ISO_DIR=$STORAGE/grml-isos
35 [ -n "$RECIPIENT" ]     || RECIPIENT=root@localhost
36 [ -n "$FROM" ]          || FROM=root@localhost
37 [ -n "$ARCH" ]          || ARCH="$(dpkg --print-architecture)"
38 ATTACHMENT="$TMP_DIR/grml-live-logs_$DATE.tar.gz"
39
40 if [ -n "$LOGFILE" ] ; then
41    GRML_LOGFILE="$LOGFILE"
42 else
43    [ -n "$GRML_LOGFILE" ]  || GRML_LOGFILE=/var/log/grml-live.log
44 fi
45
46 [ -n "$FAI_LOGFILES" ]  || FAI_LOGFILES=/var/log/fai/grml/last
47
48 # execute grml-live:
49 grml_live_run() {
50   if ! [ "$FORCE_REBUILD" = "1" ] ; then
51      if [ -f "$ISO_DIR/$ISO_NAME" ] ; then
52         echo "$ISO_DIR/$ISO_NAME exists already. Nothing to be done, exiting."
53         exit 0
54      fi
55   fi
56
57   # workaround the 32 chars limit of mkisofs -V ....
58   # 'grml64-small-daily-squeeze 090223' is too long
59   case $SUITE in
60     sid)      CODENAME=sid   ;;
61     squeeze)  CODENAME=squ   ;;
62     wheezy)   CODENAME=wheez ;;
63     lenny)    CODENAME=lenny ;;
64     etch)     CODENAME=etch  ;;
65   esac
66
67   grml_name="$NAME-daily-$CODENAME"
68   shortdate="$(date +%y%m%d)"
69
70   TIME_START=$(date +%s)
71   grml-live -F $* -a $ARCH -s $SUITE -c $CLASSES -o $OUTPUT_DIR \
72             -g "$grml_name" -v "$shortdate" -r grml-live-autobuild -i $ISO_NAME \
73              >/var/log/grml-buildd.log 2>&1 ; RC=$?
74   TIME_END=$(date +%s)
75   WALLTIME=$(($TIME_END-$TIME_START))
76
77   if [ "$RC" = "0" ] ; then
78      RC_INFO=success
79   else
80      RC_INFO=error
81      return 1
82   fi
83 }
84
85 # create log archive:
86 create_logs() {
87   ( cd / && tar zcfh $ATTACHMENT $FAI_LOGFILES /var/log/grml-buildd.log $GRML_LOGFILE >/dev/null )
88 }
89
90 # store logs on remote server:
91 upload_logs() {
92   [ -n "$RSYNC_MIRROR" ] || return 1
93   rsync --exclude dmesg.log --times --partial --copy-links -rltDz --quiet /var/log/grml-buildd.log \
94   $FAI_LOGFILES $GRML_LOGFILE $RSYNC_MIRROR/logs/"${NAME}_${DATE}"/
95 }
96
97 # store information of ISO size:
98 iso_details() {
99   if ! [ -f "$OUTPUT_DIR/grml_isos/$ISO_NAME" ] ; then
100      ISO_DETAILS="There was an error creating $ISO_NAME"
101   else
102      ISO_DETAILS=$(ls -lh $OUTPUT_DIR/grml_isos/$ISO_NAME)
103   fi
104 }
105
106 # send status mail:
107 send_mail() {
108   # create logs if using 'send_mail -e'
109   [ "$1" = "-e" ] && create_logs
110
111   # attach logs only if we have some:
112   [ -r "$ATTACHMENT" ] && MUTT_ATTACH="-a $ATTACHMENT" || MUTT_ATTACH=''
113
114   echo "Automatically generated mail by $SCRIPTNAME
115
116 $ISO_DETAILS
117
118 Return code of grml-live was: $RC
119 Time: $WALLTIME
120
121 $(grep -A2 'Executed grml-live' $GRML_LOGFILE || echo "* executed grml-live command line not available")
122
123 $(grep -A2 'Executed FAI' $GRML_LOGFILE || echo "* executed FAI command line not available")
124
125 The following errors have been noticed (several might be warnings only):
126
127 $(grep -i error $FAI_LOGFILES/*.log /var/log/grml-buildd.log | grep -ve liberror -ve libgpg-error -ve libcomerr -ve 'no errors found' || echo "* nothing")
128
129 The following errors have been noticed in FAI scripts:
130
131 $(grep -B2 "FAILED with exit code" $FAI_LOGFILES/* | echo "* nothing")
132
133 The following warnings have been noticed:
134
135 $(grep -i warn $FAI_LOGFILES/* /var/log/grml-buildd.log || echo "* nothing")
136
137 There following dependency problems have been noticed:
138
139 $(grep -i "Not Installed" $FAI_LOGFILES/software.log || echo "* nothing")
140
141 The following packages could not be installed:
142
143 $(grep -i "Couldn't find.*package" $FAI_LOGFILES/software.log | sed 's/\(.*\)"\(.*\)"\(.*\)/\2/' | sort -u || echo "* nothing")
144
145 See attached files for further details.
146
147 EOF" | \
148   mutt -e "my_hdr From: grml-live autobuild daemon <$FROM>" -s "$SCRIPTNAME [${DATE}] - $RC_INFO" \
149        -a /var/log/grml-buildd.log $MUTT_ATTACH -- "$RECIPIENT"
150 }
151
152 # make sure we store the final iso:
153 store_iso() {
154   if [ "$RC" = "0" ] ; then
155      [ -d "$ISO_DIR" ] || mkdir "$ISO_DIR"
156      mv "${OUTPUT_DIR}/grml_isos/${ISO_NAME}" "$ISO_DIR"
157      if [ -r "${OUTPUT_DIR}/grml_isos/${ISO_NAME}.md5" ] ; then
158         mv   "${OUTPUT_DIR}/grml_isos/${ISO_NAME}.md5" "${ISO_DIR}"
159      fi
160      if [ -r "${OUTPUT_DIR}/grml_isos/${ISO_NAME}.sha1" ] ; then
161         mv   "${OUTPUT_DIR}/grml_isos/${ISO_NAME}.sha1" "${ISO_DIR}"
162      fi
163   fi
164 }
165
166 # allow clean exit:
167 bailout() {
168   if [ "$RC" = "0" ] ; then
169      rm -rf "$ATTACHMENT" "$TMP_DIR" "$OUTPUT_DIR"
170   else
171      rm -f "$ATTACHMENT"
172      echo "building ISO failed, keeping build files [${OUTPUT_DIR} / ${TMP_DIR}]">&2
173   fi
174
175 }
176
177 trap bailout 1 2 3 15
178
179 ## END OF FILE #################################################################