Use pci.ids file from pciutils
[grml-live.git] / grml-live
1 #!/bin/bash
2 # Filename:      grml-live
3 # Purpose:       build process script for generating a (grml based) Linux Live-ISO
4 # Authors:       grml-team (grml.org),
5 #                (c) Michael Prokop <mika@grml.org>,
6 #                (c) Thorsten Glaser <tg@mirbsd.org>
7 # Bug-Reports:   see http://grml.org/bugs/
8 # License:       This file is licensed under the GPL v2 or any later version.
9 ################################################################################
10
11 # some misc and global stuff {{{
12 export LANG=C
13 export LC_ALL=C
14
15 # define function getfilesize before "set -e"
16 if stat --help >/dev/null 2>&1; then
17   getfilesize='stat -c %s'  # GNU stat
18 else
19   getfilesize='stat -f %z'  # BSD stat
20 fi
21
22 # exit on any error:
23 # disable for now since it seems to cause some problems
24 # set -e
25
26 # global variables
27 GRML_LIVE_VERSION='0.15.1'
28 PN="$(basename $0)"
29 CMDLINE="$0 $@"
30 ADDONS_LIST_FILE='/boot/isolinux/addons_list.cfg'
31 # }}}
32
33 # usage information {{{
34 usage()
35 {
36   echo "
37 $PN - build process script for generating a (grml based) Linux Live-ISO
38
39 Usage: $PN [options, see as follows]
40
41    -a <architecture>       architecture; available values: i386 and amd64
42    -b                      build the ISO without updating the chroot via FAI
43    -B                      build the ISO without touching the chroot (skips cleanup)
44    -c <classe[s]>          classes to be used for building the ISO via FAI
45    -C <configfile>         configuration file for grml-live
46    -d <date>               use specified date instead of build time as date of release
47    -D <configdir>          use specified configuration directory instead of /etc/grml/fai
48    -F                      force execution without prompting
49    -g <grml_name>          set the grml flavour name
50    -h                      display short usage information and exit
51    -i <iso_name>           name of ISO
52    -I <src_directory>      directory which provides files that should become
53                            part of the chroot/ISO
54    -n                      skip generation of ISO
55    -N                      bootstrap (build chroot) only, do not create files for ISO
56    -o <output_directory>   main output directory of the build process
57    -q                      skip mksquashfs
58    -r <release_name>       release name
59    -s <suite>              Debian suite; values: etch, lenny, squeeze, sid
60    -t <template_directory> place of the templates
61    -u                      update existing chroot instead of rebuilding it from scratch
62    -v <version_number>     specify version number of the release
63    -V                      increase verbosity in the build process
64    -z                      use ZLIB instead of LZMA/XZ compression
65
66 Usage examples:
67
68     $PN
69     $PN -c GRMLBASE,GRML_MEDIUM,I386 -o /dev/shm/grml
70     $PN -c GRMLBASE,GRML_SMALL,REMOVE_DOCS,I386 -g grml-small -v 1.0
71     $PN -c GRMLBASE,GRML_FULL,I386 -i grml_0.0-1.iso -v 0.0-1
72     $PN -c GRMLBASE,GRML_FULL,I386 -s sid -V -r 'grml-live rocks'
73
74 More details: man grml-live + /usr/share/doc/grml-live/grml-live.html
75               http://grml.org/grml-live/
76
77 Please send your bug reports and feedback to the grml-team: http://grml.org/bugs/
78 "
79 }
80
81 # make sure it's possible to get usage information without being
82 # root or actually executing the script
83 if [ "$1" = '-h' -o "$1" = '--help' ] ; then
84    usage
85    [ "$(id -u 2>/dev/null)" != 0 ] && echo "Please notice that this script requires root permissions."
86    exit 0
87 fi
88 # }}}
89
90 # some runtime checks {{{
91 # we need root permissions for the build-process:
92 if [ "$(id -u 2>/dev/null)" != 0 ] ; then
93    echo "Error: please run this script with uid 0 (root)." >&2
94    exit 1
95 fi
96
97 if [ -r /var/run/fai/FAI_INSTALLATION_IN_PROGRESS ] ; then
98    echo "/usr/sbin/fai already running or was aborted before.">&2
99    echo "You may remove /var/run/fai/FAI_INSTALLATION_IN_PROGRESS and try again.">&2
100    exit 1
101 fi
102
103 # see #449236
104 if [ -r /var/run/fai/fai_softupdate_is_running ] ; then
105    echo "/usr/sbin/fai softupdate already running or was aborted before.">&2
106    echo "You may remove /var/run/fai/fai_softupdate_is_running and try again.">&2
107    exit 1
108 fi
109 # }}}
110
111 # lsb-functions and configuration stuff {{{
112 # make sure they are not set by default
113 VERBOSE=''
114 FORCE=''
115 UPDATE=''
116 BUILD_ONLY=''
117 BUILD_DIRTY=''
118 BOOTSTRAP_ONLY=''
119 HOSTNAME=''
120
121 if [ -r /etc/grml/lsb-functions ] ; then
122    . /etc/grml/lsb-functions
123 else
124    einfo()  { echo "  [*] $*" ;}
125    eerror() { echo "  [!] $*">&2 ;}
126    ewarn()  { echo "  [x] $*" ;}
127    eend()   { return 0 ;}
128    eindent()  { return 0 ;}
129    eoutdent() { return 0 ;}
130 fi
131
132 # source main configuration file:
133 LIVE_CONF=/etc/grml/grml-live.conf
134 . $LIVE_CONF
135 # }}}
136
137 # umount all directories {{{
138 umount_all() {
139    # make sure we don't leave any mounts - FAI doesn't remove them always
140    umount $CHROOT_OUTPUT/proc 2>/dev/null || /bin/true
141    umount $CHROOT_OUTPUT/sys  2>/dev/null || /bin/true
142    umount $CHROOT_OUTPUT/dev/pts 2>/dev/null || /bin/true
143    umount $CHROOT_OUTPUT/dev 2>/dev/null || /bin/true
144    [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
145 }
146 # }}}
147
148 # clean exit {{{
149 bailout() {
150   rm -f /var/run/fai/fai_softupdate_is_running \
151         /var/run/fai/FAI_INSTALLATION_IN_PROGRESS
152   [ -n "$SQUASHFS_STDERR" ]  && rm -rf "$SQUASHFS_STDERR"
153   umount_all
154   [ -n "$1" ] && EXIT="$1" || EXIT="1"
155   [ -n "$2" ] && eerror "$2">&2
156   log "------------------------------------------------------------------------------"
157   exit "$EXIT"
158 }
159 trap bailout 1 2 3 3 6 9 14 15
160 trap umount_all EXIT
161 # }}}
162
163 # log file stuff {{{
164 [ -n "$LOGFILE" ] || LOGFILE=/var/log/grml-live.log
165 touch $LOGFILE
166 chown root:adm $LOGFILE
167 chmod 664 $LOGFILE
168 # }}}
169
170 # some important functions {{{
171
172 # log output:
173 # usage: log "string to log"
174 log() { echo "$*" >> $LOGFILE ; }
175
176 # cut string at character number int = $1
177 # usage: cut_string 5 "1234567890" will output "12345"
178 cut_string() {
179   [ -n "$2" ] || return 1
180   echo "$2" | head -c "$1"; echo -ne "\n"
181 }
182
183 # prepend int = $1 spaces before string = $2
184 # usage: extend_string_begin 5 "123" will output "  123"
185 extend_string_begin() {
186   [ -n "$2" ] || return 1
187   local COUNT="$(echo $2 | wc -c)"
188   local FILL="$(expr $COUNT - $1)"
189   while [ "$FILL" -gt 1 ] ; do
190     echo -n " "
191     local FILL=$(expr $FILL - 1)
192   done
193   while [ "$FILL" -lt 1 ] ; do
194     echo -n " "
195     local FILL=$(expr $FILL + 1)
196   done
197   echo "$2" | head -c "$1"; echo -ne "\n"
198 }
199
200 # append int = $1 spaces to string = $2
201 # usage: extend_string_begin 5 "123" will output "123  "
202 extend_string_end() {
203   [ -n "$2" ] || return 1
204   echo -n "$2" | head -c "$1"
205   local COUNT="$(echo $2 | wc -c)"
206   local FILL="$(expr $COUNT - $1)"
207   while [ "$FILL" -gt 1 ] ; do
208     echo -n " "
209     local FILL=$(expr $FILL - 1)
210   done
211   while [ "$FILL" -lt 1 ] ; do
212     echo -n " "
213     local FILL=$(expr $FILL + 1)
214   done
215   echo -ne "\n"
216 }
217 # }}}
218
219 # read local (non-packaged) configuration {{{
220 LOCAL_CONFIG=/etc/grml/grml-live.local
221 if [ -r "$LOCAL_CONFIG" ] ; then
222    log "Sourcing $LOCAL_CONFIG"
223    . $LOCAL_CONFIG
224 else
225    log "No $LOCAL_CONFIG found, not sourcing it"
226    LOCAL_CONFIG=''
227 fi
228 # }}}
229
230 # command line parsing {{{
231 while getopts "a:C:c:d:D:g:i:I:o:r:s:t:v:bBFnNquVz" opt; do
232   case "$opt" in
233     a) ARCH="$OPTARG" ;;
234     b) BUILD_ONLY=1 ;;
235     B) BUILD_DIRTY=1 ;;
236     c) CLASSES="$OPTARG" ;;
237     C) CONFIG="$OPTARG" ;;
238     d) DATE="$OPTARG" ;;
239     D) GRML_FAI_CONFIG="$OPTARG" ;;
240     g) GRML_NAME="$OPTARG" ;;
241     i) ISO_NAME="$OPTARG" ;;
242     I) CHROOT_INSTALL="$OPTARG" ;;
243     n) SKIP_MKISOFS=1 ;;
244     N) BOOTSTRAP_ONLY=1; SKIP_MKISOFS=1; SKIP_MKSQUASHFS=1 ;;
245     o) OUTPUT="$OPTARG" ;;
246     q) SKIP_MKSQUASHFS=1 ;;
247     r) RELEASENAME="$OPTARG" ;;
248     s) SUITE="$OPTARG" ;;
249     t) TEMPLATE_DIRECTORY="$OPTARG";;
250     v) VERSION="$OPTARG" ;;
251     F) FORCE=1 ;;
252     u) UPDATE=1 ;;
253     V) VERBOSE="-v" ;;
254     z) SQUASHFS_ZLIB=1 ;;
255     ?) echo "invalid option -$OPTARG" >&2; bailout 1 ;;
256   esac
257 done
258 shift $(($OPTIND - 1))  # set ARGV to the first not parsed commandline parameter
259 # }}}
260
261 # assume sane defaults (if not set already) {{{
262 [ -n "$ARCH" ]                    || ARCH="$(dpkg --print-architecture)"
263 [ -n "$BOOT_METHOD" ]             || BOOT_METHOD='isolinux'
264 [ -n "$CLASSES" ]                 || CLASSES="GRMLBASE,GRML_MEDIUM,I386"
265 [ -n "$DATE" ]                    || DATE="$(date +%Y-%m-%d)"
266 [ -n "$DISTRI_INFO" ]             || DISTRI_INFO='Grml - Live Linux for system administrators   '
267 [ -n "$DISTRI_NAME" ]             || DISTRI_NAME="grml"
268 [ -n "$DISTRI_SPLASH" ]           || DISTRI_SPLASH='grml.png'
269 [ -n "$FORCE_ISO_REBUILD" ]       || FORCE_ISO_REBUILD="false"
270 [ -n "$GRML_FAI_CONFIG" ]         || GRML_FAI_CONFIG='/etc/grml/fai'
271 [ -n "$GRML_NAME" ]               || GRML_NAME='grml'
272 [ -n "$HOSTNAME" ]                || HOSTNAME='grml'
273 [ -n "$HYBRID_METHOD" ]           || HYBRID_METHOD='manifold'
274 [ -n "$NFSROOT_CONF" ]            || NFSROOT_CONF="${GRML_FAI_CONFIG}/make-fai-nfsroot.conf"
275 [ -n "$RELEASENAME" ]             || RELEASENAME='grml-live rocks'
276 [ -n "$SOURCES_LIST_OUTPUT" ]     || SOURCES_LIST_OUTPUT="${GRML_FAI_CONFIG}/config/files/etc/apt/sources.list/GRML_LIVE_SOURCES_LIST"
277 [ -n "$SQUASHFS_EXCLUDES_FILE" ]  || SQUASHFS_EXCLUDES_FILE="${GRML_FAI_CONFIG}/config/grml/squashfs-excludes"
278 [ -n "$SUITE" ]                   || SUITE='squeeze'
279 [ -n "$TEMPLATE_DIRECTORY" ]      || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
280 [ -n "$USERNAME" ]                || USERNAME='grml'
281 [ -n "$VERSION" ]                 || VERSION='0.0.1'
282
283 # output specific stuff, depends on $OUTPUT (iff not set):
284 [ -n "$OUTPUT" ]           || OUTPUT='/grml/grml-live'
285 [ -n "$BUILD_OUTPUT" ]     || BUILD_OUTPUT="$OUTPUT/grml_cd"
286 [ -n "$CHROOT_OUTPUT" ]    || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
287 [ -n "$ISO_OUTPUT" ]       || ISO_OUTPUT="$OUTPUT/grml_isos"
288 # }}}
289
290 # some misc checks before executing FAI {{{
291 [ -n "$CLASSES" ] || bailout 1 "Error: \$CLASSES unset, please set it in $LIVE_CONF or
292 specify it on the command line using the -c option."
293 [ -n "$OUTPUT" ] || bailout 1 "Error: \$OUTPUT unset, please set it in $LIVE_CONF or
294 specify it on the command line using the -o option."
295
296 # trim characters that are known to cause problems inside $GRML_NAME;
297 # for example isolinux does not like '-' inside the directory name
298 [ -n "$GRML_NAME" ] && export SHORT_NAME="$(echo $GRML_NAME | tr -d ',./;\- ')"
299
300 # export variables to have them available in fai scripts:
301 [ -n "$GRML_NAME" ]   && export GRML_NAME="$GRML_NAME"
302 [ -n "$RELEASENAME" ] && export RELEASENAME="$RELEASENAME"
303 # }}}
304
305 # ZERO_LOGFILE - check for backwards compatibility reasons {{{
306 # this was default behaviour until grml-live 0.9.34:
307 if [ -n "$ZERO_LOGFILE" ] ; then
308    PRESERVE_LOGFILE='' # make sure it's cleaned then
309    ewarn "Please consider disabling the \$ZERO_LOGFILE option as grml-live clears..."
310    ewarn "... the logfile $LOGFILE by default (unless \$PRESERVE_LOGFILE is set) nowadays."
311    eend 0
312 fi
313 # }}}
314
315 # ask user whether the setup is ok {{{
316 if [ -z "$FORCE" ] ; then
317    echo
318    echo "${PN} [${GRML_LIVE_VERSION}]: check your configuration (or use -F to force execution):"
319    echo
320    echo "  FAI classes:       $CLASSES"
321    [ -r "$LOCAL_CONFIG" ]        && echo "  Local config:      /etc/grml/grml-live.local"
322    [ -n "$CONFIG" ]              && echo "  Configuration:     $CONFIG"
323    [ -n "$GRML_FAI_CONFIG" ]     && echo "  Config directory:  $GRML_FAI_CONFIG"
324    echo "  main directory:    $OUTPUT"
325    [ -n "$CHROOT_OUTPUT" ]       && echo "  Chroot target:     $CHROOT_OUTPUT"
326    [ -n "$BUILD_OUTPUT" ]        && echo "  Build target:      $BUILD_OUTPUT"
327    [ -n "$ISO_OUTPUT" ]          && echo "  ISO target:        $ISO_OUTPUT"
328    [ -n "$GRML_NAME" ]           && echo "  Grml name:         $GRML_NAME"
329    [ -n "$RELEASENAME" ]         && echo "  Release name:      $RELEASENAME"
330    [ -n "$DATE" ]                && echo "  Build date:        $DATE"
331    [ -n "$VERSION" ]             && echo "  Grml version:      $VERSION"
332    [ -n "$SUITE" ]               && echo "  Debian suite:      $SUITE"
333    [ -n "$ARCH" ]                && echo "  Architecture:      $ARCH"
334    [ -n "$BOOT_METHOD" ]         && echo "  Boot method:       $BOOT_METHOD"
335    [ -n "$HYBRID_METHOD" ]       && echo "  Hybrid method:     $HYBRID_METHOD"
336    [ -n "$TEMPLATE_DIRECTORY" ]  && echo "  Template files:    $TEMPLATE_DIRECTORY"
337    [ -n "$CHROOT_INSTALL" ]      && echo "  Install files from directory to chroot:  $CHROOT_INSTALL"
338    [ -n "$BOOTID" ]              && echo "  Boot identifier:   $BOOTID"
339    [ -n "$NO_BOOTID" ]           && echo "  Skipping bootid feature."
340    [ -n "$DEFAULT_BOOTOPTIONS" ] && echo "  Adding default bootoptions: \"$DEFAULT_BOOTOPTIONS\""
341    [ -n "$FAI_ARGS" ]            && echo "  Additional arguments for FAI: $FAI_ARGS"
342    [ -n "$LOGFILE" ]             && echo "  Logging to file:   $LOGFILE"
343    [ -n "$SQUASHFS_ZLIB" ]       && echo "  Using ZLIB (instead of LZMA/XZ) compression."
344    [ -n "$SQUASHFS_OPTIONS" ]    && echo "  Using SQUASHFS_OPTIONS ${SQUASHFS_OPTIONS}"
345    [ -n "$VERBOSE" ]             && echo "  Using VERBOSE mode."
346    [ -n "$UPDATE" ]              && echo "  Executing UPDATE instead of fresh installation."
347    if [ -n "$BOOTSTRAP_ONLY" ] ; then
348      echo "  Bootstrapping only and not building (files for) ISO."
349    else
350      [ -n "$SKIP_MKSQUASHFS" ]     && echo "  Skipping creation of SQUASHFS file."
351      [ -n "$SKIP_MKISOFS" ]        && echo "  Skipping creation of ISO file."
352      [ -n "$BUILD_ONLY" ]          && echo "  Executing BUILD_ONLY instead of fresh installation or UPDATE."
353      [ -n "$BUILD_DIRTY" ]         && echo "  Executing BUILD_DIRTY to leave chroot untouched."
354    fi
355    echo
356    echo -n "Is this ok for you? [y/N] "
357    read a
358    if ! [ "$a" = 'y' -o "$a" = 'Y' ] ; then
359       bailout 1 "Exiting as requested."
360    fi
361    echo
362 fi
363 # }}}
364
365 # clean/zero/remove logfiles {{{
366
367 if [ -n "$PRESERVE_LOGFILE" ] ; then
368    echo "Preserving logfile $LOGFILE as requested via \$PRESERVE_LOGFILE"
369 else
370    # make sure it is empty (as it is e.g. appended to grml-live-db)
371    echo -n > $LOGFILE
372 fi
373
374 if [ -n "$ZERO_FAI_LOGFILE" ] ; then
375    if [ -d /var/log/fai/"$HOSTNAME" ] ; then
376       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last)"
377       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-dirinstall)"
378       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-softupdate)"
379       rm -f /var/log/fai/"$HOSTNAME"/last \
380             /var/log/fai/"$HOSTNAME"/last-dirinstall \
381             /var/log/fai/"$HOSTNAME"/last-softupdate
382    fi
383 fi
384 # }}}
385
386 # source config and startup {{{
387 if [ -n "$CONFIG" ] ; then
388    if ! [ -f "$CONFIG" ] ; then
389       log    "Error: $CONFIG could not be read. Exiting. [$(date)]"
390       eerror "Error: $CONFIG could not be read. Exiting." ; eend 1
391       bailout 1
392    else
393       log "Sourcing $CONFIG"
394       . $CONFIG
395    fi
396 fi
397
398 start_seconds=$(cut -d . -f 1 /proc/uptime)
399 log "------------------------------------------------------------------------------"
400 log "Starting grml-live [${GRML_LIVE_VERSION}] run on $(date)"
401 log "Executed grml-live command line:"
402 log "$CMDLINE"
403
404 einfo "Logging actions to logfile $LOGFILE"
405 # }}}
406
407 # on-the-fly configuration {{{
408 mkdir -p "$(dirname $SOURCES_LIST_OUTPUT)" # might not be present in -D config space
409
410 cat > "$SOURCES_LIST_OUTPUT" << EOF
411 # NOTE: This file is *NOT* meant for manual customisation! This file is
412 # installed temporarily only by grml-live and will be overriden in the
413 # installation and configuration process then.
414 EOF
415
416 if [ -n "$MIRROR_DIRECTORY" ] ; then
417   if ! [ -d "$MIRROR_DIRECTORY/debian" ] ; then
418     log    "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting. [$(date)]"
419     eerror "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting." ; eend 1
420     bailout 1
421   fi
422   echo "$MIRROR_SOURCES" >> "$SOURCES_LIST_OUTPUT"
423 fi
424
425 if [ -n "$FAI_DEBOOTSTRAP" ] ; then
426   sed "s#^FAI_DEBOOTSTRAP=.*#FAI_DEBOOTSTRAP=\"$FAI_DEBOOTSTRAP\"#" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
427 fi
428
429 # does this suck? YES!
430 # /usr/share/debootstrap/scripts/unstable does not exist, instead use 'sid':
431 case $SUITE in
432    unstable) SUITE='sid' ;;
433    # make sure that we *NEVER* write any broken suite name to sources.list,
434    # otherwise we won't be able to adjust it one next (correct) execution
435    stable)   ;;
436    testing)  ;;
437    etch)     ;;
438    lenny)    ;;
439    squeeze)  ;;
440    wheezy)   ;;
441    sid)      ;;
442    *) echo "Sorry, $SUITE is not a valid Debian suite, exiting.">&2; bailout 1 ;;
443 esac
444 export SUITE # make sure it's available in FAI scripts
445
446 if [ -n "${GRML_LIVE_SOURCES:-}" ] ; then
447   DIST=" etch\| stable\| lenny\| squeeze\| wheezy\| testing\| sid\| unstable"
448   echo "# generated based on \$GRML_LIVE_SOURCES by grml-live
449 $GRML_LIVE_SOURCES" | \
450     sed -e "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/;
451             s/\(^deb-src .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" >> "$SOURCES_LIST_OUTPUT"
452 else
453   cat >> "$SOURCES_LIST_OUTPUT" << EOF
454 # generated by grml-live
455 deb http://deb.grml.org/            grml-stable  main
456 deb http://deb.grml.org/            grml-testing main
457 deb http://cdn.debian.net/debian $SUITE  main contrib non-free
458 EOF
459 fi
460
461 # notice: activate grml-live pool when building against unstable or testing:
462 if grep -qwe unstable -qwe sid -qwe testing -qwe wheezy "$SOURCES_LIST_OUTPUT" ; then
463    grep -q 'grml-live.*main' "$SOURCES_LIST_OUTPUT" || \
464    grep grml-stable "$SOURCES_LIST_OUTPUT" | \
465         sed 's/grml-stable/grml-live/' >> "$SOURCES_LIST_OUTPUT"
466 else
467    grep -q 'grml-live.*main' "$SOURCES_LIST_OUTPUT" && \
468    sed -i 's/.*grml-live.*main/# removed grml-live repository/' "$SOURCES_LIST_OUTPUT"
469 fi
470
471 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" "$NFSROOT_CONF" ; do
472     if [ -n "$file" ] ; then
473        sed "s|^FAI_DEBOOTSTRAP=\"[a-z]* |FAI_DEBOOTSTRAP=\"$SUITE |" "$file" | sponge "$file"
474     fi
475 done
476
477 # validate whether the specified architecture class matches the
478 # architecture (option), otherwise installation of kernel will fail
479 if echo $CLASSES | grep -qi i386 ; then
480    if ! [[ "$ARCH" == "i386" ]] ; then
481       log    "Error: You specified the I386 class but are trying to build something else (AMD64?)."
482       eerror "Error: You specified the I386 class but are trying to build something else (AMD64?)."
483       eerror "Tip:   Either invoke grml-live with '-a i386' or adjust the architecture class. Exiting."
484       eend 1
485       bailout
486    fi
487 elif echo $CLASSES | grep -qi amd64 ; then
488    if ! [[ "$ARCH" == "amd64" ]] ; then
489       log    "Error: You specified the AMD64 class but are trying to build something else (I386?)."
490       eerror "Error: You specified the AMD64 class but are trying to build something else (I386?)."
491       eerror "Tip:   Either invoke grml-live with '-a amd64' or adjust the architecture class. Exiting."
492       eend 1
493       bailout
494    fi
495 fi
496
497 if grep -q -- 'FAI_DEBOOTSTRAP_OPTS.*--arch' "$NFSROOT_CONF" ; then
498    sed "s/--arch [a-z0-9]* /--arch $ARCH /" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
499 else
500    sed "s|^FAI_DEBOOTSTRAP_OPTS=\"\(.*\)|FAI_DEBOOTSTRAP_OPTS=\"--arch $ARCH \1|" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
501 fi
502 # }}}
503
504 # CHROOT_OUTPUT - execute FAI {{{
505 if [ -n "$BUILD_DIRTY" ]; then
506    log   "Skipping stage 'fai' as requested via option -B"
507    ewarn "Skipping stage 'fai' as requested via option -B" ; eend 0
508 else
509    [ -n "$CHROOT_OUTPUT" ] || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
510
511    # provide inform fai about the ISO we build
512    [ -d "$CHROOT_OUTPUT/etc/" ] || mkdir -p "$CHROOT_OUTPUT/etc/"
513    echo '# This file has been generated by grml-live.' > "$CHROOT_OUTPUT/etc/grml_live_version"
514    [ -n "$GRML_LIVE_VERSION" ] && echo "GRML_LIVE_VERSION=$GRML_LIVE_VERSION" >> "$CHROOT_OUTPUT/etc/grml_live_version"
515    [ -n "$SUITE" ] && echo "SUITE=$SUITE" >> "$CHROOT_OUTPUT/etc/grml_live_version"
516
517    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
518       FAI_ACTION=softupdate
519    else
520       FAI_ACTION=dirinstall
521    fi
522
523    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
524       if ! [ -r "$CHROOT_OUTPUT/etc/debian_version" ] ; then
525          log    "Error: does not look like you have a working chroot. Updating/building not possible."
526          eerror "Error: does not look like you have a working chroot. Updating/building not possible. (Drop -u/-b option?)"
527          eend 1
528          bailout 20
529       fi
530    fi
531
532    if [ -d "$CHROOT_OUTPUT/bin" -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
533       log   "Skipping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already."
534       ewarn "Skipping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already." ; eend 0
535    else
536       mkdir -p "$CHROOT_OUTPUT" || bailout 5 "Problem with creating $CHROOT_OUTPUT for FAI"
537
538       if [ -n "${MIRROR_DIRECTORY}" ] ; then
539          mkdir -p "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
540          mount --bind "${MIRROR_DIRECTORY}" "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
541       fi
542
543       # tell dpkg to use "unsafe io" during the build
544       [ -d "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d" ] || mkdir -p "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d"
545       echo force-unsafe-io > "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d/unsafe-io"
546
547       log "Executed FAI command line:"
548       log "BUILD_ONLY=$BUILD_ONLY BOOTSTRAP_ONLY=$BOOTSTRAP_ONLY fai $VERBOSE -C $GRML_FAI_CONFIG -s file:///$GRML_FAI_CONFIG/config -c$CLASSES -u $HOSTNAME $FAI_ACTION $CHROOT_OUTPUT $FAI_ARGS"
549       BUILD_ONLY="$BUILD_ONLY" BOOTSTRAP_ONLY="$BOOTSTRAP_ONLY" fai $VERBOSE \
550                   -C "$GRML_FAI_CONFIG" -s "file:///$GRML_FAI_CONFIG/config" -c"$CLASSES" \
551                   -u "$HOSTNAME" "$FAI_ACTION" "$CHROOT_OUTPUT" $FAI_ARGS | tee -a $LOGFILE
552       RC="$PIPESTATUS" # notice: bash-only
553
554       rm -f "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d/unsafe-io"
555
556       FORCE_ISO_REBUILD=true
557
558       if [ "$RC" != 0 ] ; then
559          log    "Error: critical error while executing fai [exit code ${RC}]. Exiting."
560          eerror "Error: critical error while executing fai [exit code ${RC}]. Exiting." ; eend 1
561          bailout 1
562       else
563          einfo "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
564          log   "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
565          echo "$GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]" > $CHROOT_OUTPUT/etc/grml_version
566          chmod 644 $CHROOT_OUTPUT/etc/grml_version
567          einfo "Rebuilding initramfs"
568          # make sure new /etc/grml_version reaches initramfs, iterate over all
569          # present kernel versions (note: we can't really handle more than one
570          # kernel version anyway right now)
571          # chroot $CHROOT_OUTPUT update-initramfs -u -t => might break when using kernel-package :(
572          for initrd in "$(basename $CHROOT_OUTPUT/boot/vmlinuz-*)" ; do
573            if ! chroot $CHROOT_OUTPUT update-initramfs -k "${initrd##vmlinuz-}" -c ; then
574              einfo "Creating fresh initrd did not work, trying update instead:"
575              log   "Creating fresh initrd did not work, trying update instead:"
576              chroot $CHROOT_OUTPUT update-initramfs -k "${initrd##vmlinuz-}" -u
577            fi
578          done
579          eend $?
580       fi
581
582       # Remove all FAI logs from chroot if class RELEASE is used:
583       if [ -f "$CHROOT_OUTPUT"/etc/grml_fai_release ] ; then
584          rm -rf "$CHROOT_OUTPUT"/var/log/fai/*
585          rm -f "$CHROOT_OUTPUT"/var/log/install_packages.list
586       fi
587
588       umount_all
589
590       # notice: 'fai dirinstall' does not seem to exit appropriate, so:
591       ERROR=''
592       CHECKLOG=/var/log/fai/$HOSTNAME/last
593       if [ -r "$CHECKLOG/software.log" ] ; then
594          # 1 errors during executing of commands
595          grep 'dpkg: error processing' $CHECKLOG/software.log >> $LOGFILE && ERROR=1
596          grep 'E: Method http has died unexpectedly!' $CHECKLOG/software.log >> $LOGFILE && ERROR=2
597          grep 'ERROR: chroot' $CHECKLOG/software.log >> $LOGFILE && ERROR=3
598          grep 'E: Failed to fetch' $CHECKLOG/software.log >> $LOGFILE && ERROR=4
599          grep 'Unable to write mmap - msync (28 No space left on device)' $CHECKLOG/software.log >> $LOGFILE && ERROR=5
600       fi
601
602       if [ -r "$CHECKLOG/shell.log" ] ; then
603          grep 'FAILED with exit code' $CHECKLOG/shell.log >> $LOGFILE && ERROR=6
604       fi
605
606       if [ -n "$ERROR" ] ; then
607          log    "Error: there was a critical error [${ERROR}] during execution of stage 'fai dirinstall' [$(date)]"
608          eerror "Error: there was a critical error during execution of stage 'fai dirinstall'"
609          eerror "Note:  check out ${CHECKLOG}/ for details. [exit ${ERROR}]"
610          eend 1
611          bailout 1
612       else
613          log "Finished execution of stage 'fai dirinstall' [$(date)]"
614          einfo "Finished execution of stage 'fai dirinstall'"
615       fi
616
617       einfo "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
618       log   "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
619       eend 0
620    fi
621 fi # BUILD_DIRTY?
622 # }}}
623
624 # package validator {{{
625 CHECKLOG=/var/log/fai/$HOSTNAME/last
626 # package validator
627 if [ -r "$CHECKLOG/package_errors.log" ] && grep -q '[a-z]' "$CHECKLOG/package_errors.log" ; then
628
629    if [ -n "$EXIT_ON_MISSING_PACKAGES" -a -z "$BUILD_DIRTY" ] ; then
630       eerror "The following packages were requested for installation but could not be processed:"
631       cat $CHECKLOG/package_errors.log
632       eerror "... exiting as requested via \$EXIT_ON_MISSING_PACKAGES."
633       eend 1
634       bailout 13
635    else
636       ewarn "The following packages were requested for installation but could not be processed:"
637       cat $CHECKLOG/package_errors.log
638       eend 0
639    fi
640 fi
641 # }}}
642
643 # BUILD_OUTPUT - execute arch specific stuff and squashfs {{{
644 [ -n "$BUILD_OUTPUT" ] || BUILD_OUTPUT="$OUTPUT/grml_cd"
645 mkdir -p "$BUILD_OUTPUT" || bailout 6 "Problem with creating $BUILD_OUTPUT for stage ARCH"
646
647 # prepare ISO
648 if [ "$ARCH" = i386 ] || [ "$ARCH" = amd64 ] ; then
649   if [ -n "$BOOTSTRAP_ONLY" ] ; then
650      log   "Skipping stage 'boot' as building with bootstrap only."
651      ewarn "Skipping stage 'boot' as building with bootstrap only." ; eend 0
652   else
653     if [ -d "$BUILD_OUTPUT"/boot/isolinux -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
654        log   "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already."
655        ewarn "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already." ; eend 0
656     else
657        # booting stuff:
658        [ -d "$BUILD_OUTPUT"/boot/isolinux ] || mkdir -p "$BUILD_OUTPUT"/boot/isolinux
659        [ -d "$BUILD_OUTPUT"/boot/"${SHORT_NAME}" ] || mkdir -p "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"
660
661        if [ -z "$NO_ADDONS" ] ; then
662           [ -d "$BUILD_OUTPUT"/boot/addons   ] || mkdir -p "$BUILD_OUTPUT"/boot/addons
663           if [ -r "$TEMPLATE_DIRECTORY"/boot/addons/memtest ] ; then
664              log "Installing $TEMPLATE_DIRECTORY/boot/addons/memtest"
665              cp "$TEMPLATE_DIRECTORY"/boot/addons/memtest "$BUILD_OUTPUT"/boot/addons/memtest
666           elif [ -r /boot/memtest86+.bin ] ; then
667              log "Installing /boot/memtest86+.bin"
668              cp /boot/memtest86+.bin "$BUILD_OUTPUT"/boot/addons/memtest
669           else
670              ewarn "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
671              log "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
672              eend 0
673           fi
674        fi
675
676        # if we don't have an initrd we a) can't boot and b) there was an error
677        # during build, so check for the file:
678        INITRD="$(ls $CHROOT_OUTPUT/boot/initrd* 2>/dev/null| grep -v '.bak$' | sort -r | head -1)"
679        if [ -n "$INITRD" ] ; then
680           cp $INITRD "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/initrd.gz
681           find $CHROOT_OUTPUT/boot/ -name initrd\*.bak -exec rm {} \;
682        else
683           log    "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting"
684           eerror "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
685           bailout 10
686        fi
687
688        KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
689        if [ -n "$KERNEL_IMAGE" ] ; then
690           cp "$KERNEL_IMAGE" "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/linux26
691        else
692           log    "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting"
693           eerror "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
694           bailout 11
695        fi
696
697        [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
698        if ! [ -d "${TEMPLATE_DIRECTORY}"/boot ] ; then
699           log    "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting."
700           eerror "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting." ; eend 1
701           bailout 8
702        fi
703
704        # *always* copy files to output directory so the variables
705        # get adjusted according to the build
706        cp ${TEMPLATE_DIRECTORY}/boot/isolinux/*  "$BUILD_OUTPUT"/boot/isolinux/
707
708        if [ -n "$NO_ADDONS" ] ; then
709           log   "Skipping installation of boot addons as requested via \$NO_ADDONS."
710           einfo "Skipping installation of boot addons as requested via \$NO_ADDONS."; eend 0
711        else
712           if ! [ -d "$TEMPLATE_DIRECTORY"/boot/addons ] ; then
713             log   "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)"
714             ewarn "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)" ; eend 0
715           else
716             # copy addons from Depended packages
717             cp -a /usr/lib/ipxe/ipxe.lkrn "${TEMPLATE_DIRECTORY}/boot/addons/"
718             cp -a /usr/share/misc/pci.ids "${TEMPLATE_DIRECTORY}/boot/addons/"
719
720             # copy only files so we can handle bsd4grml on its own
721             for file in ${TEMPLATE_DIRECTORY}/boot/addons/* ; do
722               test -f $file && cp $file "$BUILD_OUTPUT"/boot/addons/
723             done
724
725             if [ -n "$NO_ADDONS_BSD4GRML" ] ; then
726                log   "Skipping installation of bsd4grml as requested via \$NO_ADDONS_BSD4GRML."
727                einfo "Skipping installation of bsd4grml as requested via \$NO_ADDONS_BSD4GRML."; eend 0
728             else
729                if [ -d "$TEMPLATE_DIRECTORY"/boot/addons/bsd4grml ] ; then
730                  cp -a ${TEMPLATE_DIRECTORY}/boot/addons/bsd4grml "$BUILD_OUTPUT"/boot/addons/
731                else
732                  log   "bsd4grml addon not found, skipping therefore."
733                  ewarn "bsd4grml addon not found, skipping therefore." ; eend 0
734                fi
735             fi
736
737           fi # no "$TEMPLATE_DIRECTORY"/boot/addons
738        fi # NO_ADDONS
739
740        if ! [ -d ${TEMPLATE_DIRECTORY}/boot/grub ] ; then
741           log   "grub templates do not exist, skipping therefore."
742           ewarn "grub templates do not exist, skipping therefore." ; eend 0
743        else
744           if ! [ -d "${BUILD_OUTPUT}/boot/grub" ] ; then
745             mkdir -p "${BUILD_OUTPUT}/boot/grub"
746             cp -a /usr/lib/grub/*-pc/*.mod "${BUILD_OUTPUT}/boot/grub"
747             cp -a /usr/lib/grub/*-pc/*.o "${BUILD_OUTPUT}/boot/grub"
748             cp -a /usr/lib/grub/*-pc/*.lst "${BUILD_OUTPUT}/boot/grub"
749             cp -a /usr/share/grub/ascii.pf2 "${BUILD_OUTPUT}/boot/grub"
750             /usr/bin/grub-mkimage -d /usr/lib/grub/*-pc -o \
751               "${BUILD_OUTPUT}/boot/grub/core.img" biosdisk iso9660 --format=i386-pc
752           fi
753
754           # make sure we have recent template files available, otherwise updating
755           # the strings like $GRML_NAME and $VERSION might be out of date
756           cp ${TEMPLATE_DIRECTORY}/boot/grub/* "$BUILD_OUTPUT"/boot/grub/
757        fi
758
759        if ! [ -d "${TEMPLATE_DIRECTORY}"/GRML ] ; then
760           log    "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting."
761           eerror "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting." ; eend 1
762           bailout 9
763        fi
764
765        [ -d "$BUILD_OUTPUT"/GRML ] || mkdir "$BUILD_OUTPUT"/GRML
766        cp -a ${TEMPLATE_DIRECTORY}/GRML/* "$BUILD_OUTPUT"/GRML/
767
768        # adjust boot splash information:
769        RELEASE_INFO="$GRML_NAME $VERSION - Release Codename $RELEASENAME"
770        RELEASE_INFO="$(cut_string 68 "$RELEASE_INFO")"
771        RELEASE_INFO="$(extend_string_end 68 "$RELEASE_INFO")"
772
773        if [ -r "$BUILD_OUTPUT"/GRML/grml-version ] ; then
774           sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/GRML/grml-version
775           sed -i "s/%DATE%/$DATE/"                                      "$BUILD_OUTPUT"/GRML/grml-version
776        fi
777
778        # make sure the squashfs filename is set accordingly:
779        SQUASHFS_NAME="$GRML_NAME.squashfs"
780
781        if [ -n "$NO_BOOTID" ] ; then
782           log   'Skipping bootid feature as requested via $NO_BOOTID.'
783           einfo 'Skipping bootid feature as requested via $NO_BOOTID.'
784        else
785           [ -n "$BOOTID" ] || BOOTID="$(echo ${GRML_NAME}${VERSION} | tr -d ',./;\- ')"
786           [ -d "$BUILD_OUTPUT"/conf ] || mkdir "$BUILD_OUTPUT"/conf
787           einfo "Generating /conf/bootid.txt with entry ${BOOTID}."
788           log   "Generating /conf/bootid.txt with entry ${BOOTID}."
789           echo "$BOOTID" > "$BUILD_OUTPUT"/conf/bootid.txt
790           eend $?
791        fi
792
793        # adjust all variables in the templates with the according distribution information
794        for file in "${BUILD_OUTPUT}"/boot/isolinux/*.cfg "${BUILD_OUTPUT}"/boot/isolinux/*.msg \
795                    "${BUILD_OUTPUT}"/boot/grub/* ; do
796          if [ -r "${file}" ] ; then
797            sed -i "s/%ARCH%/$ARCH/g"                    "${file}"
798            sed -i "s/%DATE%/$DATE/g"                    "${file}"
799            sed -i "s/%DISTRI_INFO%/$DISTRI_INFO/g"      "${file}"
800            sed -i "s/%DISTRI_NAME%/$DISTRI_NAME/g"      "${file}"
801            sed -i "s/%DISTRI_SPLASH%/$DISTRI_SPLASH/g"  "${file}"
802            sed -i "s/%GRML_NAME%/$GRML_NAME/g"          "${file}"
803            sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/g"  "${file}"
804            sed -i "s/%RELEASE_INFO%/$RELEASE_INFO/g"    "${file}"
805            sed -i "s/%SHORT_NAME%/$SHORT_NAME/g"        "${file}"
806            sed -i "s/%VERSION%/$VERSION/g"              "${file}"
807
808            [ -n "$DEFAULT_BOOTOPTIONS" ] && sed -i "s/ boot=live/ boot=live $DEFAULT_BOOTOPTIONS/"  "${file}"
809
810            if [ -n "$NO_BOOTID" ] ; then
811               sed -i "s/ bootid=%BOOTID%//g" "${file}" # drop bootid bootoption
812            else
813               sed -i "s/%BOOTID%/$BOOTID/g" "${file}" # adjust bootid=... argument
814            fi
815          fi
816        done
817
818        # adjust bootsplash accordingly but make sure the string has the according lenght
819        SQUASHFS_NAME="$(cut_string 20 "$SQUASHFS_NAME")"
820        SQUASHFS_NAME="$(extend_string_end 20 "$SQUASHFS_NAME")"
821        for file in f4 f5 ; do
822           if [ -r "${BUILD_OUTPUT}/boot/isolinux/${file}" ] ; then
823              sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "${BUILD_OUTPUT}/boot/isolinux/${file}"
824              sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "${BUILD_OUTPUT}/boot/isolinux/${file}"
825           fi
826        done
827
828        # generate addon list
829        rm -f "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
830        for name in "${BUILD_OUTPUT}"/boot/isolinux/addon_*.cfg ; do
831          include_name=$(basename "$name")
832          echo "include $include_name"  >> "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
833        done
834
835        if ! [ -r "${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg" ] || [ "$DISTRI_NAME" = "grml" ] ; then
836           log "including grmlmain.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
837           echo "include grmlmain.cfg"    >  "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
838           echo "include default.cfg"     >  "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
839           echo "include menuoptions.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
840           echo "include grml.cfg"        >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
841
842           for f in "${BUILD_OUTPUT}"/boot/isolinux/submenu*.cfg ; do
843             echo "include $(basename $f)"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
844           done
845
846           echo "include options.cfg"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
847           if [ ! -n "$NO_ADDONS" ] ; then
848             echo "include addons.cfg"    >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
849           fi
850           echo "include isoprompt.cfg"   >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
851           echo "include hd.cfg"          >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
852           echo "include hidden.cfg"      >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
853        else # assume we are building a custom distribution:
854           log "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
855           einfo "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
856           if grep -q "^include ${DISTRI_NAME}.cfg" "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
857             log "include for ${DISTRI_NAME}.cfg already present, nothing to do."
858             eindent
859             einfo "include for ${DISTRI_NAME}.cfg already present, nothing to do."
860             eoutdent
861             eend $?
862          else
863             log "including ${DISTRI_NAME}.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
864             echo "include ${DISTRI_NAME}.cfg" > "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
865             [ -n "$NO_ADDONS" ] || echo "include addons.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
866           fi
867        fi
868
869        # use old style console based isolinux method only if requested:
870        if [[ "${ISOLINUX_METHOD}" == "console" ]] ; then
871           log 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
872           einfo 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
873           if grep -q '^include console.cfg' "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
874             einfo "include for console.cfg already found, nothing to do."
875             eend 0
876           else
877             log "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
878             einfo "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
879             echo "include console.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
880             eend $?
881           fi
882        else
883           log 'Using graphical boot menu.'
884           if grep -q '^include vesamenu.cfg' "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg" ; then
885             log "include for vesamenu.cfg already found, nothing to do."
886           else
887             log "including vesamenu.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
888             echo "include vesamenu.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
889           fi
890        fi
891
892        if [ -e "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 ]; then
893           sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6
894        fi
895
896        DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot
897        if ! [ -r "$DPKG_LIST" ] ; then
898           ewarn "$DPKG_LIST could not be read, ignoring to store package information on ISO therefore."
899        else
900           einfo "Storing package list information as /GRML/${GRML_NAME}-packages.txt on ISO."
901           cp "$DPKG_LIST" "${BUILD_OUTPUT}/GRML/${GRML_NAME}-packages.txt"
902           eend $?
903        fi
904
905        # autostart for Windows:
906        if [ -d "${TEMPLATE_DIRECTORY}/windows/autostart/" ] ; then
907           cp ${TEMPLATE_DIRECTORY}/windows/autostart/* "$BUILD_OUTPUT"/
908        fi
909
910     FORCE_ISO_REBUILD=true
911     einfo "Finished execution of stage 'boot'" ; eend 0
912     fi
913   fi # BOOTSTRAP_ONLY
914 else
915    log    'Error: Unsupported ARCH, sorry. Want to support it? Contribute!'
916    eerror 'Error: Unsupported ARCH, sorry. Want to support it? Contribute!' ; eend 1
917    bailout
918 fi
919
920 # support installation of local files into the chroot/ISO
921 if [ -n "$CHROOT_INSTALL" ] ; then
922   if ! [ -d "$CHROOT_INSTALL" ] ; then
923      log "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
924      ewarn "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
925   else
926      log "Copying local files to chroot as requested via \$CHROOT_INSTALL"
927      einfo "Copying local files to chroot as requested via \$CHROOT_INSTALL"
928      rsync -avz --inplace "$CHROOT_INSTALL"/ "$CHROOT_OUTPUT/"
929      eend $?
930      einfo "Make sure to run squashfs stage, otherwise your local files won't be part of the ISO."
931      FORCE_ISO_REBUILD=true
932   fi
933 fi
934
935 if [ -f "$BUILD_OUTPUT"/live/${GRML_NAME}.squashfs -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" ] ; then
936    log   "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already."
937    ewarn "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already." ; eend 0
938 elif [ -n "$SKIP_MKSQUASHFS" ] ; then
939    log   "Skipping stage 'squashfs' as requested via option -q or -N"
940    ewarn "Skipping stage 'squashfs' as requested via option -q or -N" ; eend 0
941 else
942    [ -d "$BUILD_OUTPUT"/live ] || mkdir "$BUILD_OUTPUT"/live
943    # make sure we don't leave (even an empty) base.tgz:
944    [ -f "$CHROOT_OUTPUT/base.tgz" ] && rm -f "$CHROOT_OUTPUT/base.tgz"
945
946    # if unconfigured default to squashfs-tools' mksquashfs binary
947    if [ -z "$SQUASHFS_BINARY" ] ; then
948       SQUASHFS_BINARY='mksquashfs'
949    fi
950
951    if which "$SQUASHFS_BINARY" >/dev/null 2>&1 ; then
952       log    "Using mksquashfs binary ${SQUASHFS_BINARY}"
953       einfo  "Using mksquashfs binary ${SQUASHFS_BINARY}" ; eend 0
954    else
955       log    "Error: mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting."
956       eerror "Error: mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting." ; eend 1
957       bailout
958    fi
959
960    # use sane defaults if $SQUASHFS_OPTIONS isn't set
961    if [ -z "$SQUASHFS_OPTIONS" ] ; then
962      # use blocksize 256k as this gives best result with regards to time + compression
963      SQUASHFS_OPTIONS="-b 256k"
964
965      # set lzma/xz compression by default, unless -z option has been specified on command line
966      if [ -z "$SQUASHFS_ZLIB" ] ; then
967         SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -comp xz"
968      else
969         SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -comp gzip"
970      fi
971    fi
972
973    # support exclusion of files via exclude-file:
974    if [ -n "$SQUASHFS_EXCLUDES_FILE" -a "$SQUASHFS_EXCLUDES_FILE" ] ; then
975       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -ef $SQUASHFS_EXCLUDES_FILE -wildcards"
976    fi
977
978    # get rid of unnecessary files when building grml-small for final release:
979    if echo "$CLASSES" | grep -q GRML_SMALL ; then
980       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -e initrd.img* vmlinuz*"
981    fi
982
983    # log stuff
984    SQUASHFS_STDERR="$(mktemp -t grml-live.XXXXXX)"
985
986    # informational stuff
987    [ -n "$SQUASHFS_OPTIONS" ]  && SQUASHFS_INFO_MSG="$SQUASHFS_OPTIONS"
988    [ -n "$SQUASHFS_INFO_MSG" ] && SQUASHFS_INFO_MSG="using options: $SQUASHFS_INFO_MSG"
989    einfo "Squashfs build information: running binary $SQUASHFS_BINARY $SQUASHFS_INFO_MSG"
990
991    log "$SQUASHFS_BINARY $CHROOT_OUTPUT/ $BUILD_OUTPUT/live/${GRML_NAME}.squashfs -noappend $SQUASHFS_OPTIONS"
992
993    if $SQUASHFS_BINARY $CHROOT_OUTPUT/ $BUILD_OUTPUT/live/"${GRML_NAME}".squashfs \
994       -noappend $SQUASHFS_OPTIONS 2>"${SQUASHFS_STDERR}" ; then
995       echo "${GRML_NAME}.squashfs" > $BUILD_OUTPUT/live/filesystem.module
996       log "Finished execution of stage 'squashfs' [$(date)]"
997       einfo "Finished execution of stage 'squashfs'" ; eend 0
998    else
999       log    "Error: there was a critical error executing stage 'squashfs' [$(date)]:"
1000       log    "$(cat $SQUASHFS_STDERR)"
1001       eerror "Error: there was a critical error executing stage 'squashfs':"
1002       cat    "${SQUASHFS_STDERR}"
1003       eend 1
1004       bailout
1005    fi
1006
1007    FORCE_ISO_REBUILD=true
1008 fi
1009
1010 # create md5sum file:
1011 if [ -z "$BOOTSTRAP_ONLY" ] ; then
1012   ( cd $BUILD_OUTPUT/GRML &&
1013   find .. -type f -not -name md5sums -not -name isolinux.bin -exec md5sum {} \; > md5sums )
1014 fi
1015 # }}}
1016
1017 # ISO_OUTPUT - mkisofs {{{
1018 [ -n "$ISO_OUTPUT" ] || ISO_OUTPUT="$OUTPUT/grml_isos"
1019 [ -n "$ISO_NAME" ] || ISO_NAME="${GRML_NAME}_${VERSION}.iso"
1020
1021 if [ "$BOOT_METHOD" = "isolinux" ] ; then
1022    BOOT_ARGS="-no-emul-boot -boot-load-size 4 -boot-info-table -b boot/isolinux/isolinux.bin -c boot/isolinux/boot.cat"
1023 elif [ "$BOOT_METHOD" = "grub2" ] ; then
1024    BOOT_ARGS="-no-emul-boot -boot-load-size 4 -b boot/grub/toriboot.bin"
1025 fi
1026
1027 # Just until http://bts.grml.org/grml/issue945 has been resolved.
1028 # HYBRID_METHOD defaults to manifold, so make sure the default works OOTB.
1029 if [[ $BOOT_METHOD != isolinux && ($HYBRID_METHOD = isohybrid || $HYBRID_METHOD = manifold) ]]; then
1030   log   "Setting HYBRID_METHOD to grub2 as hybrid mode does not work with isohybrid yet."
1031   ewarn "Setting HYBRID_METHOD to grub2 as hybrid mode does not work with isohybrid yet."
1032   HYBRID_METHOD='grub2'
1033   eend 0
1034 fi
1035
1036 if [ -f "${ISO_OUTPUT}/${ISO_NAME}" -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" -a "$FORCE_ISO_REBUILD" = "false" ]  ; then
1037    log   "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already."
1038    ewarn "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already." ; eend 0
1039 elif [ -n "$SKIP_MKISOFS" ] ; then
1040    log   "Skipping stage 'iso build' as requested via option -n or -N"
1041    ewarn "Skipping stage 'iso build' as requested via option -n or -N" ; eend 0
1042 else
1043    mkdir -p "$ISO_OUTPUT" || bailout 6 "Problem with creating $ISO_OUTPUT for stage 'iso build'"
1044
1045    if $FORCE_ISO_REBUILD && ! [ -f "${ISO_OUTPUT}/${ISO_NAME}" ] ; then
1046       log   "Forcing rebuild of ISO because files on ISO have been modified."
1047       einfo "Forcing rebuild of ISO because files on ISO have been modified."
1048    fi
1049
1050    # support mkisofs as well as genisoimage
1051    if which mkisofs >/dev/null 2>&1; then
1052       MKISOFS='mkisofs'
1053    elif which genisoimage >/dev/null 2>&1; then
1054       MKISOFS='genisoimage'
1055    else
1056       log    "Error: neither mkisofs nor genisoimage available - can not create ISO."
1057       eerror "Error: neither mkisofs nor genisoimage available - can not create ISO." ; eend 1
1058       bailout
1059    fi
1060
1061    CURRENT_DIR=$(pwd)
1062    if cd "$BUILD_OUTPUT" ; then
1063       if [ "$BOOT_METHOD" = "grub2" ]; then
1064          # make a 2048-byte bootsector for El Torito
1065          dd if=/dev/zero of=boot/grub/toriboot.bin bs=512 count=4 2>/dev/null
1066          # those are in 2048-byte sectors, so 1 16 matches 4 63 below
1067          echo 1 16 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -B 11 | \
1068             dd of=boot/grub/toriboot.bin conv=notrunc 2>/dev/null
1069       fi
1070       log "$MKISOFS -V '${GRML_NAME} ${VERSION}' -publisher 'grml-live | grml.org' -l -r -J $BOOT_ARGS -o ${ISO_OUTPUT}/${ISO_NAME} ."
1071       "$MKISOFS" -V "${GRML_NAME} ${VERSION}" -publisher 'grml-live | grml.org' \
1072               -l -r -J $BOOT_ARGS -no-pad \
1073               -o "${ISO_OUTPUT}/${ISO_NAME}" . ; RC=$?
1074       # both of these need core.img there, so it’s easier to write it here
1075       if [ "$BOOT_METHOD" = "grub2" ] || [ "$HYBRID_METHOD" = "grub2" ]; then
1076          # must be <= 30720 bytes
1077          dd if=boot/grub/core.img of="${ISO_OUTPUT}/${ISO_NAME}" \
1078            conv=notrunc bs=512 seek=4 2>/dev/null
1079       fi
1080
1081       # pad the output ISO to multiples of 256 KiB for partition table support
1082       siz=$($getfilesize "${ISO_OUTPUT}/${ISO_NAME}")
1083       cyls=$((siz / 512 / 32 / 16 + 1))   # C=$cyls H=16 S=32
1084       siz=$((cyls * 16 * 32 * 512))   # size after padding
1085       dd if=/dev/zero bs=1 count=1 seek=$((siz - 1)) \
1086          of="${ISO_OUTPUT}/${ISO_NAME}" 2>/dev/null
1087
1088       # support disabling hybrid ISO image
1089       if [ "$HYBRID_METHOD" = "disable" ] ; then\
1090          log   "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1091          einfo "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1092          eend 0
1093       # use isohybrid only on request
1094       elif [ "$HYBRID_METHOD" = "isohybrid" ] ; then
1095          if ! which isohybrid >/dev/null 2>&1 ; then
1096            bailout 12 "isohybrid binary not found - please install syslinux/syslinux-common"
1097          else
1098            log "Creating hybrid ISO file with isohybrid method"
1099            einfo "Creating hybrid ISO file with isohybrid method"
1100            # Notes for consideration:
1101            # "-entry 4 -type 1c"
1102            # * using 4 as the partition number is supposed to help with BIOSes
1103            #   that only support USB-Zip boot
1104            # * using 1c (i.e. hidden FAT32 LBA), instead of the default 0x17
1105            #   (hidden NTFS, IIRC), as the partition type is sometimes needed
1106            #   to get the BIOS even look at the partition created by isohybrid
1107            isohybrid "${ISO_OUTPUT}/${ISO_NAME}"
1108            eend $?
1109          fi
1110       # by default use our manifold boot method:
1111       else
1112          # isoinfo is part of both mkisofs and genisoimage so we're good
1113          bootoff=$(isoinfo -l -i "${ISO_OUTPUT}/${ISO_NAME}" | \
1114            sed -n '/^.*\[ *\([0-9]*\)[] ].* ISOLINUX.BIN;1 *$/s//\1/p')
1115          if ! [ -r boot/grub/core.img ] ; then
1116            ewarn "boot/grub/core.img not found, not creating manifold boot ISO file"
1117          elif [ "${bootoff:-0}" -lt 1 ] ; then
1118            ewarn "isolinux.bin not found on the ISO file, disabling manifold boot"
1119          else
1120            log "Creating hybrid ISO file with manifold method"
1121            einfo "Creating hybrid ISO file with manifold method"
1122            if [ "$HYBRID_METHOD" = "grub2" ] ; then
1123                # 512 bytes: MBR, partition table, load GRUB 2
1124                echo 4 63 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -A -M 4:0x96 -g $cyls:16:32
1125            else
1126               # read only one but 2048-byte sized (scale: << 2) sector
1127               echo $bootoff $bootoff | \
1128                  mksh /usr/share/grml-live/scripts/bootilnx.mksh -A -M 4:0x96 -g $cyls:16:32 -S 2
1129            fi | dd of="${ISO_OUTPUT}/${ISO_NAME}" conv=notrunc 2>/dev/null
1130            eend $?
1131          fi
1132       fi
1133
1134       # generate md5sum and sha1sum of ISO if we are using class 'RELEASE':
1135       case $CLASSES in *RELEASE*)
1136          [ "$RC" = 0 ] && \
1137          (
1138            if cd $ISO_OUTPUT ; then
1139              md5sum ${ISO_NAME} > ${ISO_NAME}.md5 && \
1140              touch -r ${ISO_NAME} ${ISO_NAME}.md5
1141              sha1sum ${ISO_NAME} > ${ISO_NAME}.sha1 && \
1142              touch -r ${ISO_NAME} ${ISO_NAME}.sha1
1143            fi
1144          )
1145          ;;
1146       esac
1147
1148       cd "$CURRENT_DIR"
1149    fi
1150
1151    if [ "$RC" = 0 ] ; then
1152       log   "Finished execution of stage 'iso build' [$(date)]"
1153       einfo "Finished execution of stage 'iso build'" ; eend 0
1154    else
1155       log    "Error: there was a critical error ($RC) executing stage 'iso build' [$(date)]"
1156       eerror "Error: there was a critical error executing stage 'iso build'" ; eend 1
1157       bailout $RC
1158    fi
1159 fi
1160 # }}}
1161
1162 # log build information to database if grml-live-db is installed and enabled {{{
1163 dpkg_to_db() {
1164 if [ -d /usr/share/grml-live-db ] ; then
1165
1166   # safe defaults
1167   DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot:
1168   [ -n "$DPKG_DATABASE" ]  || DPKG_DATABASE=/var/log/grml-live.db
1169   [ -n "$DPKG_DBSCRIPT" ]  || DPKG_DBSCRIPT=/usr/share/grml-live-db/scripts/dpkg-to-db
1170   [ -n "$DPKG_DBOPTIONS" ] || DPKG_DBOPTIONS="--database $DPKG_DATABASE --logfile $LOGFILE --flavour $GRML_NAME --dpkg $DPKG_LIST"
1171
1172   if ! [ -x "$DPKG_DBSCRIPT" ] ; then
1173     log "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information."
1174     eerror "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information." ; eend 1
1175     bailout 14
1176   fi
1177
1178   # disable by default for now, not sure whether really everyone is using a local db file
1179   #if ! touch "$DPKG_DATABASE" ; then
1180   #  eerror "Error: can not write to ${DPKG_DATABASE}, can not log dpkg information." ; eend 1
1181   #  bailout 14
1182   #fi
1183
1184   if ! [ -r "$DPKG_LIST" ] ; then
1185      log   "Warning: can not read $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT (dirty build?)"
1186      ewarn "Warning: can not read $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT (dirty build?)" ; eend 0
1187   else
1188      einfo "Logging $DPKG_LIST to database $DPKG_DATABASE"
1189      log "Logging $DPKG_LIST to database $DPKG_DATABASE"
1190      log "Executing $DPKG_DBSCRIPT $DPKG_DBOPTIONS"
1191      eindent
1192
1193      if DB_INFO=$("$DPKG_DBSCRIPT" $DPKG_DBOPTIONS 2>&1) ; then
1194        einfo "$DB_INFO"
1195        eend 0
1196      else
1197        eerror "$DB_INFO"
1198        eend 1
1199      fi
1200
1201      eoutdent
1202   fi
1203
1204 fi
1205 }
1206 # }}}
1207
1208 # finalize {{{
1209 [ -n "$start_seconds" ] && SECONDS="$[$(cut -d . -f 1 /proc/uptime)-$start_seconds]" || SECONDS="unknown"
1210 log "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]"
1211
1212 dpkg_to_db # make sure we catch the last log line as well, therefore execute between log + einfo
1213
1214 einfo "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]" ; eend 0
1215 bailout 0
1216 # }}}
1217
1218 ## END OF FILE #################################################################
1219 # vim:foldmethod=marker ts=2 ft=sh ai expandtab tw=80 sw=2