grml-live

   1 #!/bin/bash
   2 # Filename:      grml-live
   3 # Purpose:       build process script for generating a (grml based) Linux Live-ISO
   4 # Authors:       grml-team (grml.org),
   5 #                (c) Michael Prokop <mika@grml.org>,
   6 #                (c) Thorsten Glaser <tg@mirbsd.org>
   7 # Bug-Reports:   see http://grml.org/bugs/
   8 # License:       This file is licensed under the GPL v2 or any later version.
   9 ################################################################################
  10
  11 # some misc and global stuff {{{
  12 export LANG=C
  13 export LC_ALL=C
  14
  15 # define function getfilesize before "set -e"
  16 if stat --help >/dev/null 2>&1; then
  17   getfilesize='stat -c %s'  # GNU stat
  18 else
  19   getfilesize='stat -f %z'  # BSD stat
  20 fi
  21
  22 # exit on any error:
  23 # disable for now since it seems to cause some problems
  24 # set -e
  25
  26 # global variables
  27 GRML_LIVE_VERSION='0.15.1'
  28 PN="$(basename $0)"
  29 CMDLINE="$0 $@"
  30 ADDONS_LIST_FILE='/boot/isolinux/addons_list.cfg'
  31 # }}}
  32
  33 # usage information {{{
  34 usage()
  35 {
  36   echo "
  37 $PN - build process script for generating a (grml based) Linux Live-ISO
  38
  39 Usage: $PN [options, see as follows]
  40
  41    -a <architecture>       architecture; available values: i386 and amd64
  42    -b                      build the ISO without updating the chroot via FAI
  43    -B                      build the ISO without touching the chroot (skips cleanup)
  44    -c <classe[s]>          classes to be used for building the ISO via FAI
  45    -C <configfile>         configuration file for grml-live
  46    -d <date>               use specified date instead of build time as date of release
  47    -D <configdir>          use specified configuration directory instead of /etc/grml/fai
  48    -F                      force execution without prompting
  49    -g <grml_name>          set the grml flavour name
  50    -h                      display short usage information and exit
  51    -i <iso_name>           name of ISO
  52    -I <src_directory>      directory which provides files that should become
  53                            part of the chroot/ISO
  54    -n                      skip generation of ISO
  55    -N                      bootstrap (build chroot) only, do not create files for ISO
  56    -o <output_directory>   main output directory of the build process
  57    -q                      skip mksquashfs
  58    -r <release_name>       release name
  59    -s <suite>              Debian suite; values: etch, lenny, squeeze, sid
  60    -t <template_directory> place of the templates
  61    -u                      update existing chroot instead of rebuilding it from scratch
  62    -v <version_number>     specify version number of the release
  63    -V                      increase verbosity in the build process
  64    -z                      use ZLIB instead of LZMA/XZ compression
  65
  66 Usage examples:
  67
  68     $PN
  69     $PN -c GRMLBASE,GRML_MEDIUM,I386 -o /dev/shm/grml
  70     $PN -c GRMLBASE,GRML_SMALL,REMOVE_DOCS,I386 -g grml-small -v 1.0
  71     $PN -c GRMLBASE,GRML_FULL,I386 -i grml_0.0-1.iso -v 0.0-1
  72     $PN -c GRMLBASE,GRML_FULL,I386 -s sid -V -r 'grml-live rocks'
  73
  74 More details: man grml-live + /usr/share/doc/grml-live/grml-live.html
  75               http://grml.org/grml-live/
  76
  77 Please send your bug reports and feedback to the grml-team: http://grml.org/bugs/
  78 "
  79 }
  80
  81 # make sure it's possible to get usage information without being
  82 # root or actually executing the script
  83 if [ "$1" = '-h' -o "$1" = '--help' ] ; then
  84    usage
  85    [ "$(id -u 2>/dev/null)" != 0 ] && echo "Please notice that this script requires root permissions."
  86    exit 0
  87 fi
  88 # }}}
  89
  90 # some runtime checks {{{
  91 # we need root permissions for the build-process:
  92 if [ "$(id -u 2>/dev/null)" != 0 ] ; then
  93    echo "Error: please run this script with uid 0 (root)." >&2
  94    exit 1
  95 fi
  96
  97 if [ -r /var/run/fai/FAI_INSTALLATION_IN_PROGRESS ] ; then
  98    echo "/usr/sbin/fai already running or was aborted before.">&2
  99    echo "You may remove /var/run/fai/FAI_INSTALLATION_IN_PROGRESS and try again.">&2
 100    exit 1
 101 fi
 102
 103 # see #449236
 104 if [ -r /var/run/fai/fai_softupdate_is_running ] ; then
 105    echo "/usr/sbin/fai softupdate already running or was aborted before.">&2
 106    echo "You may remove /var/run/fai/fai_softupdate_is_running and try again.">&2
 107    exit 1
 108 fi
 109 # }}}
 110
 111 # lsb-functions and configuration stuff {{{
 112 # make sure they are not set by default
 113 VERBOSE=''
 114 FORCE=''
 115 UPDATE=''
 116 BUILD_ONLY=''
 117 BUILD_DIRTY=''
 118 BOOTSTRAP_ONLY=''
 119 HOSTNAME=''
 120
 121 if [ -r /etc/grml/lsb-functions ] ; then
 122    . /etc/grml/lsb-functions
 123 else
 124    einfo()  { echo "  [*] $*" ;}
 125    eerror() { echo "  [!] $*">&2 ;}
 126    ewarn()  { echo "  [x] $*" ;}
 127    eend()   { return 0 ;}
 128    eindent()  { return 0 ;}
 129    eoutdent() { return 0 ;}
 130 fi
 131
 132 # source main configuration file:
 133 LIVE_CONF=/etc/grml/grml-live.conf
 134 . $LIVE_CONF
 135 # }}}
 136
 137 # umount all directories {{{
 138 umount_all() {
 139    # make sure we don't leave any mounts - FAI doesn't remove them always
 140    umount $CHROOT_OUTPUT/proc 2>/dev/null || /bin/true
 141    umount $CHROOT_OUTPUT/sys  2>/dev/null || /bin/true
 142    umount $CHROOT_OUTPUT/dev/pts 2>/dev/null || /bin/true
 143    umount $CHROOT_OUTPUT/dev 2>/dev/null || /bin/true
 144    [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 145 }
 146 # }}}
 147
 148 # clean exit {{{
 149 bailout() {
 150   rm -f /var/run/fai/fai_softupdate_is_running \
 151         /var/run/fai/FAI_INSTALLATION_IN_PROGRESS
 152   [ -n "$SQUASHFS_STDERR" ]  && rm -rf "$SQUASHFS_STDERR"
 153   umount_all
 154   [ -n "$1" ] && EXIT="$1" || EXIT="1"
 155   [ -n "$2" ] && eerror "$2">&2
 156   log "------------------------------------------------------------------------------"
 157   exit "$EXIT"
 158 }
 159 trap bailout 1 2 3 3 6 9 14 15
 160 trap umount_all EXIT
 161 # }}}
 162
 163 # log file stuff {{{
 164 [ -n "$LOGFILE" ] || LOGFILE=/var/log/grml-live.log
 165 touch $LOGFILE
 166 chown root:adm $LOGFILE
 167 chmod 664 $LOGFILE
 168 # }}}
 169
 170 # some important functions {{{
 171
 172 # log output:
 173 # usage: log "string to log"
 174 log() { echo "$*" >> $LOGFILE ; }
 175
 176 # cut string at character number int = $1
 177 # usage: cut_string 5 "1234567890" will output "12345"
 178 cut_string() {
 179   [ -n "$2" ] || return 1
 180   echo "$2" | head -c "$1"; echo -ne "\n"
 181 }
 182
 183 # prepend int = $1 spaces before string = $2
 184 # usage: extend_string_begin 5 "123" will output "  123"
 185 extend_string_begin() {
 186   [ -n "$2" ] || return 1
 187   local COUNT="$(echo $2 | wc -c)"
 188   local FILL="$(expr $COUNT - $1)"
 189   while [ "$FILL" -gt 1 ] ; do
 190     echo -n " "
 191     local FILL=$(expr $FILL - 1)
 192   done
 193   while [ "$FILL" -lt 1 ] ; do
 194     echo -n " "
 195     local FILL=$(expr $FILL + 1)
 196   done
 197   echo "$2" | head -c "$1"; echo -ne "\n"
 198 }
 199
 200 # append int = $1 spaces to string = $2
 201 # usage: extend_string_begin 5 "123" will output "123  "
 202 extend_string_end() {
 203   [ -n "$2" ] || return 1
 204   echo -n "$2" | head -c "$1"
 205   local COUNT="$(echo $2 | wc -c)"
 206   local FILL="$(expr $COUNT - $1)"
 207   while [ "$FILL" -gt 1 ] ; do
 208     echo -n " "
 209     local FILL=$(expr $FILL - 1)
 210   done
 211   while [ "$FILL" -lt 1 ] ; do
 212     echo -n " "
 213     local FILL=$(expr $FILL + 1)
 214   done
 215   echo -ne "\n"
 216 }
 217 # }}}
 218
 219 # read local (non-packaged) configuration {{{
 220 LOCAL_CONFIG=/etc/grml/grml-live.local
 221 if [ -r "$LOCAL_CONFIG" ] ; then
 222    log "Sourcing $LOCAL_CONFIG"
 223    . $LOCAL_CONFIG
 224 else
 225    log "No $LOCAL_CONFIG found, not sourcing it"
 226    LOCAL_CONFIG=''
 227 fi
 228 # }}}
 229
 230 # command line parsing {{{
 231 while getopts "a:C:c:d:D:g:i:I:o:r:s:t:v:bBFnNquVz" opt; do
 232   case "$opt" in
 233     a) ARCH="$OPTARG" ;;
 234     b) BUILD_ONLY=1 ;;
 235     B) BUILD_DIRTY=1 ;;
 236     c) CLASSES="$OPTARG" ;;
 237     C) CONFIG="$OPTARG" ;;
 238     d) DATE="$OPTARG" ;;
 239     D) GRML_FAI_CONFIG="$OPTARG" ;;
 240     g) GRML_NAME="$OPTARG" ;;
 241     i) ISO_NAME="$OPTARG" ;;
 242     I) CHROOT_INSTALL="$OPTARG" ;;
 243     n) SKIP_MKISOFS=1 ;;
 244     N) BOOTSTRAP_ONLY=1; SKIP_MKISOFS=1; SKIP_MKSQUASHFS=1 ;;
 245     o) OUTPUT="$OPTARG" ;;
 246     q) SKIP_MKSQUASHFS=1 ;;
 247     r) RELEASENAME="$OPTARG" ;;
 248     s) SUITE="$OPTARG" ;;
 249     t) TEMPLATE_DIRECTORY="$OPTARG";;
 250     v) VERSION="$OPTARG" ;;
 251     F) FORCE=1 ;;
 252     u) UPDATE=1 ;;
 253     V) VERBOSE="-v" ;;
 254     z) SQUASHFS_ZLIB=1 ;;
 255     ?) echo "invalid option -$OPTARG" >&2; bailout 1 ;;
 256   esac
 257 done
 258 shift $(($OPTIND - 1))  # set ARGV to the first not parsed commandline parameter
 259 # }}}
 260
 261 # assume sane defaults (if not set already) {{{
 262 [ -n "$ARCH" ]                    || ARCH="$(dpkg --print-architecture)"
 263 [ -n "$BOOT_METHOD" ]             || BOOT_METHOD='isolinux'
 264 [ -n "$CLASSES" ]                 || CLASSES="GRMLBASE,GRML_MEDIUM,I386"
 265 [ -n "$DATE" ]                    || DATE="$(date +%Y-%m-%d)"
 266 [ -n "$DISTRI_INFO" ]             || DISTRI_INFO='Grml - Live Linux for system administrators   '
 267 [ -n "$DISTRI_NAME" ]             || DISTRI_NAME="grml"
 268 [ -n "$DISTRI_SPLASH" ]           || DISTRI_SPLASH='grml.png'
 269 [ -n "$FORCE_ISO_REBUILD" ]       || FORCE_ISO_REBUILD="false"
 270 [ -n "$GRML_FAI_CONFIG" ]         || GRML_FAI_CONFIG='/etc/grml/fai'
 271 [ -n "$GRML_NAME" ]               || GRML_NAME='grml'
 272 [ -n "$HOSTNAME" ]                || HOSTNAME='grml'
 273 [ -n "$HYBRID_METHOD" ]           || HYBRID_METHOD='manifold'
 274 [ -n "$NFSROOT_CONF" ]            || NFSROOT_CONF="${GRML_FAI_CONFIG}/make-fai-nfsroot.conf"
 275 [ -n "$RELEASENAME" ]             || RELEASENAME='grml-live rocks'
 276 [ -n "$SOURCES_LIST_OUTPUT" ]     || SOURCES_LIST_OUTPUT="${GRML_FAI_CONFIG}/config/files/etc/apt/sources.list/GRML_LIVE_SOURCES_LIST"
 277 [ -n "$SQUASHFS_EXCLUDES_FILE" ]  || SQUASHFS_EXCLUDES_FILE="${GRML_FAI_CONFIG}/config/grml/squashfs-excludes"
 278 [ -n "$SUITE" ]                   || SUITE='squeeze'
 279 [ -n "$TEMPLATE_DIRECTORY" ]      || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 280 [ -n "$USERNAME" ]                || USERNAME='grml'
 281 [ -n "$VERSION" ]                 || VERSION='0.0.1'
 282
 283 # output specific stuff, depends on $OUTPUT (iff not set):
 284 [ -n "$OUTPUT" ]           || OUTPUT='/grml/grml-live'
 285 [ -n "$BUILD_OUTPUT" ]     || BUILD_OUTPUT="$OUTPUT/grml_cd"
 286 [ -n "$CHROOT_OUTPUT" ]    || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 287 [ -n "$ISO_OUTPUT" ]       || ISO_OUTPUT="$OUTPUT/grml_isos"
 288 # }}}
 289
 290 # some misc checks before executing FAI {{{
 291 [ -n "$CLASSES" ] || bailout 1 "Error: \$CLASSES unset, please set it in $LIVE_CONF or
 292 specify it on the command line using the -c option."
 293 [ -n "$OUTPUT" ] || bailout 1 "Error: \$OUTPUT unset, please set it in $LIVE_CONF or
 294 specify it on the command line using the -o option."
 295
 296 # trim characters that are known to cause problems inside $GRML_NAME;
 297 # for example isolinux does not like '-' inside the directory name
 298 [ -n "$GRML_NAME" ] && export SHORT_NAME="$(echo $GRML_NAME | tr -d ',./;\- ')"
 299
 300 # export variables to have them available in fai scripts:
 301 [ -n "$GRML_NAME" ]   && export GRML_NAME="$GRML_NAME"
 302 [ -n "$RELEASENAME" ] && export RELEASENAME="$RELEASENAME"
 303 # }}}
 304
 305 # ZERO_LOGFILE - check for backwards compatibility reasons {{{
 306 # this was default behaviour until grml-live 0.9.34:
 307 if [ -n "$ZERO_LOGFILE" ] ; then
 308    PRESERVE_LOGFILE='' # make sure it's cleaned then
 309    ewarn "Please consider disabling the \$ZERO_LOGFILE option as grml-live clears..."
 310    ewarn "... the logfile $LOGFILE by default (unless \$PRESERVE_LOGFILE is set) nowadays."
 311    eend 0
 312 fi
 313 # }}}
 314
 315 # ask user whether the setup is ok {{{
 316 if [ -z "$FORCE" ] ; then
 317    echo
 318    echo "${PN} [${GRML_LIVE_VERSION}]: check your configuration (or use -F to force execution):"
 319    echo
 320    echo "  FAI classes:       $CLASSES"
 321    [ -r "$LOCAL_CONFIG" ]        && echo "  Local config:      /etc/grml/grml-live.local"
 322    [ -n "$CONFIG" ]              && echo "  Configuration:     $CONFIG"
 323    [ -n "$GRML_FAI_CONFIG" ]     && echo "  Config directory:  $GRML_FAI_CONFIG"
 324    echo "  main directory:    $OUTPUT"
 325    [ -n "$CHROOT_OUTPUT" ]       && echo "  Chroot target:     $CHROOT_OUTPUT"
 326    [ -n "$BUILD_OUTPUT" ]        && echo "  Build target:      $BUILD_OUTPUT"
 327    [ -n "$ISO_OUTPUT" ]          && echo "  ISO target:        $ISO_OUTPUT"
 328    [ -n "$GRML_NAME" ]           && echo "  Grml name:         $GRML_NAME"
 329    [ -n "$RELEASENAME" ]         && echo "  Release name:      $RELEASENAME"
 330    [ -n "$DATE" ]                && echo "  Build date:        $DATE"
 331    [ -n "$VERSION" ]             && echo "  Grml version:      $VERSION"
 332    [ -n "$SUITE" ]               && echo "  Debian suite:      $SUITE"
 333    [ -n "$ARCH" ]                && echo "  Architecture:      $ARCH"
 334    [ -n "$BOOT_METHOD" ]         && echo "  Boot method:       $BOOT_METHOD"
 335    [ -n "$HYBRID_METHOD" ]       && echo "  Hybrid method:     $HYBRID_METHOD"
 336    [ -n "$TEMPLATE_DIRECTORY" ]  && echo "  Template files:    $TEMPLATE_DIRECTORY"
 337    [ -n "$CHROOT_INSTALL" ]      && echo "  Install files from directory to chroot:  $CHROOT_INSTALL"
 338    [ -n "$BOOTID" ]              && echo "  Boot identifier:   $BOOTID"
 339    [ -n "$NO_BOOTID" ]           && echo "  Skipping bootid feature."
 340    [ -n "$DEFAULT_BOOTOPTIONS" ] && echo "  Adding default bootoptions: \"$DEFAULT_BOOTOPTIONS\""
 341    [ -n "$FAI_ARGS" ]            && echo "  Additional arguments for FAI: $FAI_ARGS"
 342    [ -n "$LOGFILE" ]             && echo "  Logging to file:   $LOGFILE"
 343    [ -n "$SQUASHFS_ZLIB" ]       && echo "  Using ZLIB (instead of LZMA/XZ) compression."
 344    [ -n "$SQUASHFS_OPTIONS" ]    && echo "  Using SQUASHFS_OPTIONS ${SQUASHFS_OPTIONS}"
 345    [ -n "$VERBOSE" ]             && echo "  Using VERBOSE mode."
 346    [ -n "$UPDATE" ]              && echo "  Executing UPDATE instead of fresh installation."
 347    if [ -n "$BOOTSTRAP_ONLY" ] ; then
 348      echo "  Bootstrapping only and not building (files for) ISO."
 349    else
 350      [ -n "$SKIP_MKSQUASHFS" ]     && echo "  Skipping creation of SQUASHFS file."
 351      [ -n "$SKIP_MKISOFS" ]        && echo "  Skipping creation of ISO file."
 352      [ -n "$BUILD_ONLY" ]          && echo "  Executing BUILD_ONLY instead of fresh installation or UPDATE."
 353      [ -n "$BUILD_DIRTY" ]         && echo "  Executing BUILD_DIRTY to leave chroot untouched."
 354    fi
 355    echo
 356    echo -n "Is this ok for you? [y/N] "
 357    read a
 358    if ! [ "$a" = 'y' -o "$a" = 'Y' ] ; then
 359       bailout 1 "Exiting as requested."
 360    fi
 361    echo
 362 fi
 363 # }}}
 364
 365 # clean/zero/remove logfiles {{{
 366
 367 if [ -n "$PRESERVE_LOGFILE" ] ; then
 368    echo "Preserving logfile $LOGFILE as requested via \$PRESERVE_LOGFILE"
 369 else
 370    # make sure it is empty (as it is e.g. appended to grml-live-db)
 371    echo -n > $LOGFILE
 372 fi
 373
 374 if [ -n "$ZERO_FAI_LOGFILE" ] ; then
 375    if [ -d /var/log/fai/"$HOSTNAME" ] ; then
 376       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last)"
 377       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-dirinstall)"
 378       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-softupdate)"
 379       rm -f /var/log/fai/"$HOSTNAME"/last \
 380             /var/log/fai/"$HOSTNAME"/last-dirinstall \
 381             /var/log/fai/"$HOSTNAME"/last-softupdate
 382    fi
 383 fi
 384 # }}}
 385
 386 # source config and startup {{{
 387 if [ -n "$CONFIG" ] ; then
 388    if ! [ -f "$CONFIG" ] ; then
 389       log    "Error: $CONFIG could not be read. Exiting. [$(date)]"
 390       eerror "Error: $CONFIG could not be read. Exiting." ; eend 1
 391       bailout 1
 392    else
 393       log "Sourcing $CONFIG"
 394       . $CONFIG
 395    fi
 396 fi
 397
 398 start_seconds=$(cut -d . -f 1 /proc/uptime)
 399 log "------------------------------------------------------------------------------"
 400 log "Starting grml-live [${GRML_LIVE_VERSION}] run on $(date)"
 401 log "Executed grml-live command line:"
 402 log "$CMDLINE"
 403
 404 einfo "Logging actions to logfile $LOGFILE"
 405 # }}}
 406
 407 # on-the-fly configuration {{{
 408 mkdir -p "$(dirname $SOURCES_LIST_OUTPUT)" # might not be present in -D config space
 409
 410 cat > "$SOURCES_LIST_OUTPUT" << EOF
 411 # NOTE: This file is *NOT* meant for manual customisation! This file is
 412 # installed temporarily only by grml-live and will be overriden in the
 413 # installation and configuration process then.
 414 EOF
 415
 416 if [ -n "$MIRROR_DIRECTORY" ] ; then
 417   if ! [ -d "$MIRROR_DIRECTORY/debian" ] ; then
 418     log    "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting. [$(date)]"
 419     eerror "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting." ; eend 1
 420     bailout 1
 421   fi
 422   echo "$MIRROR_SOURCES" >> "$SOURCES_LIST_OUTPUT"
 423 fi
 424
 425 if [ -n "$FAI_DEBOOTSTRAP" ] ; then
 426   sed "s#^FAI_DEBOOTSTRAP=.*#FAI_DEBOOTSTRAP=\"$FAI_DEBOOTSTRAP\"#" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 427 fi
 428
 429 # does this suck? YES!
 430 # /usr/share/debootstrap/scripts/unstable does not exist, instead use 'sid':
 431 case $SUITE in
 432    unstable) SUITE='sid' ;;
 433    # make sure that we *NEVER* write any broken suite name to sources.list,
 434    # otherwise we won't be able to adjust it one next (correct) execution
 435    stable)   ;;
 436    testing)  ;;
 437    etch)     ;;
 438    lenny)    ;;
 439    squeeze)  ;;
 440    wheezy)   ;;
 441    sid)      ;;
 442    *) echo "Sorry, $SUITE is not a valid Debian suite, exiting.">&2; bailout 1 ;;
 443 esac
 444 export SUITE # make sure it's available in FAI scripts
 445
 446 if [ -n "${GRML_LIVE_SOURCES:-}" ] ; then
 447   DIST=" etch\| stable\| lenny\| squeeze\| wheezy\| testing\| sid\| unstable"
 448   echo "# generated based on \$GRML_LIVE_SOURCES by grml-live
 449 $GRML_LIVE_SOURCES" | \
 450     sed -e "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/;
 451             s/\(^deb-src .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" >> "$SOURCES_LIST_OUTPUT"
 452 else
 453   cat >> "$SOURCES_LIST_OUTPUT" << EOF
 454 # generated by grml-live
 455 deb http://deb.grml.org/            grml-stable  main
 456 deb http://deb.grml.org/            grml-testing main
 457 deb http://cdn.debian.net/debian $SUITE  main contrib non-free
 458 EOF
 459 fi
 460
 461 # notice: activate grml-live pool when building against unstable or testing:
 462 if grep -qwe unstable -qwe sid -qwe testing -qwe wheezy "$SOURCES_LIST_OUTPUT" ; then
 463    grep -q 'grml-live.*main' "$SOURCES_LIST_OUTPUT" || \
 464    grep grml-stable "$SOURCES_LIST_OUTPUT" | \
 465         sed 's/grml-stable/grml-live/' >> "$SOURCES_LIST_OUTPUT"
 466 else
 467    grep -q 'grml-live.*main' "$SOURCES_LIST_OUTPUT" && \
 468    sed -i 's/.*grml-live.*main/# removed grml-live repository/' "$SOURCES_LIST_OUTPUT"
 469 fi
 470
 471 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" "$NFSROOT_CONF" ; do
 472     if [ -n "$file" ] ; then
 473        sed "s|^FAI_DEBOOTSTRAP=\"[a-z]* |FAI_DEBOOTSTRAP=\"$SUITE |" "$file" | sponge "$file"
 474     fi
 475 done
 476
 477 # validate whether the specified architecture class matches the
 478 # architecture (option), otherwise installation of kernel will fail
 479 if echo $CLASSES | grep -qi i386 ; then
 480    if ! [[ "$ARCH" == "i386" ]] ; then
 481       log    "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 482       eerror "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 483       eerror "Tip:   Either invoke grml-live with '-a i386' or adjust the architecture class. Exiting."
 484       eend 1
 485       bailout
 486    fi
 487 elif echo $CLASSES | grep -qi amd64 ; then
 488    if ! [[ "$ARCH" == "amd64" ]] ; then
 489       log    "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 490       eerror "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 491       eerror "Tip:   Either invoke grml-live with '-a amd64' or adjust the architecture class. Exiting."
 492       eend 1
 493       bailout
 494    fi
 495 fi
 496
 497 if grep -q -- 'FAI_DEBOOTSTRAP_OPTS.*--arch' "$NFSROOT_CONF" ; then
 498    sed "s/--arch [a-z0-9]* /--arch $ARCH /" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 499 else
 500    sed "s|^FAI_DEBOOTSTRAP_OPTS=\"\(.*\)|FAI_DEBOOTSTRAP_OPTS=\"--arch $ARCH \1|" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 501 fi
 502 # }}}
 503
 504 # CHROOT_OUTPUT - execute FAI {{{
 505 if [ -n "$BUILD_DIRTY" ]; then
 506    log   "Skipping stage 'fai' as requested via option -B"
 507    ewarn "Skipping stage 'fai' as requested via option -B" ; eend 0
 508 else
 509    [ -n "$CHROOT_OUTPUT" ] || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 510
 511    # provide inform fai about the ISO we build
 512    [ -d "$CHROOT_OUTPUT/etc/" ] || mkdir -p "$CHROOT_OUTPUT/etc/"
 513    echo '# This file has been generated by grml-live.' > "$CHROOT_OUTPUT/etc/grml_live_version"
 514    [ -n "$GRML_LIVE_VERSION" ] && echo "GRML_LIVE_VERSION=$GRML_LIVE_VERSION" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 515    [ -n "$SUITE" ] && echo "SUITE=$SUITE" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 516
 517    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 518       FAI_ACTION=softupdate
 519    else
 520       FAI_ACTION=dirinstall
 521    fi
 522
 523    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 524       if ! [ -r "$CHROOT_OUTPUT/etc/debian_version" ] ; then
 525          log    "Error: does not look like you have a working chroot. Updating/building not possible."
 526          eerror "Error: does not look like you have a working chroot. Updating/building not possible. (Drop -u/-b option?)"
 527          eend 1
 528          bailout 20
 529       fi
 530    fi
 531
 532    if [ -d "$CHROOT_OUTPUT/bin" -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 533       log   "Skipping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already."
 534       ewarn "Skipping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already." ; eend 0
 535    else
 536       mkdir -p "$CHROOT_OUTPUT" || bailout 5 "Problem with creating $CHROOT_OUTPUT for FAI"
 537
 538       if [ -n "${MIRROR_DIRECTORY}" ] ; then
 539          mkdir -p "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 540          mount --bind "${MIRROR_DIRECTORY}" "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 541       fi
 542
 543       # tell dpkg to use "unsafe io" during the build
 544       [ -d "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d" ] || mkdir -p "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d"
 545       echo force-unsafe-io > "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d/unsafe-io"
 546
 547       log "Executed FAI command line:"
 548       log "BUILD_ONLY=$BUILD_ONLY BOOTSTRAP_ONLY=$BOOTSTRAP_ONLY fai $VERBOSE -C $GRML_FAI_CONFIG -s file:///$GRML_FAI_CONFIG/config -c$CLASSES -u $HOSTNAME $FAI_ACTION $CHROOT_OUTPUT $FAI_ARGS"
 549       BUILD_ONLY="$BUILD_ONLY" BOOTSTRAP_ONLY="$BOOTSTRAP_ONLY" fai $VERBOSE \
 550                   -C "$GRML_FAI_CONFIG" -s "file:///$GRML_FAI_CONFIG/config" -c"$CLASSES" \
 551                   -u "$HOSTNAME" "$FAI_ACTION" "$CHROOT_OUTPUT" $FAI_ARGS | tee -a $LOGFILE
 552       RC="$PIPESTATUS" # notice: bash-only
 553
 554       rm -f "$CHROOT_OUTPUT/etc/dpkg/dpkg.cfg.d/unsafe-io"
 555
 556       FORCE_ISO_REBUILD=true
 557
 558       if [ "$RC" != 0 ] ; then
 559          log    "Error: critical error while executing fai [exit code ${RC}]. Exiting."
 560          eerror "Error: critical error while executing fai [exit code ${RC}]. Exiting." ; eend 1
 561          bailout 1
 562       else
 563          einfo "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
 564          log   "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
 565          echo "$GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]" > $CHROOT_OUTPUT/etc/grml_version
 566          chmod 644 $CHROOT_OUTPUT/etc/grml_version
 567          einfo "Rebuilding initramfs"
 568          # make sure new /etc/grml_version reaches initramfs, iterate over all
 569          # present kernel versions (note: we can't really handle more than one
 570          # kernel version anyway right now)
 571          # chroot $CHROOT_OUTPUT update-initramfs -u -t => might break when using kernel-package :(
 572          for initrd in "$(basename $CHROOT_OUTPUT/boot/vmlinuz-*)" ; do
 573            if ! chroot $CHROOT_OUTPUT update-initramfs -k "${initrd##vmlinuz-}" -c ; then
 574              einfo "Creating fresh initrd did not work, trying update instead:"
 575              log   "Creating fresh initrd did not work, trying update instead:"
 576              chroot $CHROOT_OUTPUT update-initramfs -k "${initrd##vmlinuz-}" -u
 577            fi
 578          done
 579          eend $?
 580       fi
 581
 582       # Remove all FAI logs from chroot if class RELEASE is used:
 583       if [ -f "$CHROOT_OUTPUT"/etc/grml_fai_release ] ; then
 584          rm -rf "$CHROOT_OUTPUT"/var/log/fai/*
 585          rm -f "$CHROOT_OUTPUT"/var/log/install_packages.list
 586       fi
 587
 588       umount_all
 589
 590       # notice: 'fai dirinstall' does not seem to exit appropriate, so:
 591       ERROR=''
 592       CHECKLOG=/var/log/fai/$HOSTNAME/last
 593       if [ -r "$CHECKLOG/software.log" ] ; then
 594          # 1 errors during executing of commands
 595          grep 'dpkg: error processing' $CHECKLOG/software.log >> $LOGFILE && ERROR=1
 596          grep 'E: Method http has died unexpectedly!' $CHECKLOG/software.log >> $LOGFILE && ERROR=2
 597          grep 'ERROR: chroot' $CHECKLOG/software.log >> $LOGFILE && ERROR=3
 598          grep 'E: Failed to fetch' $CHECKLOG/software.log >> $LOGFILE && ERROR=4
 599          grep 'Unable to write mmap - msync (28 No space left on device)' $CHECKLOG/software.log >> $LOGFILE && ERROR=5
 600       fi
 601
 602       if [ -r "$CHECKLOG/shell.log" ] ; then
 603          grep 'FAILED with exit code' $CHECKLOG/shell.log >> $LOGFILE && ERROR=6
 604       fi
 605
 606       if [ -n "$ERROR" ] ; then
 607          log    "Error: there was a critical error [${ERROR}] during execution of stage 'fai dirinstall' [$(date)]"
 608          eerror "Error: there was a critical error during execution of stage 'fai dirinstall'"
 609          eerror "Note:  check out ${CHECKLOG}/ for details. [exit ${ERROR}]"
 610          eend 1
 611          bailout 1
 612       else
 613          log "Finished execution of stage 'fai dirinstall' [$(date)]"
 614          einfo "Finished execution of stage 'fai dirinstall'"
 615       fi
 616
 617       einfo "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 618       log   "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 619       eend 0
 620    fi
 621 fi # BUILD_DIRTY?
 622 # }}}
 623
 624 # package validator {{{
 625 CHECKLOG=/var/log/fai/$HOSTNAME/last
 626 # package validator
 627 if [ -r "$CHECKLOG/package_errors.log" ] && grep -q '[a-z]' "$CHECKLOG/package_errors.log" ; then
 628
 629    if [ -n "$EXIT_ON_MISSING_PACKAGES" -a -z "$BUILD_DIRTY" ] ; then
 630       eerror "The following packages were requested for installation but could not be processed:"
 631       cat $CHECKLOG/package_errors.log
 632       eerror "... exiting as requested via \$EXIT_ON_MISSING_PACKAGES."
 633       eend 1
 634       bailout 13
 635    else
 636       ewarn "The following packages were requested for installation but could not be processed:"
 637       cat $CHECKLOG/package_errors.log
 638       eend 0
 639    fi
 640 fi
 641 # }}}
 642
 643 # BUILD_OUTPUT - execute arch specific stuff and squashfs {{{
 644 [ -n "$BUILD_OUTPUT" ] || BUILD_OUTPUT="$OUTPUT/grml_cd"
 645 mkdir -p "$BUILD_OUTPUT" || bailout 6 "Problem with creating $BUILD_OUTPUT for stage ARCH"
 646
 647 # prepare ISO
 648 if [ "$ARCH" = i386 ] || [ "$ARCH" = amd64 ] ; then
 649   if [ -n "$BOOTSTRAP_ONLY" ] ; then
 650      log   "Skipping stage 'boot' as building with bootstrap only."
 651      ewarn "Skipping stage 'boot' as building with bootstrap only." ; eend 0
 652   else
 653     if [ -d "$BUILD_OUTPUT"/boot/isolinux -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 654        log   "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already."
 655        ewarn "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already." ; eend 0
 656     else
 657        # booting stuff:
 658        [ -d "$BUILD_OUTPUT"/boot/isolinux ] || mkdir -p "$BUILD_OUTPUT"/boot/isolinux
 659        [ -d "$BUILD_OUTPUT"/boot/"${SHORT_NAME}" ] || mkdir -p "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"
 660
 661        if [ -z "$NO_ADDONS" ] ; then
 662           [ -d "$BUILD_OUTPUT"/boot/addons   ] || mkdir -p "$BUILD_OUTPUT"/boot/addons
 663           if [ -r "$TEMPLATE_DIRECTORY"/boot/addons/memtest ] ; then
 664              log "Installing $TEMPLATE_DIRECTORY/boot/addons/memtest"
 665              cp "$TEMPLATE_DIRECTORY"/boot/addons/memtest "$BUILD_OUTPUT"/boot/addons/memtest
 666           elif [ -r /boot/memtest86+.bin ] ; then
 667              log "Installing /boot/memtest86+.bin"
 668              cp /boot/memtest86+.bin "$BUILD_OUTPUT"/boot/addons/memtest
 669           else
 670              ewarn "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 671              log "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 672              eend 0
 673           fi
 674        fi
 675
 676        # if we don't have an initrd we a) can't boot and b) there was an error
 677        # during build, so check for the file:
 678        INITRD="$(ls $CHROOT_OUTPUT/boot/initrd* 2>/dev/null| grep -v '.bak$' | sort -r | head -1)"
 679        if [ -n "$INITRD" ] ; then
 680           cp $INITRD "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/initrd.gz
 681           find $CHROOT_OUTPUT/boot/ -name initrd\*.bak -exec rm {} \;
 682        else
 683           log    "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting"
 684           eerror "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 685           bailout 10
 686        fi
 687
 688        KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
 689        if [ -n "$KERNEL_IMAGE" ] ; then
 690           cp "$KERNEL_IMAGE" "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/linux26
 691        else
 692           log    "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting"
 693           eerror "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 694           bailout 11
 695        fi
 696
 697        [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 698        if ! [ -d "${TEMPLATE_DIRECTORY}"/boot ] ; then
 699           log    "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting."
 700           eerror "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting." ; eend 1
 701           bailout 8
 702        fi
 703
 704        # *always* copy files to output directory so the variables
 705        # get adjusted according to the build
 706        cp ${TEMPLATE_DIRECTORY}/boot/isolinux/*  "$BUILD_OUTPUT"/boot/isolinux/
 707
 708        if [ -n "$NO_ADDONS" ] ; then
 709           log   "Skipping installation of boot addons as requested via \$NO_ADDONS."
 710           einfo "Skipping installation of boot addons as requested via \$NO_ADDONS."; eend 0
 711        else
 712           if ! [ -d "$TEMPLATE_DIRECTORY"/boot/addons ] ; then
 713             log   "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)"
 714             ewarn "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)" ; eend 0
 715           else
 716             # copy addons from Depended packages
 717             cp -a /usr/lib/ipxe/ipxe.lkrn "${TEMPLATE_DIRECTORY}/boot/addons/"
 718             cp -a /usr/share/misc/pci.ids "${TEMPLATE_DIRECTORY}/boot/addons/"
 719             cp -a /boot/memtest86+.bin "${TEMPLATE_DIRECTORY}/boot/addons/memtest"
 720             for file in memdisk chain.c32 hdt.c32 menu.c32; do
 721               cp -a "/usr/lib/syslinux/${file}" "${TEMPLATE_DIRECTORY}/boot/addons/"
 722             done
 723
 724             # copy only files so we can handle bsd4grml on its own
 725             for file in ${TEMPLATE_DIRECTORY}/boot/addons/* ; do
 726               test -f $file && cp $file "$BUILD_OUTPUT"/boot/addons/
 727             done
 728
 729             if [ -n "$NO_ADDONS_BSD4GRML" ] ; then
 730                log   "Skipping installation of bsd4grml as requested via \$NO_ADDONS_BSD4GRML."
 731                einfo "Skipping installation of bsd4grml as requested via \$NO_ADDONS_BSD4GRML."; eend 0
 732             else
 733                if [ -d "$TEMPLATE_DIRECTORY"/boot/addons/bsd4grml ] ; then
 734                  cp -a ${TEMPLATE_DIRECTORY}/boot/addons/bsd4grml "$BUILD_OUTPUT"/boot/addons/
 735                else
 736                  log   "bsd4grml addon not found, skipping therefore."
 737                  ewarn "bsd4grml addon not found, skipping therefore." ; eend 0
 738                fi
 739             fi
 740
 741           fi # no "$TEMPLATE_DIRECTORY"/boot/addons
 742        fi # NO_ADDONS
 743
 744        if ! [ -d ${TEMPLATE_DIRECTORY}/boot/grub ] ; then
 745           log   "grub templates do not exist, skipping therefore."
 746           ewarn "grub templates do not exist, skipping therefore." ; eend 0
 747        else
 748           if ! [ -d "${BUILD_OUTPUT}/boot/grub" ] ; then
 749             mkdir -p "${BUILD_OUTPUT}/boot/grub"
 750             cp -a /usr/lib/grub/*-pc/*.mod "${BUILD_OUTPUT}/boot/grub"
 751             cp -a /usr/lib/grub/*-pc/*.o "${BUILD_OUTPUT}/boot/grub"
 752             cp -a /usr/lib/grub/*-pc/*.lst "${BUILD_OUTPUT}/boot/grub"
 753             cp -a /usr/share/grub/ascii.pf2 "${BUILD_OUTPUT}/boot/grub"
 754             /usr/bin/grub-mkimage -d /usr/lib/grub/*-pc -o \
 755               "${BUILD_OUTPUT}/boot/grub/core.img" biosdisk iso9660 --format=i386-pc
 756           fi
 757
 758           # make sure we have recent template files available, otherwise updating
 759           # the strings like $GRML_NAME and $VERSION might be out of date
 760           cp ${TEMPLATE_DIRECTORY}/boot/grub/* "$BUILD_OUTPUT"/boot/grub/
 761        fi
 762
 763        if ! [ -d "${TEMPLATE_DIRECTORY}"/GRML ] ; then
 764           log    "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting."
 765           eerror "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting." ; eend 1
 766           bailout 9
 767        fi
 768
 769        [ -d "$BUILD_OUTPUT"/GRML ] || mkdir "$BUILD_OUTPUT"/GRML
 770        cp -a ${TEMPLATE_DIRECTORY}/GRML/* "$BUILD_OUTPUT"/GRML/
 771
 772        # adjust boot splash information:
 773        RELEASE_INFO="$GRML_NAME $VERSION - Release Codename $RELEASENAME"
 774        RELEASE_INFO="$(cut_string 68 "$RELEASE_INFO")"
 775        RELEASE_INFO="$(extend_string_end 68 "$RELEASE_INFO")"
 776
 777        if [ -r "$BUILD_OUTPUT"/GRML/grml-version ] ; then
 778           sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/GRML/grml-version
 779           sed -i "s/%DATE%/$DATE/"                                      "$BUILD_OUTPUT"/GRML/grml-version
 780        fi
 781
 782        # make sure the squashfs filename is set accordingly:
 783        SQUASHFS_NAME="$GRML_NAME.squashfs"
 784
 785        if [ -n "$NO_BOOTID" ] ; then
 786           log   'Skipping bootid feature as requested via $NO_BOOTID.'
 787           einfo 'Skipping bootid feature as requested via $NO_BOOTID.'
 788        else
 789           [ -n "$BOOTID" ] || BOOTID="$(echo ${GRML_NAME}${VERSION} | tr -d ',./;\- ')"
 790           [ -d "$BUILD_OUTPUT"/conf ] || mkdir "$BUILD_OUTPUT"/conf
 791           einfo "Generating /conf/bootid.txt with entry ${BOOTID}."
 792           log   "Generating /conf/bootid.txt with entry ${BOOTID}."
 793           echo "$BOOTID" > "$BUILD_OUTPUT"/conf/bootid.txt
 794           eend $?
 795        fi
 796
 797        # adjust all variables in the templates with the according distribution information
 798        for file in "${BUILD_OUTPUT}"/boot/isolinux/*.cfg "${BUILD_OUTPUT}"/boot/isolinux/*.msg \
 799                    "${BUILD_OUTPUT}"/boot/grub/* ; do
 800          if [ -r "${file}" ] ; then
 801            sed -i "s/%ARCH%/$ARCH/g"                    "${file}"
 802            sed -i "s/%DATE%/$DATE/g"                    "${file}"
 803            sed -i "s/%DISTRI_INFO%/$DISTRI_INFO/g"      "${file}"
 804            sed -i "s/%DISTRI_NAME%/$DISTRI_NAME/g"      "${file}"
 805            sed -i "s/%DISTRI_SPLASH%/$DISTRI_SPLASH/g"  "${file}"
 806            sed -i "s/%GRML_NAME%/$GRML_NAME/g"          "${file}"
 807            sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/g"  "${file}"
 808            sed -i "s/%RELEASE_INFO%/$RELEASE_INFO/g"    "${file}"
 809            sed -i "s/%SHORT_NAME%/$SHORT_NAME/g"        "${file}"
 810            sed -i "s/%VERSION%/$VERSION/g"              "${file}"
 811
 812            [ -n "$DEFAULT_BOOTOPTIONS" ] && sed -i "s/ boot=live/ boot=live $DEFAULT_BOOTOPTIONS/"  "${file}"
 813
 814            if [ -n "$NO_BOOTID" ] ; then
 815               sed -i "s/ bootid=%BOOTID%//g" "${file}" # drop bootid bootoption
 816            else
 817               sed -i "s/%BOOTID%/$BOOTID/g" "${file}" # adjust bootid=... argument
 818            fi
 819          fi
 820        done
 821
 822        # adjust bootsplash accordingly but make sure the string has the according lenght
 823        SQUASHFS_NAME="$(cut_string 20 "$SQUASHFS_NAME")"
 824        SQUASHFS_NAME="$(extend_string_end 20 "$SQUASHFS_NAME")"
 825        for file in f4 f5 ; do
 826           if [ -r "${BUILD_OUTPUT}/boot/isolinux/${file}" ] ; then
 827              sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "${BUILD_OUTPUT}/boot/isolinux/${file}"
 828              sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "${BUILD_OUTPUT}/boot/isolinux/${file}"
 829           fi
 830        done
 831
 832        # generate addon list
 833        rm -f "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 834        for name in "${BUILD_OUTPUT}"/boot/isolinux/addon_*.cfg ; do
 835          include_name=$(basename "$name")
 836          echo "include $include_name"  >> "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 837        done
 838
 839        if ! [ -r "${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg" ] || [ "$DISTRI_NAME" = "grml" ] ; then
 840           log "including grmlmain.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 841           echo "include grmlmain.cfg"    >  "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 842           echo "include default.cfg"     >  "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 843           echo "include menuoptions.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 844           echo "include grml.cfg"        >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 845
 846           for f in "${BUILD_OUTPUT}"/boot/isolinux/submenu*.cfg ; do
 847             echo "include $(basename $f)"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 848           done
 849
 850           echo "include options.cfg"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 851           if [ ! -n "$NO_ADDONS" ] ; then
 852             echo "include addons.cfg"    >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 853           fi
 854           echo "include isoprompt.cfg"   >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 855           echo "include hd.cfg"          >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 856           echo "include hidden.cfg"      >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 857        else # assume we are building a custom distribution:
 858           log "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 859           einfo "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 860           if grep -q "^include ${DISTRI_NAME}.cfg" "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 861             log "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 862             eindent
 863             einfo "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 864             eoutdent
 865             eend $?
 866          else
 867             log "including ${DISTRI_NAME}.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 868             echo "include ${DISTRI_NAME}.cfg" > "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 869             [ -n "$NO_ADDONS" ] || echo "include addons.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 870           fi
 871        fi
 872
 873        # use old style console based isolinux method only if requested:
 874        if [[ "${ISOLINUX_METHOD}" == "console" ]] ; then
 875           log 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 876           einfo 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 877           if grep -q '^include console.cfg' "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 878             einfo "include for console.cfg already found, nothing to do."
 879             eend 0
 880           else
 881             log "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 882             einfo "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 883             echo "include console.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 884             eend $?
 885           fi
 886        else
 887           log 'Using graphical boot menu.'
 888           if grep -q '^include vesamenu.cfg' "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg" ; then
 889             log "include for vesamenu.cfg already found, nothing to do."
 890           else
 891             log "including vesamenu.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 892             echo "include vesamenu.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 893           fi
 894        fi
 895
 896        if [ -e "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 ]; then
 897           sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6
 898        fi
 899
 900        DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot
 901        if ! [ -r "$DPKG_LIST" ] ; then
 902           ewarn "$DPKG_LIST could not be read, ignoring to store package information on ISO therefore."
 903        else
 904           einfo "Storing package list information as /GRML/${GRML_NAME}-packages.txt on ISO."
 905           cp "$DPKG_LIST" "${BUILD_OUTPUT}/GRML/${GRML_NAME}-packages.txt"
 906           eend $?
 907        fi
 908
 909        # autostart for Windows:
 910        if [ -d "${TEMPLATE_DIRECTORY}/windows/autostart/" ] ; then
 911           cp ${TEMPLATE_DIRECTORY}/windows/autostart/* "$BUILD_OUTPUT"/
 912        fi
 913
 914     FORCE_ISO_REBUILD=true
 915     einfo "Finished execution of stage 'boot'" ; eend 0
 916     fi
 917   fi # BOOTSTRAP_ONLY
 918 else
 919    log    'Error: Unsupported ARCH, sorry. Want to support it? Contribute!'
 920    eerror 'Error: Unsupported ARCH, sorry. Want to support it? Contribute!' ; eend 1
 921    bailout
 922 fi
 923
 924 # support installation of local files into the chroot/ISO
 925 if [ -n "$CHROOT_INSTALL" ] ; then
 926   if ! [ -d "$CHROOT_INSTALL" ] ; then
 927      log "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 928      ewarn "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 929   else
 930      log "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 931      einfo "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 932      rsync -avz --inplace "$CHROOT_INSTALL"/ "$CHROOT_OUTPUT/"
 933      eend $?
 934      einfo "Make sure to run squashfs stage, otherwise your local files won't be part of the ISO."
 935      FORCE_ISO_REBUILD=true
 936   fi
 937 fi
 938
 939 if [ -f "$BUILD_OUTPUT"/live/${GRML_NAME}.squashfs -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" ] ; then
 940    log   "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already."
 941    ewarn "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already." ; eend 0
 942 elif [ -n "$SKIP_MKSQUASHFS" ] ; then
 943    log   "Skipping stage 'squashfs' as requested via option -q or -N"
 944    ewarn "Skipping stage 'squashfs' as requested via option -q or -N" ; eend 0
 945 else
 946    [ -d "$BUILD_OUTPUT"/live ] || mkdir "$BUILD_OUTPUT"/live
 947    # make sure we don't leave (even an empty) base.tgz:
 948    [ -f "$CHROOT_OUTPUT/base.tgz" ] && rm -f "$CHROOT_OUTPUT/base.tgz"
 949
 950    # if unconfigured default to squashfs-tools' mksquashfs binary
 951    if [ -z "$SQUASHFS_BINARY" ] ; then
 952       SQUASHFS_BINARY='mksquashfs'
 953    fi
 954
 955    if which "$SQUASHFS_BINARY" >/dev/null 2>&1 ; then
 956       log    "Using mksquashfs binary ${SQUASHFS_BINARY}"
 957       einfo  "Using mksquashfs binary ${SQUASHFS_BINARY}" ; eend 0
 958    else
 959       log    "Error: mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting."
 960       eerror "Error: mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting." ; eend 1
 961       bailout
 962    fi
 963
 964    # use sane defaults if $SQUASHFS_OPTIONS isn't set
 965    if [ -z "$SQUASHFS_OPTIONS" ] ; then
 966      # use blocksize 256k as this gives best result with regards to time + compression
 967      SQUASHFS_OPTIONS="-b 256k"
 968
 969      # set lzma/xz compression by default, unless -z option has been specified on command line
 970      if [ -z "$SQUASHFS_ZLIB" ] ; then
 971         SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -comp xz"
 972      else
 973         SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -comp gzip"
 974      fi
 975    fi
 976
 977    # support exclusion of files via exclude-file:
 978    if [ -n "$SQUASHFS_EXCLUDES_FILE" -a "$SQUASHFS_EXCLUDES_FILE" ] ; then
 979       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -ef $SQUASHFS_EXCLUDES_FILE -wildcards"
 980    fi
 981
 982    # get rid of unnecessary files when building grml-small for final release:
 983    if echo "$CLASSES" | grep -q GRML_SMALL ; then
 984       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -e initrd.img* vmlinuz*"
 985    fi
 986
 987    # log stuff
 988    SQUASHFS_STDERR="$(mktemp -t grml-live.XXXXXX)"
 989
 990    # informational stuff
 991    [ -n "$SQUASHFS_OPTIONS" ]  && SQUASHFS_INFO_MSG="$SQUASHFS_OPTIONS"
 992    [ -n "$SQUASHFS_INFO_MSG" ] && SQUASHFS_INFO_MSG="using options: $SQUASHFS_INFO_MSG"
 993    einfo "Squashfs build information: running binary $SQUASHFS_BINARY $SQUASHFS_INFO_MSG"
 994
 995    log "$SQUASHFS_BINARY $CHROOT_OUTPUT/ $BUILD_OUTPUT/live/${GRML_NAME}.squashfs -noappend $SQUASHFS_OPTIONS"
 996
 997    if $SQUASHFS_BINARY $CHROOT_OUTPUT/ $BUILD_OUTPUT/live/"${GRML_NAME}".squashfs \
 998       -noappend $SQUASHFS_OPTIONS 2>"${SQUASHFS_STDERR}" ; then
 999       echo "${GRML_NAME}.squashfs" > $BUILD_OUTPUT/live/filesystem.module
1000       log "Finished execution of stage 'squashfs' [$(date)]"
1001       einfo "Finished execution of stage 'squashfs'" ; eend 0
1002    else
1003       log    "Error: there was a critical error executing stage 'squashfs' [$(date)]:"
1004       log    "$(cat $SQUASHFS_STDERR)"
1005       eerror "Error: there was a critical error executing stage 'squashfs':"
1006       cat    "${SQUASHFS_STDERR}"
1007       eend 1
1008       bailout
1009    fi
1010
1011    FORCE_ISO_REBUILD=true
1012 fi
1013
1014 # create md5sum file:
1015 if [ -z "$BOOTSTRAP_ONLY" ] ; then
1016   ( cd $BUILD_OUTPUT/GRML &&
1017   find .. -type f -not -name md5sums -not -name isolinux.bin -exec md5sum {} \; > md5sums )
1018 fi
1019 # }}}
1020
1021 # ISO_OUTPUT - mkisofs {{{
1022 [ -n "$ISO_OUTPUT" ] || ISO_OUTPUT="$OUTPUT/grml_isos"
1023 [ -n "$ISO_NAME" ] || ISO_NAME="${GRML_NAME}_${VERSION}.iso"
1024
1025 if [ "$BOOT_METHOD" = "isolinux" ] ; then
1026    BOOT_ARGS="-no-emul-boot -boot-load-size 4 -boot-info-table -b boot/isolinux/isolinux.bin -c boot/isolinux/boot.cat"
1027 elif [ "$BOOT_METHOD" = "grub2" ] ; then
1028    BOOT_ARGS="-no-emul-boot -boot-load-size 4 -b boot/grub/toriboot.bin"
1029 fi
1030
1031 # Just until http://bts.grml.org/grml/issue945 has been resolved.
1032 # HYBRID_METHOD defaults to manifold, so make sure the default works OOTB.
1033 if [[ $BOOT_METHOD != isolinux && ($HYBRID_METHOD = isohybrid || $HYBRID_METHOD = manifold) ]]; then
1034   log   "Setting HYBRID_METHOD to grub2 as hybrid mode does not work with isohybrid yet."
1035   ewarn "Setting HYBRID_METHOD to grub2 as hybrid mode does not work with isohybrid yet."
1036   HYBRID_METHOD='grub2'
1037   eend 0
1038 fi
1039
1040 if [ -f "${ISO_OUTPUT}/${ISO_NAME}" -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" -a "$FORCE_ISO_REBUILD" = "false" ]  ; then
1041    log   "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already."
1042    ewarn "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already." ; eend 0
1043 elif [ -n "$SKIP_MKISOFS" ] ; then
1044    log   "Skipping stage 'iso build' as requested via option -n or -N"
1045    ewarn "Skipping stage 'iso build' as requested via option -n or -N" ; eend 0
1046 else
1047    mkdir -p "$ISO_OUTPUT" || bailout 6 "Problem with creating $ISO_OUTPUT for stage 'iso build'"
1048
1049    if $FORCE_ISO_REBUILD && ! [ -f "${ISO_OUTPUT}/${ISO_NAME}" ] ; then
1050       log   "Forcing rebuild of ISO because files on ISO have been modified."
1051       einfo "Forcing rebuild of ISO because files on ISO have been modified."
1052    fi
1053
1054    # support mkisofs as well as genisoimage
1055    if which mkisofs >/dev/null 2>&1; then
1056       MKISOFS='mkisofs'
1057    elif which genisoimage >/dev/null 2>&1; then
1058       MKISOFS='genisoimage'
1059    else
1060       log    "Error: neither mkisofs nor genisoimage available - can not create ISO."
1061       eerror "Error: neither mkisofs nor genisoimage available - can not create ISO." ; eend 1
1062       bailout
1063    fi
1064
1065    CURRENT_DIR=$(pwd)
1066    if cd "$BUILD_OUTPUT" ; then
1067       if [ "$BOOT_METHOD" = "grub2" ]; then
1068          # make a 2048-byte bootsector for El Torito
1069          dd if=/dev/zero of=boot/grub/toriboot.bin bs=512 count=4 2>/dev/null
1070          # those are in 2048-byte sectors, so 1 16 matches 4 63 below
1071          echo 1 16 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -B 11 | \
1072             dd of=boot/grub/toriboot.bin conv=notrunc 2>/dev/null
1073       fi
1074       log "$MKISOFS -V '${GRML_NAME} ${VERSION}' -publisher 'grml-live | grml.org' -l -r -J $BOOT_ARGS -o ${ISO_OUTPUT}/${ISO_NAME} ."
1075       "$MKISOFS" -V "${GRML_NAME} ${VERSION}" -publisher 'grml-live | grml.org' \
1076               -l -r -J $BOOT_ARGS -no-pad \
1077               -o "${ISO_OUTPUT}/${ISO_NAME}" . ; RC=$?
1078       # both of these need core.img there, so it’s easier to write it here
1079       if [ "$BOOT_METHOD" = "grub2" ] || [ "$HYBRID_METHOD" = "grub2" ]; then
1080          # must be <= 30720 bytes
1081          dd if=boot/grub/core.img of="${ISO_OUTPUT}/${ISO_NAME}" \
1082            conv=notrunc bs=512 seek=4 2>/dev/null
1083       fi
1084
1085       # pad the output ISO to multiples of 256 KiB for partition table support
1086       siz=$($getfilesize "${ISO_OUTPUT}/${ISO_NAME}")
1087       cyls=$((siz / 512 / 32 / 16 + 1))   # C=$cyls H=16 S=32
1088       siz=$((cyls * 16 * 32 * 512))   # size after padding
1089       dd if=/dev/zero bs=1 count=1 seek=$((siz - 1)) \
1090          of="${ISO_OUTPUT}/${ISO_NAME}" 2>/dev/null
1091
1092       # support disabling hybrid ISO image
1093       if [ "$HYBRID_METHOD" = "disable" ] ; then\
1094          log   "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1095          einfo "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1096          eend 0
1097       # use isohybrid only on request
1098       elif [ "$HYBRID_METHOD" = "isohybrid" ] ; then
1099          if ! which isohybrid >/dev/null 2>&1 ; then
1100            bailout 12 "isohybrid binary not found - please install syslinux/syslinux-common"
1101          else
1102            log "Creating hybrid ISO file with isohybrid method"
1103            einfo "Creating hybrid ISO file with isohybrid method"
1104            # Notes for consideration:
1105            # "-entry 4 -type 1c"
1106            # * using 4 as the partition number is supposed to help with BIOSes
1107            #   that only support USB-Zip boot
1108            # * using 1c (i.e. hidden FAT32 LBA), instead of the default 0x17
1109            #   (hidden NTFS, IIRC), as the partition type is sometimes needed
1110            #   to get the BIOS even look at the partition created by isohybrid
1111            isohybrid "${ISO_OUTPUT}/${ISO_NAME}"
1112            eend $?
1113          fi
1114       # by default use our manifold boot method:
1115       else
1116          # isoinfo is part of both mkisofs and genisoimage so we're good
1117          bootoff=$(isoinfo -l -i "${ISO_OUTPUT}/${ISO_NAME}" | \
1118            sed -n '/^.*\[ *\([0-9]*\)[] ].* ISOLINUX.BIN;1 *$/s//\1/p')
1119          if ! [ -r boot/grub/core.img ] ; then
1120            ewarn "boot/grub/core.img not found, not creating manifold boot ISO file"
1121          elif [ "${bootoff:-0}" -lt 1 ] ; then
1122            ewarn "isolinux.bin not found on the ISO file, disabling manifold boot"
1123          else
1124            log "Creating hybrid ISO file with manifold method"
1125            einfo "Creating hybrid ISO file with manifold method"
1126            if [ "$HYBRID_METHOD" = "grub2" ] ; then
1127                # 512 bytes: MBR, partition table, load GRUB 2
1128                echo 4 63 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -A -M 4:0x96 -g $cyls:16:32
1129            else
1130               # read only one but 2048-byte sized (scale: << 2) sector
1131               echo $bootoff $bootoff | \
1132                  mksh /usr/share/grml-live/scripts/bootilnx.mksh -A -M 4:0x96 -g $cyls:16:32 -S 2
1133            fi | dd of="${ISO_OUTPUT}/${ISO_NAME}" conv=notrunc 2>/dev/null
1134            eend $?
1135          fi
1136       fi
1137
1138       # generate md5sum and sha1sum of ISO if we are using class 'RELEASE':
1139       case $CLASSES in *RELEASE*)
1140          [ "$RC" = 0 ] && \
1141          (
1142            if cd $ISO_OUTPUT ; then
1143              md5sum ${ISO_NAME} > ${ISO_NAME}.md5 && \
1144              touch -r ${ISO_NAME} ${ISO_NAME}.md5
1145              sha1sum ${ISO_NAME} > ${ISO_NAME}.sha1 && \
1146              touch -r ${ISO_NAME} ${ISO_NAME}.sha1
1147            fi
1148          )
1149          ;;
1150       esac
1151
1152       cd "$CURRENT_DIR"
1153    fi
1154
1155    if [ "$RC" = 0 ] ; then
1156       log   "Finished execution of stage 'iso build' [$(date)]"
1157       einfo "Finished execution of stage 'iso build'" ; eend 0
1158    else
1159       log    "Error: there was a critical error ($RC) executing stage 'iso build' [$(date)]"
1160       eerror "Error: there was a critical error executing stage 'iso build'" ; eend 1
1161       bailout $RC
1162    fi
1163 fi
1164 # }}}
1165
1166 # log build information to database if grml-live-db is installed and enabled {{{
1167 dpkg_to_db() {
1168 if [ -d /usr/share/grml-live-db ] ; then
1169
1170   # safe defaults
1171   DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot:
1172   [ -n "$DPKG_DATABASE" ]  || DPKG_DATABASE=/var/log/grml-live.db
1173   [ -n "$DPKG_DBSCRIPT" ]  || DPKG_DBSCRIPT=/usr/share/grml-live-db/scripts/dpkg-to-db
1174   [ -n "$DPKG_DBOPTIONS" ] || DPKG_DBOPTIONS="--database $DPKG_DATABASE --logfile $LOGFILE --flavour $GRML_NAME --dpkg $DPKG_LIST"
1175
1176   if ! [ -x "$DPKG_DBSCRIPT" ] ; then
1177     log "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information."
1178     eerror "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information." ; eend 1
1179     bailout 14
1180   fi
1181
1182   # disable by default for now, not sure whether really everyone is using a local db file
1183   #if ! touch "$DPKG_DATABASE" ; then
1184   #  eerror "Error: can not write to ${DPKG_DATABASE}, can not log dpkg information." ; eend 1
1185   #  bailout 14
1186   #fi
1187
1188   if ! [ -r "$DPKG_LIST" ] ; then
1189      log   "Warning: can not read $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT (dirty build?)"
1190      ewarn "Warning: can not read $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT (dirty build?)" ; eend 0
1191   else
1192      einfo "Logging $DPKG_LIST to database $DPKG_DATABASE"
1193      log "Logging $DPKG_LIST to database $DPKG_DATABASE"
1194      log "Executing $DPKG_DBSCRIPT $DPKG_DBOPTIONS"
1195      eindent
1196
1197      if DB_INFO=$("$DPKG_DBSCRIPT" $DPKG_DBOPTIONS 2>&1) ; then
1198        einfo "$DB_INFO"
1199        eend 0
1200      else
1201        eerror "$DB_INFO"
1202        eend 1
1203      fi
1204
1205      eoutdent
1206   fi
1207
1208 fi
1209 }
1210 # }}}
1211
1212 # finalize {{{
1213 [ -n "$start_seconds" ] && SECONDS="$[$(cut -d . -f 1 /proc/uptime)-$start_seconds]" || SECONDS="unknown"
1214 log "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]"
1215
1216 dpkg_to_db # make sure we catch the last log line as well, therefore execute between log + einfo
1217
1218 einfo "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]" ; eend 0
1219 bailout 0
1220 # }}}
1221
1222 ## END OF FILE #################################################################
1223 # vim:foldmethod=marker ts=2 ft=sh ai expandtab tw=80 sw=2