grml-live

   1 #!/bin/bash
   2 # Filename:      grml-live
   3 # Purpose:       build process script for generating a (grml based) Linux Live-ISO
   4 # Authors:       grml-team (grml.org),
   5 #                (c) Michael Prokop <mika@grml.org>,
   6 #                (c) Thorsten Glaser <tg@mirbsd.org>
   7 # Bug-Reports:   see http://grml.org/bugs/
   8 # License:       This file is licensed under the GPL v2 or any later version.
   9 ################################################################################
  10
  11 # some misc and global stuff {{{
  12 export LANG=C
  13 export LC_ALL=C
  14
  15 # define function getfilesize before "set -e"
  16 if stat --help >/dev/null 2>&1; then
  17   getfilesize='stat -c %s'  # GNU stat
  18 else
  19   getfilesize='stat -f %z'  # BSD stat
  20 fi
  21
  22 # exit on any error:
  23 set -e
  24
  25 # global variables
  26 GRML_LIVE_VERSION='0.9.34'
  27 PN="$(basename $0)"
  28 CMDLINE="$0 $@"
  29 SOURCES_LIST_FILE='/etc/grml/fai/apt/sources.list'
  30 ADDONS_LIST_FILE='/boot/isolinux/addons_list.cfg'
  31 # }}}
  32
  33 # usage information {{{
  34 usage()
  35 {
  36   echo "
  37 $PN - build process script for generating a (grml based) Linux Live-ISO
  38
  39 Usage: $PN [options, see as follows]
  40
  41    -a <architecture>       architecture; available values: i386 and amd64
  42    -b                      build the ISO without updating the chroot via FAI
  43    -B                      build the ISO without touching the chroot (skips cleanup)
  44    -c <classe[s]>          classes to be used for building the ISO via FAI
  45    -C <configfile>         configuration file for grml-live
  46    -d <date>               use specified date instead of build time as date of release
  47    -F                      force execution without prompting
  48    -g <grml_name>          set the grml flavour name
  49    -h                      display short usage information and exit
  50    -i <iso_name>           name of ISO
  51    -I <src_directory>      directory which provides files that should become
  52                            part of the chroot/ISO
  53    -n                      skip generation of ISO
  54    -o <output_directory>   main output directory of the build process
  55    -q                      skip mksquashfs
  56    -r <release_name>       release name
  57    -s <suite>              Debian suite; values: etch, lenny, squeeze, sid
  58    -t <template_directory> place of the templates
  59    -u                      update existing chroot instead of rebuilding it from scratch
  60    -v <version_number>     specify version number of the release
  61    -V                      increase verbosity in the build process
  62    -z                      use ZLIB instead of LZMA compression (depends on
  63                            squashfs-tools version)
  64
  65 Usage examples:
  66
  67     $PN
  68     $PN -c GRMLBASE,GRML_MEDIUM,I386 -o /dev/shm/grml
  69     $PN -c GRMLBASE,GRML_SMALL,REMOVE_DOCS,I386 -g grml-small -v 1.0
  70     $PN -c GRMLBASE,GRML_FULL,I386 -i grml_0.0-1.iso -v 0.0-1
  71     $PN -c GRMLBASE,GRML_FULL,I386 -s sid -V -r 'grml-live rocks'
  72
  73 More details: man grml-live + /usr/share/doc/grml-live/grml-live.html
  74               http://grml.org/grml-live/
  75
  76 Please send your bug reports and feedback to the grml-team: http://grml.org/bugs/
  77 "
  78 }
  79
  80 # make sure it's possible to get usage information without being
  81 # root or actually executing the script
  82 if [ "$1" = '-h' -o "$1" = '--help' ] ; then
  83    usage
  84    [ "$(id -u 2>/dev/null)" != 0 ] && echo "Please notice that this script requires root permissions."
  85    exit 0
  86 fi
  87 # }}}
  88
  89 # some runtime checks {{{
  90 # we need root permissions for the build-process:
  91 if [ "$(id -u 2>/dev/null)" != 0 ] ; then
  92    echo "Error: please run this script with uid 0 (root)." >&2
  93    exit 1
  94 fi
  95
  96 if [ -r /var/run/fai/FAI_INSTALLATION_IN_PROGRESS ] ; then
  97    echo "/usr/sbin/fai already running or was aborted before.">&2
  98    echo "You may remove /var/run/fai/FAI_INSTALLATION_IN_PROGRESS and try again.">&2
  99    exit 1
 100 fi
 101
 102 # see #449236
 103 if [ -r /var/run/fai/fai_softupdate_is_running ] ; then
 104    echo "/usr/sbin/fai softupdate already running or was aborted before.">&2
 105    echo "You may remove /var/run/fai/fai_softupdate_is_running and try again.">&2
 106    exit 1
 107 fi
 108 # }}}
 109
 110 # lsb-functions and configuration stuff {{{
 111 # make sure they are not set by default
 112 VERBOSE=''
 113 FORCE=''
 114 UPDATE=''
 115 BUILD_ONLY=''
 116 BUILD_DIRTY=''
 117 HOSTNAME=''
 118
 119 if [ -r /etc/grml/lsb-functions ] ; then
 120    . /etc/grml/lsb-functions
 121 else
 122    einfo()  { echo "  [*] $*" ;}
 123    eerror() { echo "  [!] $*">&2 ;}
 124    ewarn()  { echo "  [x] $*" ;}
 125    eend()   { return 0 ;}
 126    eindent()  { return 0 ;}
 127    eoutdent() { return 0 ;}
 128 fi
 129
 130 # source main configuration file:
 131 LIVE_CONF=/etc/grml/grml-live.conf
 132 . $LIVE_CONF
 133 # }}}
 134
 135 # clean exit {{{
 136 bailout() {
 137   rm -f /var/run/fai/fai_softupdate_is_running \
 138         /var/run/fai/FAI_INSTALLATION_IN_PROGRESS
 139   [ -n "$SQUASHFS_STDERR" ]  && rm -rf "$SQUASHFS_STDERR"
 140   [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 141   [ -n "$1" ] && EXIT="$1" || EXIT="1"
 142   [ -n "$2" ] && eerror "$2">&2
 143   log "------------------------------------------------------------------------------"
 144   exit "$EXIT"
 145 }
 146 trap bailout 1 2 3 3 6 9 14 15
 147 # }}}
 148
 149 # log file stuff {{{
 150 [ -n "$LOGFILE" ] || LOGFILE=/var/log/grml-live.log
 151 touch $LOGFILE
 152 chown root:adm $LOGFILE
 153 chmod 664 $LOGFILE
 154 # }}}
 155
 156 # some important functions {{{
 157
 158 # log output:
 159 # usage: log "string to log"
 160 log() { echo "$*" >> $LOGFILE ; }
 161
 162 # cut string at character number int = $1
 163 # usage: cut_string 5 "1234567890" will output "12345"
 164 cut_string() {
 165   [ -n "$2" ] || return 1
 166   echo "$2" | head -c "$1"; echo -ne "\n"
 167 }
 168
 169 # prepend int = $1 spaces before string = $2
 170 # usage: extend_string_begin 5 "123" will output "  123"
 171 extend_string_begin() {
 172   [ -n "$2" ] || return 1
 173   local COUNT="$(echo $2 | wc -c)"
 174   local FILL="$(expr $COUNT - $1)"
 175   while [ "$FILL" -gt 1 ] ; do
 176     echo -n " "
 177     local FILL=$(expr $FILL - 1)
 178   done
 179   while [ "$FILL" -lt 1 ] ; do
 180     echo -n " "
 181     local FILL=$(expr $FILL + 1)
 182   done
 183   echo "$2" | head -c "$1"; echo -ne "\n"
 184 }
 185
 186 # append int = $1 spaces to string = $2
 187 # usage: extend_string_begin 5 "123" will output "123  "
 188 extend_string_end() {
 189   [ -n "$2" ] || return 1
 190   echo -n "$2" | head -c "$1"
 191   local COUNT="$(echo $2 | wc -c)"
 192   local FILL="$(expr $COUNT - $1)"
 193   while [ "$FILL" -gt 1 ] ; do
 194     echo -n " "
 195     local FILL=$(expr $FILL - 1)
 196   done
 197   while [ "$FILL" -lt 1 ] ; do
 198     echo -n " "
 199     local FILL=$(expr $FILL + 1)
 200   done
 201   echo -ne "\n"
 202 }
 203 # }}}
 204
 205 # read local (non-packaged) configuration {{{
 206 LOCAL_CONFIG=/etc/grml/grml-live.local
 207 if [ -r "$LOCAL_CONFIG" ] ; then
 208    log "Sourcing $LOCAL_CONFIG"
 209    . $LOCAL_CONFIG
 210 else
 211    log "No $LOCAL_CONFIG found, not sourcing it"
 212    LOCAL_CONFIG=''
 213 fi
 214 # }}}
 215
 216 # command line parsing {{{
 217 while getopts "a:C:c:d:g:i:I:o:r:s:t:v:bBFnquVz" opt; do
 218   case "$opt" in
 219     a) ARCH="$OPTARG" ;;
 220     b) BUILD_ONLY=1 ;;
 221     B) BUILD_DIRTY=1 ;;
 222     c) CLASSES="$OPTARG" ;;
 223     C) CONFIG="$OPTARG" ;;
 224     d) DATE="$OPTARG" ;;
 225     g) GRML_NAME="$OPTARG" ;;
 226     i) ISO_NAME="$OPTARG" ;;
 227     I) CHROOT_INSTALL="$OPTARG" ;;
 228     n) SKIP_MKISOFS=1 ;;
 229     o) OUTPUT="$OPTARG" ;;
 230     q) SKIP_MKSQUASHFS=1 ;;
 231     r) RELEASENAME="$OPTARG" ;;
 232     s) SUITE="$OPTARG" ;;
 233     t) TEMPLATE_DIRECTORY="$OPTARG";;
 234     v) VERSION="$OPTARG" ;;
 235     F) FORCE=1 ;;
 236     u) UPDATE=1 ;;
 237     V) VERBOSE="-v" ;;
 238     z) SQUASHFS_ZLIB="-nolzma" ;;
 239     ?) echo "invalid option -$OPTARG" >&2; bailout 1 ;;
 240   esac
 241 done
 242 shift $(($OPTIND - 1))  # set ARGV to the first not parsed commandline parameter
 243 # }}}
 244
 245 # assume sane defaults (if not set already) {{{
 246 [ -n "$ARCH" ]             || ARCH="$(dpkg --print-architecture)"
 247 [ -n "$BOOT_METHOD" ]      || BOOT_METHOD='isolinux'
 248 [ -n "$BUILD_OUTPUT" ]     || BUILD_OUTPUT="$OUTPUT/grml_cd"
 249 [ -n "$CHROOT_OUTPUT" ]    || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 250 [ -n "$CLASSES" ]          || CLASSES="GRMLBASE,GRML_MEDIUM,I386"
 251 [ -n "$DATE" ]             || DATE="$(date +%Y-%m-%d)"
 252 [ -n "$DISTRI_INFO" ]      || DISTRI_INFO='Grml - Live Linux for system administrators   '
 253 [ -n "$DISTRI_NAME" ]      || DISTRI_NAME="grml"
 254 [ -n "$DISTRI_SPLASH" ]    || DISTRI_SPLASH='grml.png'
 255 [ -n "$FORCE_ISO_REBUILD" ] || FORCE_ISO_REBUILD="false"
 256 [ -n "$GRML_FAI_CONFIG" ]  || GRML_FAI_CONFIG='/etc/grml/fai'
 257 [ -n "$GRML_NAME" ]        || GRML_NAME='grml'
 258 [ -n "$HOSTNAME" ]         || HOSTNAME='grml'
 259 [ -n "$ISO_OUTPUT" ]       || ISO_OUTPUT="$OUTPUT/grml_isos"
 260 [ -n "$NFSROOT_CONF" ]     || NFSROOT_CONF='/etc/grml/fai/make-fai-nfsroot.conf'
 261 [ -n "$OUTPUT" ]           || OUTPUT='/grml/grml-live'
 262 [ -n "$RELEASENAME" ]      || RELEASENAME='grml-live rocks'
 263 [ -n "$SQUASHFS_EXCLUDES_FILE " ] || SQUASHFS_EXCLUDES_FILE='/etc/grml/fai/squashfs-excludes'
 264 [ -n "$SUITE" ]            || SUITE='lenny'
 265 [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 266 [ -n "$USERNAME" ]         || USERNAME='grml'
 267 [ -n "$VERSION" ]          || VERSION='0.0.1'
 268 [ -n "$WINDOWS_BINARIES" ] || WINDOWS_BINARIES='http://the.earth.li/~sgtatham/putty/latest/x86/'
 269 # }}}
 270
 271 # some misc checks before executing FAI {{{
 272 [ -n "$CLASSES" ] || bailout 1 "Error: \$CLASSES unset, please set it in $LIVE_CONF or
 273 specify it on the command line using the -c option."
 274 [ -n "$OUTPUT" ] || bailout 1 "Error: \$OUTPUT unset, please set it in $LIVE_CONF or
 275 specify it on the command line using the -o option."
 276
 277 # set subdirectories according to $OUTPUT:
 278 CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 279 BUILD_OUTPUT="$OUTPUT/grml_cd"
 280 ISO_OUTPUT="$OUTPUT/grml_isos"
 281
 282 # trim characters that are known to cause problems inside $GRML_NAME;
 283 # for example isolinux does not like '-' inside the directory name
 284 [ -n "$GRML_NAME" ] && export SHORT_NAME="$(echo $GRML_NAME | tr -d ',./;\- ')"
 285
 286 # export variables to have them available in fai scripts:
 287 [ -n "$GRML_NAME" ]   && export GRML_NAME="$GRML_NAME"
 288 [ -n "$RELEASENAME" ] && export RELEASENAME="$RELEASENAME"
 289 # }}}
 290
 291 # ZERO_LOGFILE - check for backwards compatibility reasons {{{
 292 # this was default behaviour until grml-live 0.9.34:
 293 if [ -n "$ZERO_LOGFILE" ] ; then
 294    PRESERVE_LOGFILE='' # make sure it's cleaned then
 295    ewarn "Please consider disabling the \$ZERO_LOGFILE option as grml-live clears..."
 296    ewarn "... the logfile $LOGFILE by default (unless \$PRESERVE_LOGFILE is set) nowadays."
 297    eend 0
 298 fi
 299 # }}}
 300
 301 # ask user whether the setup is ok {{{
 302 if [ -z "$FORCE" ] ; then
 303    echo
 304    echo "${PN} [${GRML_LIVE_VERSION}]: check your configuration (or use -F to force execution):"
 305    echo
 306    echo "  FAI classes:       $CLASSES"
 307    [ -r "$LOCAL_CONFIG" ]       && echo "  local config:      /etc/grml/grml-live.local"
 308    [ -n "$CONFIG" ]             && echo "  configuration:     $CONFIG"
 309    echo "  main directory:    $OUTPUT"
 310    [ -n "$CHROOT_OUTPUT" ]      && echo "  chroot target:     $CHROOT_OUTPUT"
 311    [ -n "$BUILD_OUTPUT" ]       && echo "  build target:      $BUILD_OUTPUT"
 312    [ -n "$ISO_OUTPUT" ]         && echo "  ISO target:        $ISO_OUTPUT"
 313    [ -n "$GRML_NAME" ]          && echo "  grml name:         $GRML_NAME"
 314    [ -n "$RELEASENAME" ]        && echo "  release name:      $RELEASENAME"
 315    [ -n "$DATE" ]               && echo "  build date:        $DATE"
 316    [ -n "$VERSION" ]            && echo "  grml version:      $VERSION"
 317    [ -n "$SUITE" ]              && echo "  Debian suite:      $SUITE"
 318    [ -n "$ARCH" ]               && echo "  Architecture:      $ARCH"
 319    [ -n "$BOOT_METHOD" ]        && echo "  Boot method:       $BOOT_METHOD"
 320    [ -n "$TEMPLATE_DIRECTORY" ] && echo "  Template files:    $TEMPLATE_DIRECTORY"
 321    [ -n "$CHROOT_INSTALL" ]     && echo "  Install files from directory to chroot:  $CHROOT_INSTALL"
 322    [ -n "$FAI_ARGS" ]           && echo "  additional arguments for FAI: $FAI_ARGS"
 323    [ -n "$LOGFILE" ]            && echo "  Logging to file:   $LOGFILE"
 324    [ -n "$SQUASHFS_ZLIB" ]      && echo "  Using ZLIB (instead of LZMA) compression."
 325    [ -n "$SQUASHFS_OPTIONS" ]   && echo "  Using SQUASHFS_OPTIONS ${SQUASHFS_OPTIONS}"
 326    [ -n "$VERBOSE" ]            && echo "  Using VERBOSE mode."
 327    [ -n "$UPDATE" ]             && echo "  Executing UPDATE instead of fresh installation."
 328    [ -n "$SKIP_MKSQUASHFS" ]    && echo "  Skipping creation of SQUASHFS file."
 329    [ -n "$SKIP_MKISOFS" ]       && echo "  Skipping creation of ISO file."
 330    [ -n "$BUILD_ONLY" ]         && echo "  Executing BUILD_ONLY instead of fresh installation or UPDATE."
 331    [ -n "$BUILD_DIRTY" ]        && echo "  Executing BUILD_DIRTY to leave chroot untouched."
 332    echo
 333    echo -n "Is this ok for you? [y/N] "
 334    read a
 335    if ! [ "$a" = 'y' -o "$a" = 'Y' ] ; then
 336       bailout 1 "Exiting as requested."
 337    fi
 338    echo
 339 fi
 340 # }}}
 341
 342 # clean/zero/remove logfiles {{{
 343
 344 if [ -n "$PRESERVE_LOGFILE" ] ; then
 345    echo "Preserving logfile $LOGFILE as requested via \$PRESERVE_LOGFILE"
 346 else
 347    # make sure it is empty (as it is e.g. appended to grml-live-db)
 348    echo -n > $LOGFILE
 349 fi
 350
 351 if [ -n "$ZERO_FAI_LOGFILE" ] ; then
 352    if [ -d /var/log/fai/"$HOSTNAME" ] ; then
 353       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last)"
 354       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-dirinstall)"
 355       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-softupdate)"
 356       rm -f /var/log/fai/"$HOSTNAME"/last \
 357             /var/log/fai/"$HOSTNAME"/last-dirinstall \
 358             /var/log/fai/"$HOSTNAME"/last-softupdate
 359    fi
 360 fi
 361 # }}}
 362
 363 # source config and startup {{{
 364 if [ -n "$CONFIG" ] ; then
 365    if ! [ -f "$CONFIG" ] ; then
 366       log    "Error: $CONFIG could not be read. Exiting. [$(date)]"
 367       eerror "Error: $CONFIG could not be read. Exiting." ; eend 1
 368       bailout 1
 369    else
 370       log "Sourcing $CONFIG"
 371       . $CONFIG
 372    fi
 373 fi
 374
 375 start_seconds=$(cut -d . -f 1 /proc/uptime)
 376 log "------------------------------------------------------------------------------"
 377 log "Starting grml-live [${GRML_LIVE_VERSION}] run on $(date)"
 378 log "Executed grml-live command line:"
 379 log "$CMDLINE"
 380
 381 einfo "Logging actions to logfile $LOGFILE"
 382 # }}}
 383
 384 # on-the-fly configuration {{{
 385 if [ -n "$MIRROR_DIRECTORY" ] ; then
 386    if ! [ -d "$MIRROR_DIRECTORY/debian" ] ; then
 387       log    "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting. [$(date)]"
 388       eerror "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting." ; eend 1
 389       bailout 1
 390    fi
 391    cat > "$SOURCES_LIST_FILE" << EOF
 392 # NOTE: This file is *NOT* meant for manual customisation! This file is
 393 # modified by grml-live and any changes might be overriden.
 394 # You might consider using GRML_LIVE_SOURCES in /etc/grml/grml-live.conf*
 395 # and using /etc/grml/fai/files/etc/apt instead!'
 396 EOF
 397    echo "$MIRROR_SOURCES" >> "$SOURCES_LIST_FILE"
 398    if [ -n "$GRML_LIVE_SOURCES" ] ; then
 399       echo "$GRML_LIVE_SOURCES" >> "$SOURCES_LIST_FILE"
 400    fi
 401 elif [ -n "$GRML_LIVE_SOURCES" ] ; then
 402    cat > "$SOURCES_LIST_FILE" << EOF
 403 # NOTE: This file is *NOT* meant for manual customisation! This file is
 404 # modified by grml-live and any changes might be overriden.
 405 # You might consider using GRML_LIVE_SOURCES in /etc/grml/grml-live.conf*
 406 # and using /etc/grml/fai/files/etc/apt instead!'
 407 EOF
 408    echo "$GRML_LIVE_SOURCES" >> "$SOURCES_LIST_FILE"
 409 fi
 410
 411 if [ -n "$FAI_DEBOOTSTRAP" ] ; then
 412    sed "s#^FAI_DEBOOTSTRAP=.*#FAI_DEBOOTSTRAP=\"$FAI_DEBOOTSTRAP\"#" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 413 fi
 414
 415 # does this suck? YES!
 416 # /usr/share/debootstrap/scripts/unstable does not exist, instead use 'sid':
 417 case $SUITE in
 418    unstable) SUITE='sid' ;;
 419    # make sure that we *NEVER* write any broken suite name to sources.list,
 420    # otherwise we won't be able to adjust it one next (correct) execution
 421    stable)   ;;
 422    testing)  ;;
 423    etch)     ;;
 424    lenny)    ;;
 425    squeeze)  ;;
 426    sid)      ;;
 427    *) echo "Sorry, $SUITE is not a valid Debian suite, exiting.">&2; bailout 1 ;;
 428 esac
 429
 430 DIST=" etch\| stable\| lenny\| squeeze\| testing\| sid\| unstable"
 431 sed "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" "$SOURCES_LIST_FILE" | sponge "$SOURCES_LIST_FILE"
 432 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" ; do
 433     if [ -n "$file" ] ; then
 434        sed "s/^SUITE=.*/SUITE=\"$SUITE\"/" $file | sponge $file
 435        sed "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" "$file" | sponge "$file"
 436     fi
 437 done
 438
 439 # notice: activate grml-live pool only if we are building against unstable:
 440 if grep -qe unstable -qe sid "$SOURCES_LIST_FILE" ; then
 441    grep -q 'grml-live.*main' "$SOURCES_LIST_FILE" || \
 442    grep grml-stable "$SOURCES_LIST_FILE" | \
 443         sed 's/grml-stable/grml-live/' >> "$SOURCES_LIST_FILE"
 444 else
 445    grep -q 'grml-live.*main' "$SOURCES_LIST_FILE" && \
 446    sed 's/.*grml-live.*/# removed grml-live repository/' "$SOURCES_LIST_FILE" | sponge "$SOURCES_LIST_FILE"
 447 fi
 448
 449 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" "$NFSROOT_CONF" ; do
 450     if [ -n "$file" ] ; then
 451        sed "s|^FAI_DEBOOTSTRAP=\"[a-z]* |FAI_DEBOOTSTRAP=\"$SUITE |" "$file" | sponge "$file"
 452     fi
 453 done
 454
 455 # validate whether the specified architecture class matches the
 456 # architecture (option), otherwise installation of kernel will fail
 457 if echo $CLASSES | grep -qi i386 ; then
 458    if ! [[ "$ARCH" == "i386" ]] ; then
 459       log    "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 460       eerror "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 461       eerror "Tip:   Either invoke grml-live with '-a i386' or adjust the architecture class. Exiting."
 462       eend 1
 463       bailout
 464    fi
 465 elif echo $CLASSES | grep -qi amd64 ; then
 466    if ! [[ "$ARCH" == "amd64" ]] ; then
 467       log    "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 468       eerror "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 469       eerror "Tip:   Either invoke grml-live with '-a amd64' or adjust the architecture class. Exiting."
 470       eend 1
 471       bailout
 472    fi
 473 fi
 474
 475 if grep -q -- 'FAI_DEBOOTSTRAP_OPTS.*--arch' "$NFSROOT_CONF" ; then
 476    sed "s/--arch [a-z0-9]* /--arch $ARCH /" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 477 else
 478    sed "s|^FAI_DEBOOTSTRAP_OPTS=\"\(.*\)|FAI_DEBOOTSTRAP_OPTS=\"--arch $ARCH \1|" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 479 fi
 480 # }}}
 481
 482 # CHROOT_OUTPUT - execute FAI {{{
 483 if [ -n "$BUILD_DIRTY" ]; then
 484    log   "Skipping stage 'fai' as requested via option -B"
 485    ewarn "Skipping stage 'fai' as requested via option -B" ; eend 0
 486 else
 487    [ -n "$CHROOT_OUTPUT" ] || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 488
 489    # provide inform fai about the ISO we build
 490    [ -d "$CHROOT_OUTPUT/etc/" ] || mkdir -p "$CHROOT_OUTPUT/etc/"
 491    echo '# This file has been generated by grml-live.' > "$CHROOT_OUTPUT/etc/grml_live_version"
 492    [ -n "$GRML_LIVE_VERSION" ] && echo "GRML_LIVE_VERSION=$GRML_LIVE_VERSION" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 493    [ -n "$SUITE" ] && echo "SUITE=$SUITE" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 494
 495    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 496       FAI_ACTION=softupdate
 497    else
 498       FAI_ACTION=dirinstall
 499    fi
 500
 501    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 502       if ! [ -r "$CHROOT_OUTPUT/etc/debian_version" ] ; then
 503          log    "Error: does not look like you have a working chroot. Updating/building not possible."
 504          eerror "Error: does not look like you have a working chroot. Updating/building not possible. (Drop -u/-b option?)"
 505          eend 1
 506          bailout 20
 507       fi
 508    fi
 509
 510    if [ -d "$CHROOT_OUTPUT/bin" -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 511       log   "Skiping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already."
 512       ewarn "Skiping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already." ; eend 0
 513    else
 514       mkdir -p "$CHROOT_OUTPUT" || bailout 5 "Problem with creating $CHROOT_OUTPUT for FAI"
 515
 516       if [ -n "${MIRROR_DIRECTORY}" ] ; then
 517          mkdir -p "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 518          mount --bind "${MIRROR_DIRECTORY}" "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 519       fi
 520
 521       log "Executed FAI command line:"
 522       log "BUILD_ONLY=$BUILD_ONLY fai $VERBOSE -C $GRML_FAI_CONFIG -c$CLASSES -u $HOSTNAME $FAI_ACTION $CHROOT_OUTPUT $FAI_ARGS"
 523       BUILD_ONLY="$BUILD_ONLY" fai $VERBOSE -C "$GRML_FAI_CONFIG" -c"$CLASSES" -u \
 524       "$HOSTNAME" $FAI_ACTION "$CHROOT_OUTPUT" $FAI_ARGS | tee -a $LOGFILE
 525       RC="$PIPESTATUS" # notice: bash-only
 526
 527       FORCE_ISO_REBUILD=true
 528
 529       if [ "$RC" != 0 ] ; then
 530          log    "Error: critical error while executing fai [exit code ${RC}]. Exiting."
 531          eerror "Error: critical error while executing fai [exit code ${RC}]. Exiting." ; eend 1
 532          bailout 1
 533       else
 534          log "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
 535          echo "$GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]" > $CHROOT_OUTPUT/etc/grml_version
 536          chmod 644 $CHROOT_OUTPUT/etc/grml_version
 537          einfo "Rebuilding initramfs"
 538          # make sure new /etc/grml_version reaches the initramfs:
 539          # chroot $CHROOT_OUTPUT update-initramfs -u -t => might break when using kernel-package :(
 540          chroot $CHROOT_OUTPUT update-initramfs -u -k all
 541          eend $?
 542       fi
 543
 544       # Remove all FAI logs from chroot if class RELEASE is used:
 545       if [ -f "$CHROOT_OUTPUT"/etc/grml_fai_release ] ; then
 546          rm -rf "$CHROOT_OUTPUT"/var/log/fai/*
 547       fi
 548
 549       # make sure we don't leave any mounts - FAI doesn't remove them always
 550       umount $CHROOT_OUTPUT/proc 2>/dev/null || /bin/true
 551       umount $CHROOT_OUTPUT/sys  2>/dev/null || /bin/true
 552       umount $CHROOT_OUTPUT/dev/pts 2>/dev/null || /bin/true
 553       umount $CHROOT_OUTPUT/dev 2>/dev/null || /bin/true
 554
 555       [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 556
 557       # notice: 'fai dirinstall' does not seem to exit appropriate, so:
 558       ERROR=''
 559       CHECKLOG=/var/log/fai/$HOSTNAME/last
 560       if [ -r "$CHECKLOG/software.log" ] ; then
 561          # 1 errors during executing of commands
 562          grep 'dpkg: error processing' $CHECKLOG/software.log >> $LOGFILE && ERROR=1
 563          grep 'E: Method http has died unexpectedly!' $CHECKLOG/software.log >> $LOGFILE && ERROR=2
 564          grep 'ERROR: chroot' $CHECKLOG/software.log >> $LOGFILE && ERROR=3
 565          grep 'E: Failed to fetch' $CHECKLOG/software.log >> $LOGFILE && ERROR=4
 566          grep 'Unable to write mmap - msync (28 No space left on device)' $CHECKLOG/software.log >> $LOGFILE && ERROR=5
 567       fi
 568
 569       if [ -r "$CHECKLOG/shell.log" ] ; then
 570          grep 'FAILED with exit code' $CHECKLOG/shell.log >> $LOGFILE && ERROR=2
 571       fi
 572
 573       if [ -n "$ERROR" ] ; then
 574          log    "Error: there was a critical error [${ERROR}] during execution of stage 'fai dirinstall' [$(date)]"
 575          eerror "Error: there was a critical error during execution of stage 'fai dirinstall'"
 576          eerror "Note:  check out ${CHECKLOG}/ for details. [exit ${ERROR}]"
 577          eend 1
 578          bailout 1
 579       else
 580          log "Finished execution of stage 'fai dirinstall' [$(date)]"
 581          einfo "Finished execution of stage 'fai dirinstall'"
 582       fi
 583
 584       einfo "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 585       log   "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 586       eend 0
 587    fi
 588 fi # BUILD_DIRTY?
 589 # }}}
 590
 591 # package validator {{{
 592 CHECKLOG=/var/log/fai/$HOSTNAME/last
 593 # package validator
 594 if [ -r "$CHECKLOG/package_errors.log" ] && grep -q '[a-z]' "$CHECKLOG/package_errors.log" ; then
 595
 596    if [ -n "$EXIT_ON_MISSING_PACKAGES" ] ; then
 597       eerror "The following packages were requested for installation but could not be processed:"
 598       cat $CHECKLOG/package_errors.log
 599       eerror "... exiting as requested via \$EXIT_ON_MISSING_PACKAGES."
 600       eend 1
 601       bailout 13
 602    else
 603       ewarn "The following packages were requested for installation but could not be processed:"
 604       cat $CHECKLOG/package_errors.log
 605       eend 0
 606    fi
 607 fi
 608 # }}}
 609
 610 # BUILD_OUTPUT - execute arch specific stuff and squashfs {{{
 611 [ -n "$BUILD_OUTPUT" ] || BUILD_OUTPUT="$OUTPUT/grml_cd"
 612 mkdir -p "$BUILD_OUTPUT" || bailout 6 "Problem with creating $BUILD_OUTPUT for stage ARCH"
 613
 614 # i386:
 615 if [ "$ARCH" = i386 ] || [ "$ARCH" = amd64 ] ; then
 616    if [ -d "$BUILD_OUTPUT"/boot/isolinux -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 617       log   "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already."
 618       ewarn "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already." ; eend 0
 619    else
 620       # booting stuff:
 621       [ -d "$BUILD_OUTPUT"/boot/isolinux ] || mkdir -p "$BUILD_OUTPUT"/boot/isolinux
 622       [ -d "$BUILD_OUTPUT"/boot/"${SHORT_NAME}" ] || mkdir -p "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"
 623
 624       if [ -z "$NO_ADDONS" ] ; then
 625          [ -d "$BUILD_OUTPUT"/boot/addons   ] || mkdir -p "$BUILD_OUTPUT"/boot/addons
 626          if [ -r "$TEMPLATE_DIRECTORY"/boot/addons/memtest ] ; then
 627             log "Installing $TEMPLATE_DIRECTORY/boot/addons/memtest"
 628             cp "$TEMPLATE_DIRECTORY"/boot/addons/memtest "$BUILD_OUTPUT"/boot/addons/memtest
 629          elif [ -r /boot/memtest86+.bin ] ; then
 630             log "Installing /boot/memtest86+.bin"
 631             cp /boot/memtest86+.bin "$BUILD_OUTPUT"/boot/addons/memtest
 632          else
 633             ewarn "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 634             log "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 635             eend 0
 636          fi
 637       fi
 638
 639       # if we don't have an initrd we a) can't boot and b) there was an error
 640       # during build, so check for the file:
 641       INITRD="$(ls $CHROOT_OUTPUT/boot/initrd* 2>/dev/null| grep -v '.bak$' | sort -r | head -1)"
 642       if [ -n "$INITRD" ] ; then
 643          cp $INITRD "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/initrd.gz
 644          find $CHROOT_OUTPUT/boot/ -name initrd\*.bak -exec rm {} \;
 645       else
 646          log    "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting"
 647          eerror "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 648          bailout 10
 649       fi
 650
 651       KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
 652       if [ -n "$KERNEL_IMAGE" ] ; then
 653          cp "$KERNEL_IMAGE" "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/linux26
 654       else
 655          log    "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting"
 656          eerror "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 657          bailout 11
 658       fi
 659
 660       [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 661       if ! [ -d "${TEMPLATE_DIRECTORY}"/boot ] ; then
 662          log    "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting."
 663          eerror "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting." ; eend 1
 664          bailout 8
 665       fi
 666
 667       # *always* copy files to output directory so the variables
 668       # get adjusted according to the build
 669       cp ${TEMPLATE_DIRECTORY}/boot/isolinux/*  "$BUILD_OUTPUT"/boot/isolinux/
 670
 671       if [ -n "$NO_ADDONS" ] ; then
 672          log "Skipping installation boot addons requested via \$NO_ADDONS."
 673          einfo "Skipping installation boot addons requested via \$NO_ADDONS."
 674          eend 0
 675       else
 676          if ! [ -d "$TEMPLATE_DIRECTORY"/boot/addons/bsd4grml ] ; then
 677            ewarn "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)" ; eend 0
 678          else
 679            # copy only files so we can handle bsd4grml on its own
 680            for file in ${TEMPLATE_DIRECTORY}/boot/addons/* ; do
 681                test -f $file && cp $file "$BUILD_OUTPUT"/boot/addons/
 682            done
 683
 684            if [ -z "$NO_ADDONS_BSD4GRML" ] ; then
 685               cp -a ${TEMPLATE_DIRECTORY}/boot/addons/bsd4grml "$BUILD_OUTPUT"/boot/addons/
 686            fi
 687          fi
 688       fi
 689
 690       if ! [ -d "${BUILD_OUTPUT}/boot/grub" ] ; then
 691          cp -a ${TEMPLATE_DIRECTORY}/boot/grub  "$BUILD_OUTPUT"/boot/
 692       fi
 693       # make sure we have recent template files available, otherwise updating
 694       # the strings like $GRML_NAME and $VERSION might be out of date
 695       cp ${TEMPLATE_DIRECTORY}/boot/grub/* "$BUILD_OUTPUT"/boot/grub/
 696
 697       if ! [ -d "${TEMPLATE_DIRECTORY}"/GRML ] ; then
 698          log    "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting."
 699          eerror "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting." ; eend 1
 700          bailout 9
 701       fi
 702
 703       [ -d "$BUILD_OUTPUT"/GRML ] || mkdir "$BUILD_OUTPUT"/GRML
 704       cp -a ${TEMPLATE_DIRECTORY}/GRML/* "$BUILD_OUTPUT"/GRML/
 705
 706       # adjust boot splash information:
 707       RELEASE_INFO="$GRML_NAME $VERSION - Release Codename $RELEASENAME"
 708       RELEASE_INFO="$(cut_string 68 "$RELEASE_INFO")"
 709       RELEASE_INFO="$(extend_string_end 68 "$RELEASE_INFO")"
 710
 711       sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/GRML/grml-version
 712       sed -i "s/%DATE%/$DATE/"                                      "$BUILD_OUTPUT"/GRML/grml-version
 713
 714       # make sure the squashfs filename is set accordingly:
 715       SQUASHFS_NAME="$GRML_NAME.squashfs"
 716
 717       # adjust all variables in the templates with the according distribution information
 718       for file in "${BUILD_OUTPUT}"/boot/isolinux/*.cfg "${BUILD_OUTPUT}"/boot/isolinux/*.msg \
 719                   "${BUILD_OUTPUT}"/boot/grub/* ; do
 720         sed -i "s/%ARCH%/$ARCH/g"                    "${file}"
 721         sed -i "s/%DATE%/$DATE/g"                    "${file}"
 722         sed -i "s/%DISTRI_INFO%/$DISTRI_INFO/g"      "${file}"
 723         sed -i "s/%DISTRI_NAME%/$DISTRI_NAME/g"      "${file}"
 724         sed -i "s/%DISTRI_SPLASH%/$DISTRI_SPLASH/g"  "${file}"
 725         sed -i "s/%GRML_NAME%/$GRML_NAME/g"          "${file}"
 726         sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/g"  "${file}"
 727         sed -i "s/%RELEASE_INFO%/$RELEASE_INFO/g"    "${file}"
 728         sed -i "s/%SHORT_NAME%/$SHORT_NAME/g"        "${file}"
 729         sed -i "s/%VERSION%/$VERSION/g"              "${file}"
 730       done
 731
 732       # adjust bootsplash accordingly but make sure the string has the according lenght
 733       SQUASHFS_NAME="$(cut_string 20 "$SQUASHFS_NAME")"
 734       SQUASHFS_NAME="$(extend_string_end 20 "$SQUASHFS_NAME")"
 735       sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "$BUILD_OUTPUT"/boot/isolinux/f4
 736       sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "$BUILD_OUTPUT"/boot/isolinux/f5
 737
 738       # generate addon list
 739       rm "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 740       for name in $(ls "${BUILD_OUTPUT}"/boot/isolinux/addon_*.cfg) ; do
 741         include_name=$(basename "$name")
 742         echo "include $include_name"  >> "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 743       done
 744
 745       if ! [ -r "${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg" ] || [ "$DISTRI_NAME" = "grml" ] ; then
 746          log "including grmlmain.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 747          echo "include grmlmain.cfg"    >  "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 748          echo "include default.cfg"     >  "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 749          echo "include menuoptions.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 750          echo "include grml.cfg"        >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 751          echo "include options.cfg"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 752          if [ ! -n "$NO_ADDONS" ] ; then
 753            echo "include addons.cfg"    >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 754          fi
 755          echo "include isoprompt.cfg"   >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 756          echo "include hd.cfg"          >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 757          echo "include hidden.cfg"      >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 758       else # assume we are building a custom distribution:
 759          log "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 760          einfo "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 761          if grep -q "^include ${DISTRI_NAME}.cfg" "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 762            log "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 763            eindent
 764            einfo "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 765            eoutdent
 766            eend $?
 767         else
 768            log "including ${DISTRI_NAME}.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 769            echo "include ${DISTRI_NAME}.cfg" > "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 770            [ -n "$NO_ADDONS" ] || echo "include addons.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 771          fi
 772       fi
 773
 774       # use old style console based isolinux method only if requested:
 775       if [[ "${ISOLINUX_METHOD}" == "console" ]] ; then
 776          log 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 777          einfo 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 778          if grep -q '^include console.cfg' "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 779            einfo "include for console.cfg already foud, nothing to do."
 780            eend 0
 781          else
 782            log "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 783            einfo "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 784            echo "include console.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 785            eend $?
 786          fi
 787       else
 788          log 'Using graphical boot menu.'
 789          if grep -q '^include vesamenu.cfg' "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg" ; then
 790            log "include for vesamenu.cfg already foud, nothing to do."
 791          else
 792            log "including vesamenu.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 793            echo "include vesamenu.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 794          fi
 795       fi
 796
 797       # jump back to grub from bsd4grml (/boot/grub/stage2):
 798       GRUB_LEGACY=stage2
 799
 800       if [ -e "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 ]; then
 801          if [ -e "$BUILD_OUTPUT"/boot/grub/core.img ]; then
 802             GRUB_VERSION=2
 803          else
 804             GRUB_VERSION=1
 805          fi
 806
 807          for file in "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 \
 808                      "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.cfg \
 809                      "$BUILD_OUTPUT"/boot/isolinux/*.cfg \
 810                      "$BUILD_OUTPUT"/boot/grub/grub.cfg \
 811                      "$BUILD_OUTPUT"/boot/grub/menu.lst ; do
 812              if [ -e "$file" ] ; then
 813                sed -i -e "s!%GRUB_VERSION%!$GRUB_VERSION!g" \
 814                       -e "s!%GRUB_LEGACY%!$GRUB_LEGACY!g" "$file"
 815              fi
 816          done
 817
 818          sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6
 819       fi
 820
 821       if [ -e "$BUILD_OUTPUT"/boot/grub/$GRUB_LEGACY ]; then
 822          sed -i "s/%GRUB_LEGACY%/$GRUB_LEGACY/g" "$BUILD_OUTPUT"/boot/grub/menu.lst
 823          sed -i "s/%GRUB_LEGACY%/$GRUB_LEGACY/g" "$BUILD_OUTPUT"/boot/grub/grub.cfg
 824       else
 825          sed -i "/%GRUB_LEGACY%/d" "$BUILD_OUTPUT"/boot/grub/menu.lst
 826          sed -i "/%GRUB_LEGACY%/d" "$BUILD_OUTPUT"/boot/grub/grub.cfg
 827       fi
 828
 829       # autostart for Windows:
 830       if [ -d "${TEMPLATE_DIRECTORY}/windows/autostart/" ] ; then
 831          cp ${TEMPLATE_DIRECTORY}/windows/autostart/* "$BUILD_OUTPUT"/
 832       fi
 833
 834       # windows-binaries:
 835       if [ -n "$NO_WINDOWS_BINARIES" ] ; then
 836          log   "Skipping download of windows binaries as requested via \$NO_WINDOWS_BINARIES."
 837          einfo "Skipping download of windows binaries as requested via \$NO_WINDOWS_BINARIES."
 838          eend 0
 839       else
 840          if [ -f "$BUILD_OUTPUT"/windows/putty.exe ] ; then
 841             log   "Skipping stage 'WINDOWS_BINARIES' as $BUILD_OUTPUT/windows exists already."
 842             ewarn "Skipping stage 'WINDOWS_BINARIES' as $BUILD_OUTPUT/windows exists already." ; eend 0
 843          else
 844             if ! [ -d "$BUILD_OUTPUT"/windows ] ; then
 845                mkdir "$BUILD_OUTPUT"/windows
 846                ( cd "$BUILD_OUTPUT"/windows
 847                  for file in pageant plink pscp psftp putty puttygen ; do
 848                     wget -O ${file}.exe ${WINDOWS_BINARIES}/${file}.exe
 849                     md5sum ${file}.exe > ${file}.exe.md5
 850                  done )
 851             fi
 852
 853             log "Finished execution of stage 'WINDOWS_BINARIES' [$(date)]"
 854             einfo "Finished execution of stage 'WINDOWS_BINARIES'" ; eend 0
 855          fi
 856       fi
 857
 858    FORCE_ISO_REBUILD=true
 859    einfo "Finished execution of stage 'boot'" ; eend 0
 860    fi
 861 else
 862    log    'Error: Unsupported ARCH, sorry. Want to support it? Contribute!'
 863    eerror 'Error: Unsupported ARCH, sorry. Want to support it? Contribute!' ; eend 1
 864    bailout
 865 fi
 866
 867 # support installation of local files into the chroot/ISO
 868 if [ -n "$CHROOT_INSTALL" ] ; then
 869   if ! [ -d "$CHROOT_INSTALL" ] ; then
 870      log "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 871      ewarn "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 872   else
 873      log "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 874      einfo "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 875      rsync -avz --inplace "$CHROOT_INSTALL"/ "$CHROOT_OUTPUT/"
 876      eend $?
 877      einfo "Make sure to run squashfs stage, otherwise your local files won't be part of the ISO."
 878      FORCE_ISO_REBUILD=true
 879   fi
 880 fi
 881
 882 if [ -f "$BUILD_OUTPUT"/live/${GRML_NAME}.squashfs -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" ] ; then
 883    log   "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already."
 884    ewarn "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already." ; eend 0
 885 elif [ -n "$SKIP_MKSQUASHFS" ] ; then
 886    log   "Skipping stage 'squashfs' as requested via option -q"
 887    ewarn "Skipping stage 'squashfs' as requested via option -q" ; eend 0
 888 else
 889    [ -d "$BUILD_OUTPUT"/live ] || mkdir "$BUILD_OUTPUT"/live
 890    # make sure we don't leave (even an empty) base.tgz:
 891    [ -f "$CHROOT_OUTPUT/base.tgz" ] && rm -f "$CHROOT_OUTPUT/base.tgz"
 892
 893    # $SQUASHFS_BINARY is specified in the configuration:
 894    if [ -n "$SQUASHFS_BINARY" ] ; then
 895       if ! which "$SQUASHFS_BINARY" >/dev/null 2>&1 ; then
 896          log    "Error: specified mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting."
 897          eerror "Error: specified mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting." ; eend 1
 898          bailout
 899       fi
 900    else # no $SQUASHFS_BINARY configured, let's find the according binary:
 901       # Note: this is ALL for backward compatibility and yes: it's serious PITA.
 902       # We'll definitely drop this once people build >2.6.28-grml* only and
 903       # the squashfs-tools vs. squashfs-lzma-tools + zlib vs. lzma situation
 904       # is settling...
 905
 906       # assume the safe default if mksquashfs-lzma isn't present:
 907       if ! which mksquashfs-lzma >/dev/null 2>&1 ; then
 908          SQUASHFS_BINARY='mksquashfs'
 909       else # mksquashfs-lzma is available since squashfs-lzma-tools 4.0:
 910          # if the user wants to use zlib then don't use mksquashfs-lzma:
 911          if echo "$SQUASHFS_OPTIONS" | grep -q -- "-nolzma" || [ -n "$SQUASHFS_ZLIB" ] ; then
 912             SQUASHFS_BINARY='mksquashfs'
 913          else # neither -nolzma nor -z and mksquashfs-lzma is available:
 914             SQUASHFS_BINARY='mksquashfs-lzma'
 915
 916             # backwards compatibility: someone has squashfs-lzma-tools >=4 installed but
 917             # 1) doesn't use -nolzma in $SQUASHFS_OPTIONS or the grml-live's -z option *and*
 918             # 2) builds against kernel version <=2.6.28-grml[64]
 919             if ls $CHROOT_OUTPUT/boot/vmlinuz* >/dev/null 2>&1 ; then
 920                KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
 921
 922                case $KERNEL_IMAGE in
 923                   *vmlinuz-2.6.28-grml*|*vmlinuz-2.6.26-grml*|*vmlinuz-2.6.23-grml*)
 924                   log   "You seem to be building a system with squashfs file format 3 using squashfs-lzma-tools >=4."
 925                   ewarn "You seem to be building a system with squashfs file format 3 using squashfs-lzma-tools >=4."
 926                   ewarn "|-> Consider installing squashfs-lzma-tools 3.3-1 for support of file format version 3."
 927                   ewarn "|-> Trying the mksquashfs binary instead of mksquashfs-lzma (though this might fail)."
 928                   ewarn "\`-> Visit http://grml.org/grml-live/#current_state for further details if building fails."
 929                   eend 0
 930                   SQUASHFS_BINARY='mksquashfs'
 931                   ;;
 932                esac
 933             fi
 934
 935             # if we still want to use mksquashfs-lzma then let's choose
 936             # blocksize 256k as this gives best result with regards to time + comopression
 937             [[ "$SQUASHFS_BINARY" == "mksquashfs-lzma" ]] && SQUASHFS_OPTIONS="-b 256k -lzma"
 938          fi
 939
 940       fi
 941    fi
 942
 943    # make sure mksquashfs can handle the according option:
 944    if [ -n "$SQUASHFS_ZLIB" ] ; then
 945       $SQUASHFS_BINARY --help 2>&1 | grep -q -- "$SQUASHFS_ZLIB" || SQUASHFS_ZLIB=''
 946    fi
 947
 948    # make sure to drop the -nolzma option if it's not available:
 949    if echo "$SQUASHFS_OPTIONS" | grep -q -- "-nolzma" ; then
 950       if ! $SQUASHFS_BINARY --help 2>&1 | grep -q -- '-nolzma' ; then
 951          log   "The $SQUASHFS_BINARY binary does NOT support the nolzma option, dropping it and using default mode."
 952          ewarn "The $SQUASHFS_BINARY binary does NOT support the nolzma option, dropping it and using default mode."
 953          SQUASHFS_OPTIONS="$(echo $SQUASHFS_OPTIONS | sed 's/-nolzma//g')"
 954          eend 0
 955       fi
 956    fi
 957
 958    # make sure to drop the -lzma option if it's not available:
 959    if echo "$SQUASHFS_OPTIONS" | grep -q -- "-lzma" ; then
 960       if ! $SQUASHFS_BINARY --help 2>&1 | grep -q -- '-lzma' ; then
 961          log   "The $SQUASHFS_BINARY binary does NOT support the lzma option, dropping it and using default mode."
 962          ewarn "The $SQUASHFS_BINARY binary does NOT support the lzma option, dropping it and using default mode."
 963          SQUASHFS_OPTIONS="$(echo $SQUASHFS_OPTIONS | sed 's/-lzma//g')"
 964          eend 0
 965       fi
 966    fi
 967
 968    # support exclusion of files via exclude-file:
 969    if [ -n "$SQUASHFS_EXCLUDES_FILE" -a "$SQUASHFS_EXCLUDES_FILE" ] ; then
 970       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -ef $SQUASHFS_EXCLUDES_FILE"
 971    fi
 972
 973    # get rid of unnecessary files when building grml-small for final release:
 974    if echo "$CLASSES" | grep -q GRML_SMALL ; then
 975       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -e initrd.img* vmlinuz*"
 976    fi
 977
 978    # check whether we have the according binary available:
 979    if ! which $SQUASHFS_BINARY >/dev/null 2>&1 ; then
 980       log    "Error: mksquashfs binary (${SQUASHFS_BINARY}) could not be found. Exiting."
 981       eerror "Error: mksquashfs binary (${SQUASHFS_BINARY}) could not be found. Exiting."
 982       eerror "|-> Make sure to install either squashfs-tools and/or squashfs-lzma-tools."
 983       eerror "\`-> Visit http://grml.org/grml-live/#current_state for further details."
 984       eend 1
 985       bailout
 986    fi
 987
 988    SQUASHFS_STDERR="$(mktemp -t grml-live.XXXXXX)"
 989
 990    [ -n "$SQUASHFS_OPTIONS" ]  && SQUASHFS_INFO_MSG="$SQUASHFS_OPTIONS"
 991    [ -n "$SQUASHFS_ZLIB" ]     && SQUASHFS_INFO_MSG="$SQUASHFS_INFO_MSG $SQUASHFS_ZLIB"
 992    [ -n "$SQUASHFS_INFO_MSG" ] && SQUASHFS_INFO_MSG="using options: $SQUASHFS_INFO_MSG"
 993    einfo "Squashfs build information: running binary $SQUASHFS_BINARY $SQUASHFS_INFO_MSG"
 994
 995    log "$SQUASHFS_BINARY $CHROOT_OUTPUT/* $BUILD_OUTPUT/live/${GRML_NAME}.squashfs -noappend $SQUASHFS_OPTIONS $SQUASHFS_ZLIB"
 996
 997    if $SQUASHFS_BINARY $CHROOT_OUTPUT/* $BUILD_OUTPUT/live/"${GRML_NAME}".squashfs \
 998       -noappend $SQUASHFS_OPTIONS $SQUASHFS_ZLIB 2>"${SQUASHFS_STDERR}" ; then
 999       echo "${GRML_NAME}.squashfs" > $BUILD_OUTPUT/live/filesystem.module
1000       log "Finished execution of stage 'squashfs' [$(date)]"
1001       einfo "Finished execution of stage 'squashfs'" ; eend 0
1002    else
1003       log    "Error: there was a critical error executing stage 'squashfs' [$(date)]:"
1004       log    "$(cat $SQUASHFS_STDERR)"
1005       eerror "Error: there was a critical error executing stage 'squashfs':" ; eend 1
1006       cat    "${SQUASHFS_STDERR}"
1007       bailout
1008    fi
1009
1010    FORCE_ISO_REBUILD=true
1011 fi
1012
1013 # create md5sum file:
1014 ( cd $BUILD_OUTPUT/GRML &&
1015 find .. -type f -not -name md5sums -not -name isolinux.bin -exec md5sum {} \; > md5sums )
1016 # }}}
1017
1018 # ISO_OUTPUT - mkisofs {{{
1019 [ -n "$ISO_OUTPUT" ] || ISO_OUTPUT="$OUTPUT/grml_isos"
1020 [ -n "$ISO_NAME" ] || ISO_NAME="${GRML_NAME}_${VERSION}.iso"
1021
1022 if [ "$BOOT_METHOD" = "isolinux" ] ; then
1023    BOOT_FILE="boot/isolinux/isolinux.bin -c boot/isolinux/boot.cat"
1024 elif [ "$BOOT_METHOD" = "grub" ] ; then
1025    BOOT_FILE="boot/grub/stage2"
1026 fi
1027
1028 if [ -f "${ISO_OUTPUT}/${ISO_NAME}" -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" -a "$FORCE_ISO_REBUILD" = "false" ]  ; then
1029    log   "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already."
1030    ewarn "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already." ; eend 0
1031 elif [ -n "$SKIP_MKISOFS" ] ; then
1032    log   "Skipping stage 'iso build' as requested via option -n"
1033    ewarn "Skipping stage 'iso build' as requested via option -n" ; eend 0
1034 else
1035    mkdir -p "$ISO_OUTPUT" || bailout 6 "Problem with creating $ISO_OUTPUT for stage 'iso build'"
1036
1037    if $FORCE_ISO_REBUILD && ! [ -f "${ISO_OUTPUT}/${ISO_NAME}" ] ; then
1038       log   "Forcing rebuild of ISO because files on ISO have been modified."
1039       einfo "Forcing rebuild of ISO because files on ISO have been modified."
1040    fi
1041
1042    # support mkisofs as well as genisoimage
1043    if which mkisofs >/dev/null 2>&1; then
1044       MKISOFS='mkisofs'
1045    elif which genisoimage >/dev/null 2>&1; then
1046       MKISOFS='genisoimage'
1047    else
1048       log    "Error: neither mkisofs nor genisoimage available - can not create ISO."
1049       eerror "Error: neither mkisofs nor genisoimage available - can not create ISO." ; eend 1
1050       bailout
1051    fi
1052
1053    CURRENT_DIR=$(pwd)
1054    if cd "$BUILD_OUTPUT" ; then
1055       log "$MKISOFS -V '${GRML_NAME} ${VERSION}' -publisher 'grml-live | grml.org' -l -r -J -no-emul-boot -boot-load-size 4 -boot-info-table -b $BOOT_FILE -o ${ISO_OUTPUT}/${ISO_NAME} ."
1056       "$MKISOFS" -V "${GRML_NAME} ${VERSION}" -publisher 'grml-live | grml.org' \
1057               -l -r -J -no-emul-boot -boot-load-size 4 -boot-info-table    \
1058               -b $BOOT_FILE -no-pad \
1059               -o "${ISO_OUTPUT}/${ISO_NAME}" . ; RC=$?
1060
1061       # pad the output ISO to multiples of 256 KiB for partition table support
1062       siz=$($getfilesize "${ISO_OUTPUT}/${ISO_NAME}")
1063       cyls=$((siz / 512 / 32 / 16 + 1))   # C=$cyls H=16 S=32
1064       siz=$((cyls * 16 * 32 * 512))   # size after padding
1065       dd if=/dev/zero bs=1 count=1 seek=$((siz - 1)) \
1066          of="${ISO_OUTPUT}/${ISO_NAME}" 2>/dev/null
1067
1068       # support disabling hybrid ISO image
1069       if [ "$HYBRID_METHOD" = "disable" ] ; then\
1070          log   "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1071          einfo "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1072          eend 0
1073       # use isohybrid only on request
1074       elif [ "$HYBRID_METHOD" = "isohybrid" ] ; then
1075          if ! which isohybrid >/dev/null 2>&1 ; then
1076            bailout 12 "isohybrid binary not found - please install syslinux/syslinux-common"
1077          else
1078            log "Creating hybrid ISO file with isohybrid method"
1079            einfo "Creating hybrid ISO file with isohybrid method"
1080            # Notes for consideration:
1081            # "-entry 4 -type 1c"
1082            # * using 4 as the partition number is supposed to help with BIOSes
1083            #   that only support USB-Zip boot
1084            # * using 1c (i.e. hidden FAT32 LBA), instead of the default 0x17
1085            #   (hidden NTFS, IIRC), as the partition type is sometimes needed
1086            #   to get the BIOS even look at the partition created by isohybrid
1087            isohybrid "${ISO_OUTPUT}/${ISO_NAME}"
1088            eend $?
1089          fi
1090       # by default use our manifold boot method:
1091       else
1092          if ! [ -r boot/grub/core.img ] ; then
1093            ewarn "boot/grub/core.img not found, not creating manifold boot ISO file"
1094          else
1095            log "Creating hybrid ISO file with manifold method"
1096            einfo "Creating hybrid ISO file with manifold method"
1097            (
1098                # 512 bytes: MBR, partition table, load GRUB 2
1099                echo 4 63 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -A -M 4:0x96 -g $cyls:16:32
1100                # pad to a whole of 2048 bytes (one CD sector)
1101                dd if=/dev/zero bs=512 count=3 2>/dev/null
1102                # append GRUB 2 (must be <=30720 bytes)
1103                cat boot/grub/core.img
1104            ) | dd of="${ISO_OUTPUT}/${ISO_NAME}" conv=notrunc 2>/dev/null
1105            eend $?
1106          fi
1107       fi
1108
1109       # generate md5sum and sha1sum of ISO if we are using class 'RELEASE':
1110       case $CLASSES in *RELEASE*)
1111          [ "$RC" = 0 ] && \
1112          (
1113            if cd $ISO_OUTPUT ; then
1114              md5sum ${ISO_NAME} > ${ISO_NAME}.md5 && \
1115              touch -r ${ISO_NAME} ${ISO_NAME}.md5
1116              sha1sum ${ISO_NAME} > ${ISO_NAME}.sha1 && \
1117              touch -r ${ISO_NAME} ${ISO_NAME}.sha1
1118            fi
1119          )
1120          ;;
1121       esac
1122
1123       cd $CURRENT_DIR
1124    fi
1125
1126    if [ "$RC" = 0 ] ; then
1127       log   "Finished execution of stage 'iso build' [$(date)]"
1128       einfo "Finished execution of stage 'iso build'" ; eend 0
1129    else
1130       log    "Error: there was a critical error ($RC) executing stage 'iso build' [$(date)]"
1131       eerror "Error: there was a critical error executing stage 'iso build'" ; eend 1
1132       bailout $RC
1133    fi
1134 fi
1135 # }}}
1136
1137 # log build information to database if grml-live-db is installed and enabled {{{
1138 dpkg_to_db() {
1139 if [ -d /usr/share/grml-live-db ] ; then
1140
1141   # safe defaults
1142   DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot:
1143   [ -n "$DPKG_DATABASE" ]  || DPKG_DATABASE=/var/log/grml-live.db
1144   [ -n "$DPKG_DBSCRIPT" ]  || DPKG_DBSCRIPT=/usr/share/grml-live-db/scripts/dpkg-to-db
1145   [ -n "$DPKG_DBOPTIONS" ] || DPKG_DBOPTIONS="--database $DPKG_DATABASE --logfile $LOGFILE --flavour $GRML_NAME --dpkg $DPKG_LIST"
1146
1147   if ! [ -x "$DPKG_DBSCRIPT" ] ; then
1148     log "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information."
1149     eerror "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information." ; eend 1
1150     bailout 14
1151   fi
1152
1153   # disable by default for now, not sure whether really everyone is using a local db file
1154   #if ! touch "$DPKG_DATABASE" ; then
1155   #  eerror "Error: can not write to ${DPKG_DATABASE}, can not log dpkg information." ; eend 1
1156   #  bailout 14
1157   #fi
1158
1159   if ! [ -r "$DPKG_LIST" ] ; then
1160      log "Error reading $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT"
1161      eerror "Error reading $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT" ; eend 1
1162      bailout 14
1163   else
1164      einfo "Logging $DPKG_LIST to database $DPKG_DATABASE"
1165      log "Logging $DPKG_LIST to database $DPKG_DATABASE"
1166      log "Executing $DPKG_DBSCRIPT $DPKG_DBOPTIONS"
1167      eindent
1168
1169      if DB_INFO=$("$DPKG_DBSCRIPT" $DPKG_DBOPTIONS 2>&1) ; then
1170        einfo "$DB_INFO"
1171        eend 0
1172      else
1173        eerror "$DB_INFO"
1174        eend 1
1175      fi
1176
1177      eoutdent
1178   fi
1179
1180 fi
1181 }
1182 # }}}
1183
1184 # finalize {{{
1185 [ -n "$start_seconds" ] && SECONDS="$[$(cut -d . -f 1 /proc/uptime)-$start_seconds]" || SECONDS="unknown"
1186 log "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]"
1187
1188 dpkg_to_db # make sure we catch the last log line as well, therefore execute between log + einfo
1189
1190 einfo "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]" ; eend 0
1191 bailout 0
1192 # }}}
1193
1194 ## END OF FILE #################################################################
1195 # vim:foldmethod=marker ts=2 ft=sh ai expandtab tw=80 sw=3