grml-live

   1 #!/bin/bash
   2 # Filename:      grml-live
   3 # Purpose:       build process script for generating a (grml based) Linux Live-ISO
   4 # Authors:       grml-team (grml.org),
   5 #                (c) Michael Prokop <mika@grml.org>,
   6 #                (c) Thorsten Glaser <tg@mirbsd.org>
   7 # Bug-Reports:   see http://grml.org/bugs/
   8 # License:       This file is licensed under the GPL v2 or any later version.
   9 ################################################################################
  10
  11 # some misc and global stuff {{{
  12 export LANG=C
  13 export LC_ALL=C
  14
  15 # define function getfilesize before "set -e"
  16 if stat --help >/dev/null 2>&1; then
  17   getfilesize='stat -c %s'  # GNU stat
  18 else
  19   getfilesize='stat -f %z'  # BSD stat
  20 fi
  21
  22 # exit on any error:
  23 set -e
  24
  25 # global variables
  26 GRML_LIVE_VERSION='0.9.35-pre1'
  27 PN="$(basename $0)"
  28 CMDLINE="$0 $@"
  29 SOURCES_LIST_FILE='/etc/grml/fai/apt/sources.list'
  30 ADDONS_LIST_FILE='/boot/isolinux/addons_list.cfg'
  31 # }}}
  32
  33 # usage information {{{
  34 usage()
  35 {
  36   echo "
  37 $PN - build process script for generating a (grml based) Linux Live-ISO
  38
  39 Usage: $PN [options, see as follows]
  40
  41    -a <architecture>       architecture; available values: i386 and amd64
  42    -b                      build the ISO without updating the chroot via FAI
  43    -B                      build the ISO without touching the chroot (skips cleanup)
  44    -c <classe[s]>          classes to be used for building the ISO via FAI
  45    -C <configfile>         configuration file for grml-live
  46    -d <date>               use specified date instead of build time as date of release
  47    -F                      force execution without prompting
  48    -g <grml_name>          set the grml flavour name
  49    -h                      display short usage information and exit
  50    -i <iso_name>           name of ISO
  51    -I <src_directory>      directory which provides files that should become
  52                            part of the chroot/ISO
  53    -n                      skip generation of ISO
  54    -o <output_directory>   main output directory of the build process
  55    -q                      skip mksquashfs
  56    -r <release_name>       release name
  57    -s <suite>              Debian suite; values: etch, lenny, squeeze, sid
  58    -t <template_directory> place of the templates
  59    -u                      update existing chroot instead of rebuilding it from scratch
  60    -v <version_number>     specify version number of the release
  61    -V                      increase verbosity in the build process
  62    -z                      use ZLIB instead of LZMA compression (depends on
  63                            squashfs-tools version)
  64
  65 Usage examples:
  66
  67     $PN
  68     $PN -c GRMLBASE,GRML_MEDIUM,I386 -o /dev/shm/grml
  69     $PN -c GRMLBASE,GRML_SMALL,REMOVE_DOCS,I386 -g grml-small -v 1.0
  70     $PN -c GRMLBASE,GRML_FULL,I386 -i grml_0.0-1.iso -v 0.0-1
  71     $PN -c GRMLBASE,GRML_FULL,I386 -s sid -V -r 'grml-live rocks'
  72
  73 More details: man grml-live + /usr/share/doc/grml-live/grml-live.html
  74               http://grml.org/grml-live/
  75
  76 Please send your bug reports and feedback to the grml-team: http://grml.org/bugs/
  77 "
  78 }
  79
  80 # make sure it's possible to get usage information without being
  81 # root or actually executing the script
  82 if [ "$1" = '-h' -o "$1" = '--help' ] ; then
  83    usage
  84    [ "$(id -u 2>/dev/null)" != 0 ] && echo "Please notice that this script requires root permissions."
  85    exit 0
  86 fi
  87 # }}}
  88
  89 # some runtime checks {{{
  90 # we need root permissions for the build-process:
  91 if [ "$(id -u 2>/dev/null)" != 0 ] ; then
  92    echo "Error: please run this script with uid 0 (root)." >&2
  93    exit 1
  94 fi
  95
  96 if [ -r /var/run/fai/FAI_INSTALLATION_IN_PROGRESS ] ; then
  97    echo "/usr/sbin/fai already running or was aborted before.">&2
  98    echo "You may remove /var/run/fai/FAI_INSTALLATION_IN_PROGRESS and try again.">&2
  99    exit 1
 100 fi
 101
 102 # see #449236
 103 if [ -r /var/run/fai/fai_softupdate_is_running ] ; then
 104    echo "/usr/sbin/fai softupdate already running or was aborted before.">&2
 105    echo "You may remove /var/run/fai/fai_softupdate_is_running and try again.">&2
 106    exit 1
 107 fi
 108 # }}}
 109
 110 # lsb-functions and configuration stuff {{{
 111 # make sure they are not set by default
 112 VERBOSE=''
 113 FORCE=''
 114 UPDATE=''
 115 BUILD_ONLY=''
 116 BUILD_DIRTY=''
 117 HOSTNAME=''
 118
 119 if [ -r /etc/grml/lsb-functions ] ; then
 120    . /etc/grml/lsb-functions
 121 else
 122    einfo()  { echo "  [*] $*" ;}
 123    eerror() { echo "  [!] $*">&2 ;}
 124    ewarn()  { echo "  [x] $*" ;}
 125    eend()   { return 0 ;}
 126    eindent()  { return 0 ;}
 127    eoutdent() { return 0 ;}
 128 fi
 129
 130 # source main configuration file:
 131 LIVE_CONF=/etc/grml/grml-live.conf
 132 . $LIVE_CONF
 133 # }}}
 134
 135 # clean exit {{{
 136 bailout() {
 137   rm -f /var/run/fai/fai_softupdate_is_running \
 138         /var/run/fai/FAI_INSTALLATION_IN_PROGRESS
 139   [ -n "$SQUASHFS_STDERR" ]  && rm -rf "$SQUASHFS_STDERR"
 140   [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 141   [ -n "$1" ] && EXIT="$1" || EXIT="1"
 142   [ -n "$2" ] && eerror "$2">&2
 143   log "------------------------------------------------------------------------------"
 144   exit "$EXIT"
 145 }
 146 trap bailout 1 2 3 3 6 9 14 15
 147 # }}}
 148
 149 # log file stuff {{{
 150 [ -n "$LOGFILE" ] || LOGFILE=/var/log/grml-live.log
 151 touch $LOGFILE
 152 chown root:adm $LOGFILE
 153 chmod 664 $LOGFILE
 154 # }}}
 155
 156 # some important functions {{{
 157
 158 # log output:
 159 # usage: log "string to log"
 160 log() { echo "$*" >> $LOGFILE ; }
 161
 162 # cut string at character number int = $1
 163 # usage: cut_string 5 "1234567890" will output "12345"
 164 cut_string() {
 165   [ -n "$2" ] || return 1
 166   echo "$2" | head -c "$1"; echo -ne "\n"
 167 }
 168
 169 # prepend int = $1 spaces before string = $2
 170 # usage: extend_string_begin 5 "123" will output "  123"
 171 extend_string_begin() {
 172   [ -n "$2" ] || return 1
 173   local COUNT="$(echo $2 | wc -c)"
 174   local FILL="$(expr $COUNT - $1)"
 175   while [ "$FILL" -gt 1 ] ; do
 176     echo -n " "
 177     local FILL=$(expr $FILL - 1)
 178   done
 179   while [ "$FILL" -lt 1 ] ; do
 180     echo -n " "
 181     local FILL=$(expr $FILL + 1)
 182   done
 183   echo "$2" | head -c "$1"; echo -ne "\n"
 184 }
 185
 186 # append int = $1 spaces to string = $2
 187 # usage: extend_string_begin 5 "123" will output "123  "
 188 extend_string_end() {
 189   [ -n "$2" ] || return 1
 190   echo -n "$2" | head -c "$1"
 191   local COUNT="$(echo $2 | wc -c)"
 192   local FILL="$(expr $COUNT - $1)"
 193   while [ "$FILL" -gt 1 ] ; do
 194     echo -n " "
 195     local FILL=$(expr $FILL - 1)
 196   done
 197   while [ "$FILL" -lt 1 ] ; do
 198     echo -n " "
 199     local FILL=$(expr $FILL + 1)
 200   done
 201   echo -ne "\n"
 202 }
 203 # }}}
 204
 205 # read local (non-packaged) configuration {{{
 206 LOCAL_CONFIG=/etc/grml/grml-live.local
 207 if [ -r "$LOCAL_CONFIG" ] ; then
 208    log "Sourcing $LOCAL_CONFIG"
 209    . $LOCAL_CONFIG
 210 else
 211    log "No $LOCAL_CONFIG found, not sourcing it"
 212    LOCAL_CONFIG=''
 213 fi
 214 # }}}
 215
 216 # command line parsing {{{
 217 while getopts "a:C:c:d:g:i:I:o:r:s:t:v:bBFnquVz" opt; do
 218   case "$opt" in
 219     a) ARCH="$OPTARG" ;;
 220     b) BUILD_ONLY=1 ;;
 221     B) BUILD_DIRTY=1 ;;
 222     c) CLASSES="$OPTARG" ;;
 223     C) CONFIG="$OPTARG" ;;
 224     d) DATE="$OPTARG" ;;
 225     g) GRML_NAME="$OPTARG" ;;
 226     i) ISO_NAME="$OPTARG" ;;
 227     I) CHROOT_INSTALL="$OPTARG" ;;
 228     n) SKIP_MKISOFS=1 ;;
 229     o) OUTPUT="$OPTARG" ;;
 230     q) SKIP_MKSQUASHFS=1 ;;
 231     r) RELEASENAME="$OPTARG" ;;
 232     s) SUITE="$OPTARG" ;;
 233     t) TEMPLATE_DIRECTORY="$OPTARG";;
 234     v) VERSION="$OPTARG" ;;
 235     F) FORCE=1 ;;
 236     u) UPDATE=1 ;;
 237     V) VERBOSE="-v" ;;
 238     z) SQUASHFS_ZLIB="-nolzma" ;;
 239     ?) echo "invalid option -$OPTARG" >&2; bailout 1 ;;
 240   esac
 241 done
 242 shift $(($OPTIND - 1))  # set ARGV to the first not parsed commandline parameter
 243 # }}}
 244
 245 # assume sane defaults (if not set already) {{{
 246 [ -n "$ARCH" ]             || ARCH="$(dpkg --print-architecture)"
 247 [ -n "$BOOT_METHOD" ]      || BOOT_METHOD='isolinux'
 248 [ -n "$BUILD_OUTPUT" ]     || BUILD_OUTPUT="$OUTPUT/grml_cd"
 249 [ -n "$CHROOT_OUTPUT" ]    || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 250 [ -n "$CLASSES" ]          || CLASSES="GRMLBASE,GRML_MEDIUM,I386"
 251 [ -n "$DATE" ]             || DATE="$(date +%Y-%m-%d)"
 252 [ -n "$DISTRI_INFO" ]      || DISTRI_INFO='Grml - Live Linux for system administrators   '
 253 [ -n "$DISTRI_NAME" ]      || DISTRI_NAME="grml"
 254 [ -n "$DISTRI_SPLASH" ]    || DISTRI_SPLASH='grml.png'
 255 [ -n "$FORCE_ISO_REBUILD" ] || FORCE_ISO_REBUILD="false"
 256 [ -n "$GRML_FAI_CONFIG" ]  || GRML_FAI_CONFIG='/etc/grml/fai'
 257 [ -n "$GRML_NAME" ]        || GRML_NAME='grml'
 258 [ -n "$HOSTNAME" ]         || HOSTNAME='grml'
 259 [ -n "$ISO_OUTPUT" ]       || ISO_OUTPUT="$OUTPUT/grml_isos"
 260 [ -n "$NFSROOT_CONF" ]     || NFSROOT_CONF='/etc/grml/fai/make-fai-nfsroot.conf'
 261 [ -n "$OUTPUT" ]           || OUTPUT='/grml/grml-live'
 262 [ -n "$RELEASENAME" ]      || RELEASENAME='grml-live rocks'
 263 [ -n "$SQUASHFS_EXCLUDES_FILE " ] || SQUASHFS_EXCLUDES_FILE='/etc/grml/fai/squashfs-excludes'
 264 [ -n "$SUITE" ]            || SUITE='lenny'
 265 [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 266 [ -n "$USERNAME" ]         || USERNAME='grml'
 267 [ -n "$VERSION" ]          || VERSION='0.0.1'
 268 [ -n "$WINDOWS_BINARIES" ] || WINDOWS_BINARIES='http://the.earth.li/~sgtatham/putty/latest/x86/'
 269 # }}}
 270
 271 # some misc checks before executing FAI {{{
 272 [ -n "$CLASSES" ] || bailout 1 "Error: \$CLASSES unset, please set it in $LIVE_CONF or
 273 specify it on the command line using the -c option."
 274 [ -n "$OUTPUT" ] || bailout 1 "Error: \$OUTPUT unset, please set it in $LIVE_CONF or
 275 specify it on the command line using the -o option."
 276
 277 # set subdirectories according to $OUTPUT:
 278 CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 279 BUILD_OUTPUT="$OUTPUT/grml_cd"
 280 ISO_OUTPUT="$OUTPUT/grml_isos"
 281
 282 # trim characters that are known to cause problems inside $GRML_NAME;
 283 # for example isolinux does not like '-' inside the directory name
 284 [ -n "$GRML_NAME" ] && export SHORT_NAME="$(echo $GRML_NAME | tr -d ',./;\- ')"
 285
 286 # export variables to have them available in fai scripts:
 287 [ -n "$GRML_NAME" ]   && export GRML_NAME="$GRML_NAME"
 288 [ -n "$RELEASENAME" ] && export RELEASENAME="$RELEASENAME"
 289 # }}}
 290
 291 # ZERO_LOGFILE - check for backwards compatibility reasons {{{
 292 # this was default behaviour until grml-live 0.9.34:
 293 if [ -n "$ZERO_LOGFILE" ] ; then
 294    PRESERVE_LOGFILE='' # make sure it's cleaned then
 295    ewarn "Please consider disabling the \$ZERO_LOGFILE option as grml-live clears..."
 296    ewarn "... the logfile $LOGFILE by default (unless \$PRESERVE_LOGFILE is set) nowadays."
 297    eend 0
 298 fi
 299 # }}}
 300
 301 # ask user whether the setup is ok {{{
 302 if [ -z "$FORCE" ] ; then
 303    echo
 304    echo "${PN} [${GRML_LIVE_VERSION}]: check your configuration (or use -F to force execution):"
 305    echo
 306    echo "  FAI classes:       $CLASSES"
 307    [ -r "$LOCAL_CONFIG" ]       && echo "  local config:      /etc/grml/grml-live.local"
 308    [ -n "$CONFIG" ]             && echo "  configuration:     $CONFIG"
 309    echo "  main directory:    $OUTPUT"
 310    [ -n "$CHROOT_OUTPUT" ]      && echo "  chroot target:     $CHROOT_OUTPUT"
 311    [ -n "$BUILD_OUTPUT" ]       && echo "  build target:      $BUILD_OUTPUT"
 312    [ -n "$ISO_OUTPUT" ]         && echo "  ISO target:        $ISO_OUTPUT"
 313    [ -n "$GRML_NAME" ]          && echo "  grml name:         $GRML_NAME"
 314    [ -n "$RELEASENAME" ]        && echo "  release name:      $RELEASENAME"
 315    [ -n "$DATE" ]               && echo "  build date:        $DATE"
 316    [ -n "$VERSION" ]            && echo "  grml version:      $VERSION"
 317    [ -n "$SUITE" ]              && echo "  Debian suite:      $SUITE"
 318    [ -n "$ARCH" ]               && echo "  Architecture:      $ARCH"
 319    [ -n "$BOOT_METHOD" ]        && echo "  Boot method:       $BOOT_METHOD"
 320    [ -n "$TEMPLATE_DIRECTORY" ] && echo "  Template files:    $TEMPLATE_DIRECTORY"
 321    [ -n "$CHROOT_INSTALL" ]     && echo "  Install files from directory to chroot:  $CHROOT_INSTALL"
 322    [ -n "$FAI_ARGS" ]           && echo "  additional arguments for FAI: $FAI_ARGS"
 323    [ -n "$LOGFILE" ]            && echo "  Logging to file:   $LOGFILE"
 324    [ -n "$SQUASHFS_ZLIB" ]      && echo "  Using ZLIB (instead of LZMA) compression."
 325    [ -n "$SQUASHFS_OPTIONS" ]   && echo "  Using SQUASHFS_OPTIONS ${SQUASHFS_OPTIONS}"
 326    [ -n "$VERBOSE" ]            && echo "  Using VERBOSE mode."
 327    [ -n "$UPDATE" ]             && echo "  Executing UPDATE instead of fresh installation."
 328    [ -n "$SKIP_MKSQUASHFS" ]    && echo "  Skipping creation of SQUASHFS file."
 329    [ -n "$SKIP_MKISOFS" ]       && echo "  Skipping creation of ISO file."
 330    [ -n "$BUILD_ONLY" ]         && echo "  Executing BUILD_ONLY instead of fresh installation or UPDATE."
 331    [ -n "$BUILD_DIRTY" ]        && echo "  Executing BUILD_DIRTY to leave chroot untouched."
 332    echo
 333    echo -n "Is this ok for you? [y/N] "
 334    read a
 335    if ! [ "$a" = 'y' -o "$a" = 'Y' ] ; then
 336       bailout 1 "Exiting as requested."
 337    fi
 338    echo
 339 fi
 340 # }}}
 341
 342 # clean/zero/remove logfiles {{{
 343
 344 if [ -n "$PRESERVE_LOGFILE" ] ; then
 345    echo "Preserving logfile $LOGFILE as requested via \$PRESERVE_LOGFILE"
 346 else
 347    # make sure it is empty (as it is e.g. appended to grml-live-db)
 348    echo -n > $LOGFILE
 349 fi
 350
 351 if [ -n "$ZERO_FAI_LOGFILE" ] ; then
 352    if [ -d /var/log/fai/"$HOSTNAME" ] ; then
 353       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last)"
 354       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-dirinstall)"
 355       rm -rf /var/log/fai/"$HOSTNAME"/"$(readlink /var/log/fai/"$HOSTNAME"/last-softupdate)"
 356       rm -f /var/log/fai/"$HOSTNAME"/last \
 357             /var/log/fai/"$HOSTNAME"/last-dirinstall \
 358             /var/log/fai/"$HOSTNAME"/last-softupdate
 359    fi
 360 fi
 361 # }}}
 362
 363 # source config and startup {{{
 364 if [ -n "$CONFIG" ] ; then
 365    if ! [ -f "$CONFIG" ] ; then
 366       log    "Error: $CONFIG could not be read. Exiting. [$(date)]"
 367       eerror "Error: $CONFIG could not be read. Exiting." ; eend 1
 368       bailout 1
 369    else
 370       log "Sourcing $CONFIG"
 371       . $CONFIG
 372    fi
 373 fi
 374
 375 start_seconds=$(cut -d . -f 1 /proc/uptime)
 376 log "------------------------------------------------------------------------------"
 377 log "Starting grml-live [${GRML_LIVE_VERSION}] run on $(date)"
 378 log "Executed grml-live command line:"
 379 log "$CMDLINE"
 380
 381 einfo "Logging actions to logfile $LOGFILE"
 382 # }}}
 383
 384 # on-the-fly configuration {{{
 385 if [ -n "$MIRROR_DIRECTORY" ] ; then
 386    if ! [ -d "$MIRROR_DIRECTORY/debian" ] ; then
 387       log    "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting. [$(date)]"
 388       eerror "Error: $MIRROR_DIRECTORY/debian does not seem to exist. Exiting." ; eend 1
 389       bailout 1
 390    fi
 391    cat > "$SOURCES_LIST_FILE" << EOF
 392 # NOTE: This file is *NOT* meant for manual customisation! This file is
 393 # modified by grml-live and any changes might be overriden.
 394 # You might consider using GRML_LIVE_SOURCES in /etc/grml/grml-live.conf*
 395 # or FAI's fcopy command with /etc/grml/fai/config/files instead!
 396 EOF
 397    echo "$MIRROR_SOURCES" >> "$SOURCES_LIST_FILE"
 398    if [ -n "$GRML_LIVE_SOURCES" ] ; then
 399       echo "$GRML_LIVE_SOURCES" >> "$SOURCES_LIST_FILE"
 400    fi
 401 elif [ -n "$GRML_LIVE_SOURCES" ] ; then
 402    cat > "$SOURCES_LIST_FILE" << EOF
 403 # NOTE: This file is *NOT* meant for manual customisation! This file is
 404 # modified by grml-live and any changes might be overriden.
 405 # You might consider using GRML_LIVE_SOURCES in /etc/grml/grml-live.conf*
 406 # or FAI's fcopy command with /etc/grml/fai/config/files instead!
 407 EOF
 408    echo "$GRML_LIVE_SOURCES" >> "$SOURCES_LIST_FILE"
 409 fi
 410
 411 if [ -n "$FAI_DEBOOTSTRAP" ] ; then
 412    sed "s#^FAI_DEBOOTSTRAP=.*#FAI_DEBOOTSTRAP=\"$FAI_DEBOOTSTRAP\"#" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 413 fi
 414
 415 # does this suck? YES!
 416 # /usr/share/debootstrap/scripts/unstable does not exist, instead use 'sid':
 417 case $SUITE in
 418    unstable) SUITE='sid' ;;
 419    # make sure that we *NEVER* write any broken suite name to sources.list,
 420    # otherwise we won't be able to adjust it one next (correct) execution
 421    stable)   ;;
 422    testing)  ;;
 423    etch)     ;;
 424    lenny)    ;;
 425    squeeze)  ;;
 426    sid)      ;;
 427    *) echo "Sorry, $SUITE is not a valid Debian suite, exiting.">&2; bailout 1 ;;
 428 esac
 429
 430 DIST=" etch\| stable\| lenny\| squeeze\| testing\| sid\| unstable"
 431 sed "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" "$SOURCES_LIST_FILE" | sponge "$SOURCES_LIST_FILE"
 432 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" ; do
 433     if [ -n "$file" ] ; then
 434        sed "s/^SUITE=.*/SUITE=\"$SUITE\"/" $file | sponge $file
 435        sed "s/\(^deb .\+\)\([ \t]*\)\($DIST\)\([ \t]*\)\(main \)/\1 \2$SUITE\4\5/" "$file" | sponge "$file"
 436     fi
 437 done
 438
 439 # notice: activate grml-live pool only if we are building against unstable:
 440 if grep -qe unstable -qe sid "$SOURCES_LIST_FILE" ; then
 441    grep -q 'grml-live.*main' "$SOURCES_LIST_FILE" || \
 442    grep grml-stable "$SOURCES_LIST_FILE" | \
 443         sed 's/grml-stable/grml-live/' >> "$SOURCES_LIST_FILE"
 444 else
 445    grep -q 'grml-live.*main' "$SOURCES_LIST_FILE" && \
 446    sed 's/.*grml-live.*/# removed grml-live repository/' "$SOURCES_LIST_FILE" | sponge "$SOURCES_LIST_FILE"
 447 fi
 448
 449 for file in "$LIVE_CONF" "$CONFIG" "$LOCAL_CONFIG" "$NFSROOT_CONF" ; do
 450     if [ -n "$file" ] ; then
 451        sed "s|^FAI_DEBOOTSTRAP=\"[a-z]* |FAI_DEBOOTSTRAP=\"$SUITE |" "$file" | sponge "$file"
 452     fi
 453 done
 454
 455 # validate whether the specified architecture class matches the
 456 # architecture (option), otherwise installation of kernel will fail
 457 if echo $CLASSES | grep -qi i386 ; then
 458    if ! [[ "$ARCH" == "i386" ]] ; then
 459       log    "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 460       eerror "Error: You specified the I386 class but are trying to build something else (AMD64?)."
 461       eerror "Tip:   Either invoke grml-live with '-a i386' or adjust the architecture class. Exiting."
 462       eend 1
 463       bailout
 464    fi
 465 elif echo $CLASSES | grep -qi amd64 ; then
 466    if ! [[ "$ARCH" == "amd64" ]] ; then
 467       log    "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 468       eerror "Error: You specified the AMD64 class but are trying to build something else (I386?)."
 469       eerror "Tip:   Either invoke grml-live with '-a amd64' or adjust the architecture class. Exiting."
 470       eend 1
 471       bailout
 472    fi
 473 fi
 474
 475 if grep -q -- 'FAI_DEBOOTSTRAP_OPTS.*--arch' "$NFSROOT_CONF" ; then
 476    sed "s/--arch [a-z0-9]* /--arch $ARCH /" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 477 else
 478    sed "s|^FAI_DEBOOTSTRAP_OPTS=\"\(.*\)|FAI_DEBOOTSTRAP_OPTS=\"--arch $ARCH \1|" "$NFSROOT_CONF" | sponge "$NFSROOT_CONF"
 479 fi
 480 # }}}
 481
 482 # CHROOT_OUTPUT - execute FAI {{{
 483 if [ -n "$BUILD_DIRTY" ]; then
 484    log   "Skipping stage 'fai' as requested via option -B"
 485    ewarn "Skipping stage 'fai' as requested via option -B" ; eend 0
 486 else
 487    [ -n "$CHROOT_OUTPUT" ] || CHROOT_OUTPUT="$OUTPUT/grml_chroot"
 488
 489    # provide inform fai about the ISO we build
 490    [ -d "$CHROOT_OUTPUT/etc/" ] || mkdir -p "$CHROOT_OUTPUT/etc/"
 491    echo '# This file has been generated by grml-live.' > "$CHROOT_OUTPUT/etc/grml_live_version"
 492    [ -n "$GRML_LIVE_VERSION" ] && echo "GRML_LIVE_VERSION=$GRML_LIVE_VERSION" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 493    [ -n "$SUITE" ] && echo "SUITE=$SUITE" >> "$CHROOT_OUTPUT/etc/grml_live_version"
 494
 495    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 496       FAI_ACTION=softupdate
 497    else
 498       FAI_ACTION=dirinstall
 499    fi
 500
 501    if [ -n "$UPDATE" -o -n "$BUILD_ONLY" ] ; then
 502       if ! [ -r "$CHROOT_OUTPUT/etc/debian_version" ] ; then
 503          log    "Error: does not look like you have a working chroot. Updating/building not possible."
 504          eerror "Error: does not look like you have a working chroot. Updating/building not possible. (Drop -u/-b option?)"
 505          eend 1
 506          bailout 20
 507       fi
 508    fi
 509
 510    if [ -d "$CHROOT_OUTPUT/bin" -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 511       log   "Skiping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already."
 512       ewarn "Skiping stage 'fai dirinstall' as $CHROOT_OUTPUT exists already." ; eend 0
 513    else
 514       mkdir -p "$CHROOT_OUTPUT" || bailout 5 "Problem with creating $CHROOT_OUTPUT for FAI"
 515
 516       if [ -n "${MIRROR_DIRECTORY}" ] ; then
 517          mkdir -p "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 518          mount --bind "${MIRROR_DIRECTORY}" "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 519       fi
 520
 521       log "Executed FAI command line:"
 522       log "BUILD_ONLY=$BUILD_ONLY fai $VERBOSE -C $GRML_FAI_CONFIG -c$CLASSES -u $HOSTNAME $FAI_ACTION $CHROOT_OUTPUT $FAI_ARGS"
 523       BUILD_ONLY="$BUILD_ONLY" fai $VERBOSE -C "$GRML_FAI_CONFIG" -c"$CLASSES" -u \
 524       "$HOSTNAME" $FAI_ACTION "$CHROOT_OUTPUT" $FAI_ARGS | tee -a $LOGFILE
 525       RC="$PIPESTATUS" # notice: bash-only
 526
 527       FORCE_ISO_REBUILD=true
 528
 529       if [ "$RC" != 0 ] ; then
 530          log    "Error: critical error while executing fai [exit code ${RC}]. Exiting."
 531          eerror "Error: critical error while executing fai [exit code ${RC}]. Exiting." ; eend 1
 532          bailout 1
 533       else
 534          log "Setting /etc/grml_version to $GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]"
 535          echo "$GRML_NAME $VERSION Release Codename $RELEASENAME [$DATE]" > $CHROOT_OUTPUT/etc/grml_version
 536          chmod 644 $CHROOT_OUTPUT/etc/grml_version
 537          einfo "Rebuilding initramfs"
 538          # make sure new /etc/grml_version reaches the initramfs:
 539          # chroot $CHROOT_OUTPUT update-initramfs -u -t => might break when using kernel-package :(
 540          chroot $CHROOT_OUTPUT update-initramfs -u -k all
 541          eend $?
 542       fi
 543
 544       # Remove all FAI logs from chroot if class RELEASE is used:
 545       if [ -f "$CHROOT_OUTPUT"/etc/grml_fai_release ] ; then
 546          rm -rf "$CHROOT_OUTPUT"/var/log/fai/*
 547       fi
 548
 549       # make sure we don't leave any mounts - FAI doesn't remove them always
 550       umount $CHROOT_OUTPUT/proc 2>/dev/null || /bin/true
 551       umount $CHROOT_OUTPUT/sys  2>/dev/null || /bin/true
 552       umount $CHROOT_OUTPUT/dev/pts 2>/dev/null || /bin/true
 553       umount $CHROOT_OUTPUT/dev 2>/dev/null || /bin/true
 554
 555       [ -n "$MIRROR_DIRECTORY" ] && umount "${CHROOT_OUTPUT}/${MIRROR_DIRECTORY}"
 556
 557       # notice: 'fai dirinstall' does not seem to exit appropriate, so:
 558       ERROR=''
 559       CHECKLOG=/var/log/fai/$HOSTNAME/last
 560       if [ -r "$CHECKLOG/software.log" ] ; then
 561          # 1 errors during executing of commands
 562          grep 'dpkg: error processing' $CHECKLOG/software.log >> $LOGFILE && ERROR=1
 563          grep 'E: Method http has died unexpectedly!' $CHECKLOG/software.log >> $LOGFILE && ERROR=2
 564          grep 'ERROR: chroot' $CHECKLOG/software.log >> $LOGFILE && ERROR=3
 565          grep 'E: Failed to fetch' $CHECKLOG/software.log >> $LOGFILE && ERROR=4
 566          grep 'Unable to write mmap - msync (28 No space left on device)' $CHECKLOG/software.log >> $LOGFILE && ERROR=5
 567       fi
 568
 569       if [ -r "$CHECKLOG/shell.log" ] ; then
 570          grep 'FAILED with exit code' $CHECKLOG/shell.log >> $LOGFILE && ERROR=2
 571       fi
 572
 573       if [ -n "$ERROR" ] ; then
 574          log    "Error: there was a critical error [${ERROR}] during execution of stage 'fai dirinstall' [$(date)]"
 575          eerror "Error: there was a critical error during execution of stage 'fai dirinstall'"
 576          eerror "Note:  check out ${CHECKLOG}/ for details. [exit ${ERROR}]"
 577          eend 1
 578          bailout 1
 579       else
 580          log "Finished execution of stage 'fai dirinstall' [$(date)]"
 581          einfo "Finished execution of stage 'fai dirinstall'"
 582       fi
 583
 584       einfo "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 585       log   "Find FAI build logs at $(readlink -f /var/log/fai/$HOSTNAME/last)"
 586       eend 0
 587    fi
 588 fi # BUILD_DIRTY?
 589 # }}}
 590
 591 # package validator {{{
 592 CHECKLOG=/var/log/fai/$HOSTNAME/last
 593 # package validator
 594 if [ -r "$CHECKLOG/package_errors.log" ] && grep -q '[a-z]' "$CHECKLOG/package_errors.log" ; then
 595
 596    if [ -n "$EXIT_ON_MISSING_PACKAGES" -a -z "$BUILD_DIRTY" ] ; then
 597       eerror "The following packages were requested for installation but could not be processed:"
 598       cat $CHECKLOG/package_errors.log
 599       eerror "... exiting as requested via \$EXIT_ON_MISSING_PACKAGES."
 600       eend 1
 601       bailout 13
 602    else
 603       ewarn "The following packages were requested for installation but could not be processed:"
 604       cat $CHECKLOG/package_errors.log
 605       eend 0
 606    fi
 607 fi
 608 # }}}
 609
 610 # BUILD_OUTPUT - execute arch specific stuff and squashfs {{{
 611 [ -n "$BUILD_OUTPUT" ] || BUILD_OUTPUT="$OUTPUT/grml_cd"
 612 mkdir -p "$BUILD_OUTPUT" || bailout 6 "Problem with creating $BUILD_OUTPUT for stage ARCH"
 613
 614 # i386:
 615 if [ "$ARCH" = i386 ] || [ "$ARCH" = amd64 ] ; then
 616    if [ -d "$BUILD_OUTPUT"/boot/isolinux -a -z "$UPDATE" -a -z "$BUILD_ONLY" ] ; then
 617       log   "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already."
 618       ewarn "Skipping stage 'boot' as $BUILD_OUTPUT/boot/isolinux exists already." ; eend 0
 619    else
 620       # booting stuff:
 621       [ -d "$BUILD_OUTPUT"/boot/isolinux ] || mkdir -p "$BUILD_OUTPUT"/boot/isolinux
 622       [ -d "$BUILD_OUTPUT"/boot/"${SHORT_NAME}" ] || mkdir -p "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"
 623
 624       if [ -z "$NO_ADDONS" ] ; then
 625          [ -d "$BUILD_OUTPUT"/boot/addons   ] || mkdir -p "$BUILD_OUTPUT"/boot/addons
 626          if [ -r "$TEMPLATE_DIRECTORY"/boot/addons/memtest ] ; then
 627             log "Installing $TEMPLATE_DIRECTORY/boot/addons/memtest"
 628             cp "$TEMPLATE_DIRECTORY"/boot/addons/memtest "$BUILD_OUTPUT"/boot/addons/memtest
 629          elif [ -r /boot/memtest86+.bin ] ; then
 630             log "Installing /boot/memtest86+.bin"
 631             cp /boot/memtest86+.bin "$BUILD_OUTPUT"/boot/addons/memtest
 632          else
 633             ewarn "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 634             log "No memtest binary found (either install package grml-live-addons or memtest86+), skipping."
 635             eend 0
 636          fi
 637       fi
 638
 639       # if we don't have an initrd we a) can't boot and b) there was an error
 640       # during build, so check for the file:
 641       INITRD="$(ls $CHROOT_OUTPUT/boot/initrd* 2>/dev/null| grep -v '.bak$' | sort -r | head -1)"
 642       if [ -n "$INITRD" ] ; then
 643          cp $INITRD "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/initrd.gz
 644          find $CHROOT_OUTPUT/boot/ -name initrd\*.bak -exec rm {} \;
 645       else
 646          log    "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting"
 647          eerror "Error: No initrd found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 648          bailout 10
 649       fi
 650
 651       KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
 652       if [ -n "$KERNEL_IMAGE" ] ; then
 653          cp "$KERNEL_IMAGE" "$BUILD_OUTPUT"/boot/"${SHORT_NAME}"/linux26
 654       else
 655          log    "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting"
 656          eerror "Error: No kernel found inside $CHROOT_OUTPUT/boot/ - Exiting" ; eend 1
 657          bailout 11
 658       fi
 659
 660       [ -n "$TEMPLATE_DIRECTORY" ] || TEMPLATE_DIRECTORY='/usr/share/grml-live/templates'
 661       if ! [ -d "${TEMPLATE_DIRECTORY}"/boot ] ; then
 662          log    "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting."
 663          eerror "Error: ${TEMPLATE_DIRECTORY}/boot does not exist. Exiting." ; eend 1
 664          bailout 8
 665       fi
 666
 667       # *always* copy files to output directory so the variables
 668       # get adjusted according to the build
 669       cp ${TEMPLATE_DIRECTORY}/boot/isolinux/*  "$BUILD_OUTPUT"/boot/isolinux/
 670
 671       if [ -n "$NO_ADDONS" ] ; then
 672          log "Skipping installation boot addons requested via \$NO_ADDONS."
 673          einfo "Skipping installation boot addons requested via \$NO_ADDONS."
 674          eend 0
 675       else
 676          if ! [ -d "$TEMPLATE_DIRECTORY"/boot/addons/bsd4grml ] ; then
 677            ewarn "Boot addons not found, skipping therefore. (Consider installing package grml-live-addons)" ; eend 0
 678          else
 679            # copy only files so we can handle bsd4grml on its own
 680            for file in ${TEMPLATE_DIRECTORY}/boot/addons/* ; do
 681                test -f $file && cp $file "$BUILD_OUTPUT"/boot/addons/
 682            done
 683
 684            if [ -z "$NO_ADDONS_BSD4GRML" ] ; then
 685               cp -a ${TEMPLATE_DIRECTORY}/boot/addons/bsd4grml "$BUILD_OUTPUT"/boot/addons/
 686            fi
 687          fi
 688       fi
 689
 690       if ! [ -d "${BUILD_OUTPUT}/boot/grub" ] ; then
 691          cp -a ${TEMPLATE_DIRECTORY}/boot/grub  "$BUILD_OUTPUT"/boot/
 692       fi
 693       # make sure we have recent template files available, otherwise updating
 694       # the strings like $GRML_NAME and $VERSION might be out of date
 695       cp ${TEMPLATE_DIRECTORY}/boot/grub/* "$BUILD_OUTPUT"/boot/grub/
 696
 697       if ! [ -d "${TEMPLATE_DIRECTORY}"/GRML ] ; then
 698          log    "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting."
 699          eerror "Error: ${TEMPLATE_DIRECTORY}/GRML does not exist. Exiting." ; eend 1
 700          bailout 9
 701       fi
 702
 703       [ -d "$BUILD_OUTPUT"/GRML ] || mkdir "$BUILD_OUTPUT"/GRML
 704       cp -a ${TEMPLATE_DIRECTORY}/GRML/* "$BUILD_OUTPUT"/GRML/
 705
 706       # adjust boot splash information:
 707       RELEASE_INFO="$GRML_NAME $VERSION - Release Codename $RELEASENAME"
 708       RELEASE_INFO="$(cut_string 68 "$RELEASE_INFO")"
 709       RELEASE_INFO="$(extend_string_end 68 "$RELEASE_INFO")"
 710
 711       sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/GRML/grml-version
 712       sed -i "s/%DATE%/$DATE/"                                      "$BUILD_OUTPUT"/GRML/grml-version
 713
 714       # make sure the squashfs filename is set accordingly:
 715       SQUASHFS_NAME="$GRML_NAME.squashfs"
 716
 717       [ -n "$BOOTID" ] || BOOTID="$(echo ${GRML_NAME}${VERSION} | tr -d ',./;\- ')"
 718       [ -d "$BUILD_OUTPUT"/conf ] || mkdir "$BUILD_OUTPUT"/conf
 719       einfo "Generating /conf/bootid.txt with entry ${BOOTID}."
 720       echo "$BOOTID" > "$BUILD_OUTPUT"/conf/bootid.txt
 721       eend $?
 722
 723       # adjust all variables in the templates with the according distribution information
 724       for file in "${BUILD_OUTPUT}"/boot/isolinux/*.cfg "${BUILD_OUTPUT}"/boot/isolinux/*.msg \
 725                   "${BUILD_OUTPUT}"/boot/grub/* ; do
 726         sed -i "s/%ARCH%/$ARCH/g"                    "${file}"
 727         sed -i "s/%DATE%/$DATE/g"                    "${file}"
 728         sed -i "s/%DISTRI_INFO%/$DISTRI_INFO/g"      "${file}"
 729         sed -i "s/%DISTRI_NAME%/$DISTRI_NAME/g"      "${file}"
 730         sed -i "s/%DISTRI_SPLASH%/$DISTRI_SPLASH/g"  "${file}"
 731         sed -i "s/%GRML_NAME%/$GRML_NAME/g"          "${file}"
 732         sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/g"  "${file}"
 733         sed -i "s/%RELEASE_INFO%/$RELEASE_INFO/g"    "${file}"
 734         sed -i "s/%SHORT_NAME%/$SHORT_NAME/g"        "${file}"
 735         sed -i "s/%VERSION%/$VERSION/g"              "${file}"
 736         sed -i "s/%BOOTID%/$BOOTID/g"                "${file}"
 737       done
 738
 739       # adjust bootsplash accordingly but make sure the string has the according lenght
 740       SQUASHFS_NAME="$(cut_string 20 "$SQUASHFS_NAME")"
 741       SQUASHFS_NAME="$(extend_string_end 20 "$SQUASHFS_NAME")"
 742       sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "$BUILD_OUTPUT"/boot/isolinux/f4
 743       sed -i "s/%SQUASHFS_NAME%/$SQUASHFS_NAME/" "$BUILD_OUTPUT"/boot/isolinux/f5
 744
 745       # generate addon list
 746       rm "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 747       for name in $(ls "${BUILD_OUTPUT}"/boot/isolinux/addon_*.cfg) ; do
 748         include_name=$(basename "$name")
 749         echo "include $include_name"  >> "${BUILD_OUTPUT}/${ADDONS_LIST_FILE}"
 750       done
 751
 752       if ! [ -r "${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg" ] || [ "$DISTRI_NAME" = "grml" ] ; then
 753          log "including grmlmain.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 754          echo "include grmlmain.cfg"    >  "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 755          echo "include default.cfg"     >  "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 756          echo "include menuoptions.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 757          echo "include grml.cfg"        >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 758          echo "include options.cfg"     >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 759          if [ ! -n "$NO_ADDONS" ] ; then
 760            echo "include addons.cfg"    >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 761          fi
 762          echo "include isoprompt.cfg"   >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 763          echo "include hd.cfg"          >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 764          echo "include hidden.cfg"      >> "${BUILD_OUTPUT}/boot/isolinux/grmlmain.cfg"
 765       else # assume we are building a custom distribution:
 766          log "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 767          einfo "File ${BUILD_OUTPUT}/boot/isolinux/${DISTRI_NAME}.cfg found, using it."
 768          if grep -q "^include ${DISTRI_NAME}.cfg" "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 769            log "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 770            eindent
 771            einfo "include for ${DISTRI_NAME}.cfg already present, nothing to do."
 772            eoutdent
 773            eend $?
 774         else
 775            log "including ${DISTRI_NAME}.cfg in ${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 776            echo "include ${DISTRI_NAME}.cfg" > "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 777            [ -n "$NO_ADDONS" ] || echo "include addons.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/distri.cfg"
 778          fi
 779       fi
 780
 781       # use old style console based isolinux method only if requested:
 782       if [[ "${ISOLINUX_METHOD}" == "console" ]] ; then
 783          log 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 784          einfo 'Using console based isolinux method as requested via $ISOLINUX_METHOD.'
 785          if grep -q '^include console.cfg' "${BUILD_OUTPUT}/boot/isolinux/distri.cfg" ; then
 786            einfo "include for console.cfg already foud, nothing to do."
 787            eend 0
 788          else
 789            log "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 790            einfo "including console.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 791            echo "include console.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 792            eend $?
 793          fi
 794       else
 795          log 'Using graphical boot menu.'
 796          if grep -q '^include vesamenu.cfg' "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg" ; then
 797            log "include for vesamenu.cfg already foud, nothing to do."
 798          else
 799            log "including vesamenu.cfg in ${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 800            echo "include vesamenu.cfg" >> "${BUILD_OUTPUT}/boot/isolinux/isolinux.cfg"
 801          fi
 802       fi
 803
 804       # jump back to grub from bsd4grml (/boot/grub/stage2):
 805       GRUB_LEGACY=stage2
 806
 807       if [ -e "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 ]; then
 808          if [ -e "$BUILD_OUTPUT"/boot/grub/core.img ]; then
 809             GRUB_VERSION=2
 810          else
 811             GRUB_VERSION=1
 812          fi
 813
 814          for file in "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6 \
 815                      "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.cfg \
 816                      "$BUILD_OUTPUT"/boot/isolinux/*.cfg \
 817                      "$BUILD_OUTPUT"/boot/grub/grub.cfg \
 818                      "$BUILD_OUTPUT"/boot/grub/menu.lst ; do
 819              if [ -e "$file" ] ; then
 820                sed -i -e "s!%GRUB_VERSION%!$GRUB_VERSION!g" \
 821                       -e "s!%GRUB_LEGACY%!$GRUB_LEGACY!g" "$file"
 822              fi
 823          done
 824
 825          sed -i "s/%RELEASE_INFO%/$GRML_NAME $VERSION - $RELEASENAME/" "$BUILD_OUTPUT"/boot/addons/bsd4grml/boot.6
 826       fi
 827
 828       if [ -e "$BUILD_OUTPUT"/boot/grub/$GRUB_LEGACY ]; then
 829          sed -i "s/%GRUB_LEGACY%/$GRUB_LEGACY/g" "$BUILD_OUTPUT"/boot/grub/menu.lst
 830          sed -i "s/%GRUB_LEGACY%/$GRUB_LEGACY/g" "$BUILD_OUTPUT"/boot/grub/grub.cfg
 831       else
 832          sed -i "/%GRUB_LEGACY%/d" "$BUILD_OUTPUT"/boot/grub/menu.lst
 833          sed -i "/%GRUB_LEGACY%/d" "$BUILD_OUTPUT"/boot/grub/grub.cfg
 834       fi
 835
 836       DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot
 837       if ! [ -r "$DPKG_LIST" ] ; then
 838          ewarn "$DPKG_LIST could not be read, ignoring to store package information on ISO therefore."
 839       else
 840          einfo "Storing package list information as /GRML/${GRML_NAME}-packages.txt on ISO."
 841          cp "$DPKG_LIST" "${BUILD_OUTPUT}/GRML/${GRML_NAME}-packages.txt"
 842          eend $?
 843       fi
 844
 845       # autostart for Windows:
 846       if [ -d "${TEMPLATE_DIRECTORY}/windows/autostart/" ] ; then
 847          cp ${TEMPLATE_DIRECTORY}/windows/autostart/* "$BUILD_OUTPUT"/
 848       fi
 849
 850       # windows-binaries:
 851       if [ -n "$NO_WINDOWS_BINARIES" ] ; then
 852          log   "Skipping download of windows binaries as requested via \$NO_WINDOWS_BINARIES."
 853          einfo "Skipping download of windows binaries as requested via \$NO_WINDOWS_BINARIES."
 854          eend 0
 855       else
 856          if [ -f "$BUILD_OUTPUT"/windows/putty.exe ] ; then
 857             log   "Skipping stage 'WINDOWS_BINARIES' as $BUILD_OUTPUT/windows exists already."
 858             ewarn "Skipping stage 'WINDOWS_BINARIES' as $BUILD_OUTPUT/windows exists already." ; eend 0
 859          else
 860             if ! [ -d "$BUILD_OUTPUT"/windows ] ; then
 861                mkdir "$BUILD_OUTPUT"/windows
 862                ( cd "$BUILD_OUTPUT"/windows
 863                  for file in pageant plink pscp psftp putty puttygen ; do
 864                     wget -O ${file}.exe ${WINDOWS_BINARIES}/${file}.exe
 865                     md5sum ${file}.exe > ${file}.exe.md5
 866                  done )
 867             fi
 868
 869             log "Finished execution of stage 'WINDOWS_BINARIES' [$(date)]"
 870             einfo "Finished execution of stage 'WINDOWS_BINARIES'" ; eend 0
 871          fi
 872       fi
 873
 874    FORCE_ISO_REBUILD=true
 875    einfo "Finished execution of stage 'boot'" ; eend 0
 876    fi
 877 else
 878    log    'Error: Unsupported ARCH, sorry. Want to support it? Contribute!'
 879    eerror 'Error: Unsupported ARCH, sorry. Want to support it? Contribute!' ; eend 1
 880    bailout
 881 fi
 882
 883 # support installation of local files into the chroot/ISO
 884 if [ -n "$CHROOT_INSTALL" ] ; then
 885   if ! [ -d "$CHROOT_INSTALL" ] ; then
 886      log "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 887      ewarn "Configuration variable \$CHROOT_INSTALL is set but not a directory; ignoring"
 888   else
 889      log "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 890      einfo "Copying local files to chroot as requested via \$CHROOT_INSTALL"
 891      rsync -avz --inplace "$CHROOT_INSTALL"/ "$CHROOT_OUTPUT/"
 892      eend $?
 893      einfo "Make sure to run squashfs stage, otherwise your local files won't be part of the ISO."
 894      FORCE_ISO_REBUILD=true
 895   fi
 896 fi
 897
 898 if [ -f "$BUILD_OUTPUT"/live/${GRML_NAME}.squashfs -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" ] ; then
 899    log   "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already."
 900    ewarn "Skipping stage 'squashfs' as $BUILD_OUTPUT/live exists already." ; eend 0
 901 elif [ -n "$SKIP_MKSQUASHFS" ] ; then
 902    log   "Skipping stage 'squashfs' as requested via option -q"
 903    ewarn "Skipping stage 'squashfs' as requested via option -q" ; eend 0
 904 else
 905    [ -d "$BUILD_OUTPUT"/live ] || mkdir "$BUILD_OUTPUT"/live
 906    # make sure we don't leave (even an empty) base.tgz:
 907    [ -f "$CHROOT_OUTPUT/base.tgz" ] && rm -f "$CHROOT_OUTPUT/base.tgz"
 908
 909    # $SQUASHFS_BINARY is specified in the configuration:
 910    if [ -n "$SQUASHFS_BINARY" ] ; then
 911       if ! which "$SQUASHFS_BINARY" >/dev/null 2>&1 ; then
 912          log    "Error: specified mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting."
 913          eerror "Error: specified mksquashfs binary ($SQUASHFS_BINARY) not found. Exiting." ; eend 1
 914          bailout
 915       fi
 916    else # no $SQUASHFS_BINARY configured, let's find the according binary:
 917       # Note: this is ALL for backward compatibility and yes: it's serious PITA.
 918       # We'll definitely drop this once people build >2.6.28-grml* only and
 919       # the squashfs-tools vs. squashfs-lzma-tools + zlib vs. lzma situation
 920       # is settling...
 921
 922       # assume the safe default if mksquashfs-lzma isn't present:
 923       if ! which mksquashfs-lzma >/dev/null 2>&1 ; then
 924          SQUASHFS_BINARY='mksquashfs'
 925       else # mksquashfs-lzma is available since squashfs-lzma-tools 4.0:
 926          # if the user wants to use zlib then don't use mksquashfs-lzma:
 927          if echo "$SQUASHFS_OPTIONS" | grep -q -- "-nolzma" || [ -n "$SQUASHFS_ZLIB" ] ; then
 928             SQUASHFS_BINARY='mksquashfs'
 929          else # neither -nolzma nor -z and mksquashfs-lzma is available:
 930             SQUASHFS_BINARY='mksquashfs-lzma'
 931
 932             # backwards compatibility: someone has squashfs-lzma-tools >=4 installed but
 933             # 1) doesn't use -nolzma in $SQUASHFS_OPTIONS or the grml-live's -z option *and*
 934             # 2) builds against kernel version <=2.6.28-grml[64]
 935             if ls $CHROOT_OUTPUT/boot/vmlinuz* >/dev/null 2>&1 ; then
 936                KERNEL_IMAGE="$(ls $CHROOT_OUTPUT/boot/vmlinuz* 2>/dev/null | sort -r | head -1)"
 937
 938                case $KERNEL_IMAGE in
 939                   *vmlinuz-2.6.28-grml*|*vmlinuz-2.6.26-grml*|*vmlinuz-2.6.23-grml*)
 940                   log   "You seem to be building a system with squashfs file format 3 using squashfs-lzma-tools >=4."
 941                   ewarn "You seem to be building a system with squashfs file format 3 using squashfs-lzma-tools >=4."
 942                   ewarn "|-> Consider installing squashfs-lzma-tools 3.3-1 for support of file format version 3."
 943                   ewarn "|-> Trying the mksquashfs binary instead of mksquashfs-lzma (though this might fail)."
 944                   ewarn "\`-> Visit http://grml.org/grml-live/#current_state for further details if building fails."
 945                   eend 0
 946                   SQUASHFS_BINARY='mksquashfs'
 947                   ;;
 948                esac
 949             fi
 950
 951             # if we still want to use mksquashfs-lzma then let's choose
 952             # blocksize 256k as this gives best result with regards to time + comopression
 953             [[ "$SQUASHFS_BINARY" == "mksquashfs-lzma" ]] && SQUASHFS_OPTIONS="-b 256k -lzma"
 954          fi
 955
 956       fi
 957    fi
 958
 959    # make sure mksquashfs can handle the according option:
 960    if [ -n "$SQUASHFS_ZLIB" ] ; then
 961       $SQUASHFS_BINARY --help 2>&1 | grep -q -- "$SQUASHFS_ZLIB" || SQUASHFS_ZLIB=''
 962    fi
 963
 964    # make sure to drop the -nolzma option if it's not available:
 965    if echo "$SQUASHFS_OPTIONS" | grep -q -- "-nolzma" ; then
 966       if ! $SQUASHFS_BINARY --help 2>&1 | grep -q -- '-nolzma' ; then
 967          log   "The $SQUASHFS_BINARY binary does NOT support the nolzma option, dropping it and using default mode."
 968          ewarn "The $SQUASHFS_BINARY binary does NOT support the nolzma option, dropping it and using default mode."
 969          SQUASHFS_OPTIONS="$(echo $SQUASHFS_OPTIONS | sed 's/-nolzma//g')"
 970          eend 0
 971       fi
 972    fi
 973
 974    # make sure to drop the -lzma option if it's not available:
 975    if echo "$SQUASHFS_OPTIONS" | grep -q -- "-lzma" ; then
 976       if ! $SQUASHFS_BINARY --help 2>&1 | grep -q -- '-lzma' ; then
 977          log   "The $SQUASHFS_BINARY binary does NOT support the lzma option, dropping it and using default mode."
 978          ewarn "The $SQUASHFS_BINARY binary does NOT support the lzma option, dropping it and using default mode."
 979          SQUASHFS_OPTIONS="$(echo $SQUASHFS_OPTIONS | sed 's/-lzma//g')"
 980          eend 0
 981       fi
 982    fi
 983
 984    # support exclusion of files via exclude-file:
 985    if [ -n "$SQUASHFS_EXCLUDES_FILE" -a "$SQUASHFS_EXCLUDES_FILE" ] ; then
 986       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -ef $SQUASHFS_EXCLUDES_FILE"
 987    fi
 988
 989    # get rid of unnecessary files when building grml-small for final release:
 990    if echo "$CLASSES" | grep -q GRML_SMALL ; then
 991       SQUASHFS_OPTIONS="$SQUASHFS_OPTIONS -e initrd.img* vmlinuz*"
 992    fi
 993
 994    # check whether we have the according binary available:
 995    if ! which $SQUASHFS_BINARY >/dev/null 2>&1 ; then
 996       log    "Error: mksquashfs binary (${SQUASHFS_BINARY}) could not be found. Exiting."
 997       eerror "Error: mksquashfs binary (${SQUASHFS_BINARY}) could not be found. Exiting."
 998       eerror "|-> Make sure to install either squashfs-tools and/or squashfs-lzma-tools."
 999       eerror "\`-> Visit http://grml.org/grml-live/#current_state for further details."
1000       eend 1
1001       bailout
1002    fi
1003
1004    SQUASHFS_STDERR="$(mktemp -t grml-live.XXXXXX)"
1005
1006    [ -n "$SQUASHFS_OPTIONS" ]  && SQUASHFS_INFO_MSG="$SQUASHFS_OPTIONS"
1007    [ -n "$SQUASHFS_ZLIB" ]     && SQUASHFS_INFO_MSG="$SQUASHFS_INFO_MSG $SQUASHFS_ZLIB"
1008    [ -n "$SQUASHFS_INFO_MSG" ] && SQUASHFS_INFO_MSG="using options: $SQUASHFS_INFO_MSG"
1009    einfo "Squashfs build information: running binary $SQUASHFS_BINARY $SQUASHFS_INFO_MSG"
1010
1011    log "$SQUASHFS_BINARY $CHROOT_OUTPUT/* $BUILD_OUTPUT/live/${GRML_NAME}.squashfs -noappend $SQUASHFS_OPTIONS $SQUASHFS_ZLIB"
1012
1013    if $SQUASHFS_BINARY $CHROOT_OUTPUT/* $BUILD_OUTPUT/live/"${GRML_NAME}".squashfs \
1014       -noappend $SQUASHFS_OPTIONS $SQUASHFS_ZLIB 2>"${SQUASHFS_STDERR}" ; then
1015       echo "${GRML_NAME}.squashfs" > $BUILD_OUTPUT/live/filesystem.module
1016       log "Finished execution of stage 'squashfs' [$(date)]"
1017       einfo "Finished execution of stage 'squashfs'" ; eend 0
1018    else
1019       log    "Error: there was a critical error executing stage 'squashfs' [$(date)]:"
1020       log    "$(cat $SQUASHFS_STDERR)"
1021       eerror "Error: there was a critical error executing stage 'squashfs':" ; eend 1
1022       cat    "${SQUASHFS_STDERR}"
1023       bailout
1024    fi
1025
1026    FORCE_ISO_REBUILD=true
1027 fi
1028
1029 # create md5sum file:
1030 ( cd $BUILD_OUTPUT/GRML &&
1031 find .. -type f -not -name md5sums -not -name isolinux.bin -exec md5sum {} \; > md5sums )
1032 # }}}
1033
1034 # ISO_OUTPUT - mkisofs {{{
1035 [ -n "$ISO_OUTPUT" ] || ISO_OUTPUT="$OUTPUT/grml_isos"
1036 [ -n "$ISO_NAME" ] || ISO_NAME="${GRML_NAME}_${VERSION}.iso"
1037
1038 if [ "$BOOT_METHOD" = "isolinux" ] ; then
1039    BOOT_FILE="boot/isolinux/isolinux.bin -c boot/isolinux/boot.cat"
1040 elif [ "$BOOT_METHOD" = "grub" ] ; then
1041    BOOT_FILE="boot/grub/stage2"
1042 fi
1043
1044 if [ -f "${ISO_OUTPUT}/${ISO_NAME}" -a -z "$UPDATE" -a -z "$BUILD_ONLY" -a -z "$BUILD_DIRTY" -a "$FORCE_ISO_REBUILD" = "false" ]  ; then
1045    log   "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already."
1046    ewarn "Skipping stage 'iso build' as $ISO_OUTPUT/${ISO_NAME} exists already." ; eend 0
1047 elif [ -n "$SKIP_MKISOFS" ] ; then
1048    log   "Skipping stage 'iso build' as requested via option -n"
1049    ewarn "Skipping stage 'iso build' as requested via option -n" ; eend 0
1050 else
1051    mkdir -p "$ISO_OUTPUT" || bailout 6 "Problem with creating $ISO_OUTPUT for stage 'iso build'"
1052
1053    if $FORCE_ISO_REBUILD && ! [ -f "${ISO_OUTPUT}/${ISO_NAME}" ] ; then
1054       log   "Forcing rebuild of ISO because files on ISO have been modified."
1055       einfo "Forcing rebuild of ISO because files on ISO have been modified."
1056    fi
1057
1058    # support mkisofs as well as genisoimage
1059    if which mkisofs >/dev/null 2>&1; then
1060       MKISOFS='mkisofs'
1061    elif which genisoimage >/dev/null 2>&1; then
1062       MKISOFS='genisoimage'
1063    else
1064       log    "Error: neither mkisofs nor genisoimage available - can not create ISO."
1065       eerror "Error: neither mkisofs nor genisoimage available - can not create ISO." ; eend 1
1066       bailout
1067    fi
1068
1069    CURRENT_DIR=$(pwd)
1070    if cd "$BUILD_OUTPUT" ; then
1071       log "$MKISOFS -V '${GRML_NAME} ${VERSION}' -publisher 'grml-live | grml.org' -l -r -J -no-emul-boot -boot-load-size 4 -boot-info-table -b $BOOT_FILE -o ${ISO_OUTPUT}/${ISO_NAME} ."
1072       "$MKISOFS" -V "${GRML_NAME} ${VERSION}" -publisher 'grml-live | grml.org' \
1073               -l -r -J -no-emul-boot -boot-load-size 4 -boot-info-table    \
1074               -b $BOOT_FILE -no-pad \
1075               -o "${ISO_OUTPUT}/${ISO_NAME}" . ; RC=$?
1076
1077       # pad the output ISO to multiples of 256 KiB for partition table support
1078       siz=$($getfilesize "${ISO_OUTPUT}/${ISO_NAME}")
1079       cyls=$((siz / 512 / 32 / 16 + 1))   # C=$cyls H=16 S=32
1080       siz=$((cyls * 16 * 32 * 512))   # size after padding
1081       dd if=/dev/zero bs=1 count=1 seek=$((siz - 1)) \
1082          of="${ISO_OUTPUT}/${ISO_NAME}" 2>/dev/null
1083
1084       # support disabling hybrid ISO image
1085       if [ "$HYBRID_METHOD" = "disable" ] ; then\
1086          log   "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1087          einfo "Skipping creation of hybrid ISO file as requested via HYBRID_METHOD=disable"
1088          eend 0
1089       # use isohybrid only on request
1090       elif [ "$HYBRID_METHOD" = "isohybrid" ] ; then
1091          if ! which isohybrid >/dev/null 2>&1 ; then
1092            bailout 12 "isohybrid binary not found - please install syslinux/syslinux-common"
1093          else
1094            log "Creating hybrid ISO file with isohybrid method"
1095            einfo "Creating hybrid ISO file with isohybrid method"
1096            # Notes for consideration:
1097            # "-entry 4 -type 1c"
1098            # * using 4 as the partition number is supposed to help with BIOSes
1099            #   that only support USB-Zip boot
1100            # * using 1c (i.e. hidden FAT32 LBA), instead of the default 0x17
1101            #   (hidden NTFS, IIRC), as the partition type is sometimes needed
1102            #   to get the BIOS even look at the partition created by isohybrid
1103            isohybrid "${ISO_OUTPUT}/${ISO_NAME}"
1104            eend $?
1105          fi
1106       # by default use our manifold boot method:
1107       else
1108          if ! [ -r boot/grub/core.img ] ; then
1109            ewarn "boot/grub/core.img not found, not creating manifold boot ISO file"
1110          else
1111            log "Creating hybrid ISO file with manifold method"
1112            einfo "Creating hybrid ISO file with manifold method"
1113            (
1114                # 512 bytes: MBR, partition table, load GRUB 2
1115                echo 4 63 | mksh /usr/share/grml-live/scripts/bootgrub.mksh -A -M 4:0x96 -g $cyls:16:32
1116                # pad to a whole of 2048 bytes (one CD sector)
1117                dd if=/dev/zero bs=512 count=3 2>/dev/null
1118                # append GRUB 2 (must be <=30720 bytes)
1119                cat boot/grub/core.img
1120            ) | dd of="${ISO_OUTPUT}/${ISO_NAME}" conv=notrunc 2>/dev/null
1121            eend $?
1122          fi
1123       fi
1124
1125       # generate md5sum and sha1sum of ISO if we are using class 'RELEASE':
1126       case $CLASSES in *RELEASE*)
1127          [ "$RC" = 0 ] && \
1128          (
1129            if cd $ISO_OUTPUT ; then
1130              md5sum ${ISO_NAME} > ${ISO_NAME}.md5 && \
1131              touch -r ${ISO_NAME} ${ISO_NAME}.md5
1132              sha1sum ${ISO_NAME} > ${ISO_NAME}.sha1 && \
1133              touch -r ${ISO_NAME} ${ISO_NAME}.sha1
1134            fi
1135          )
1136          ;;
1137       esac
1138
1139       cd $CURRENT_DIR
1140    fi
1141
1142    if [ "$RC" = 0 ] ; then
1143       log   "Finished execution of stage 'iso build' [$(date)]"
1144       einfo "Finished execution of stage 'iso build'" ; eend 0
1145    else
1146       log    "Error: there was a critical error ($RC) executing stage 'iso build' [$(date)]"
1147       eerror "Error: there was a critical error executing stage 'iso build'" ; eend 1
1148       bailout $RC
1149    fi
1150 fi
1151 # }}}
1152
1153 # log build information to database if grml-live-db is installed and enabled {{{
1154 dpkg_to_db() {
1155 if [ -d /usr/share/grml-live-db ] ; then
1156
1157   # safe defaults
1158   DPKG_LIST="/var/log/fai/$HOSTNAME/last/dpkg.list" # the dpkg --list output of the chroot:
1159   [ -n "$DPKG_DATABASE" ]  || DPKG_DATABASE=/var/log/grml-live.db
1160   [ -n "$DPKG_DBSCRIPT" ]  || DPKG_DBSCRIPT=/usr/share/grml-live-db/scripts/dpkg-to-db
1161   [ -n "$DPKG_DBOPTIONS" ] || DPKG_DBOPTIONS="--database $DPKG_DATABASE --logfile $LOGFILE --flavour $GRML_NAME --dpkg $DPKG_LIST"
1162
1163   if ! [ -x "$DPKG_DBSCRIPT" ] ; then
1164     log "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information."
1165     eerror "Error: $DPKG_DBSCRIPT is not executable, can not log dpkg information." ; eend 1
1166     bailout 14
1167   fi
1168
1169   # disable by default for now, not sure whether really everyone is using a local db file
1170   #if ! touch "$DPKG_DATABASE" ; then
1171   #  eerror "Error: can not write to ${DPKG_DATABASE}, can not log dpkg information." ; eend 1
1172   #  bailout 14
1173   #fi
1174
1175   if ! [ -r "$DPKG_LIST" ] ; then
1176      log "Error reading $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT"
1177      eerror "Error reading $DPKG_LIST - can not provide information to $DPKG_DBSCRIPT" ; eend 1
1178      bailout 14
1179   else
1180      einfo "Logging $DPKG_LIST to database $DPKG_DATABASE"
1181      log "Logging $DPKG_LIST to database $DPKG_DATABASE"
1182      log "Executing $DPKG_DBSCRIPT $DPKG_DBOPTIONS"
1183      eindent
1184
1185      if DB_INFO=$("$DPKG_DBSCRIPT" $DPKG_DBOPTIONS 2>&1) ; then
1186        einfo "$DB_INFO"
1187        eend 0
1188      else
1189        eerror "$DB_INFO"
1190        eend 1
1191      fi
1192
1193      eoutdent
1194   fi
1195
1196 fi
1197 }
1198 # }}}
1199
1200 # finalize {{{
1201 [ -n "$start_seconds" ] && SECONDS="$[$(cut -d . -f 1 /proc/uptime)-$start_seconds]" || SECONDS="unknown"
1202 log "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]"
1203
1204 dpkg_to_db # make sure we catch the last log line as well, therefore execute between log + einfo
1205
1206 einfo "Successfully finished execution of $PN [$(date) - running ${SECONDS} seconds]" ; eend 0
1207 bailout 0
1208 # }}}
1209
1210 ## END OF FILE #################################################################
1211 # vim:foldmethod=marker ts=2 ft=sh ai expandtab tw=80 sw=3