SW: move multitail from GRML_FULL to GRMLBASE

It's referred to also in grml-small and it's just a few KBs.

Add etc/grml/fai/config/config to .gitignore

FAI sadly creates that symlink :(

docs: don't mention Grml/Debian repositories for squashfs-tools any longer

Provide wayback machine via "-w <date>"

The wayback machine provides building the system using Debian
archives from the specified date.

Add .gitignore to ignore files from etc/grml/fai/config/basefiles

This is useful if running grml-live from .git and you want to use
a basefile inside etc/grml/fai/config/basefiles.

03-get-sources: ensure that apt information is available + up2date

If we don't run 'apt-get update' at this stage we might not have
the according files available needed to run 'apt-get source'.

Release new version 0.27.2

Do not fail source retrieval step with apt >=1.1

apt >=1.1 tries to drop privileges which fails in our typical setup with:

| W: Can't drop privileges for downloading as file 'zsh_5.2-2.dsc' couldn't be accessed by user '_apt'. - pkgAcquire::Run (13: Permission denied)

Instead let's check for actual errors (starting with "E:"),
and do not fail the build if there warnings only ("W:").

Fix apt 1.1 regression in apt-preferences handling

apt >=1.1 fails to parse our apt-preferences setup:

| E: Invalid record in the preferences file /etc/apt/preferences, no Package header

Release new version 0.27.1

Fix wrong filename for chain.c32 in isolinux.cfg

Thanks: Gregor Zattler <telegraph@gmx.net> for the bug report

docs: How to use your own local repository

Drop misplaced MIRROR_DIRECTORY from grml-live.conf

Fix error from commit 94aafe9bb2f3

drop full-ov, custom-ov, live-rw and home-rw from the helptext

Release new version 0.27.0

Drop unused-override from lintian file

grml-cheatcodes.txt: replace vlock with physlock

SW: replace vlock with physlock [Closes: issue1342]

SW: add apt-transport-https to GRMLBASE

Usage of https in sources.list should be supported on all Grml flavours

Drop unmaintained GRML_MEDIUM + GRML_XL classes

While at it update the ISO size docs for grml-full and grml-small
to match latest release.

SW: add stress to GRML_FULL

Thanks: Bernd Zeimetz <bzed@debian.org> for the suggestion

Release new version 0.26.8

Provide sources.list setup for DEBIAN_JESSIE

Otherwise executing 'grml-live -s jessie' fails hard

sources.list: fix comments and drop unused entries

There's no point in shipping the ftp.at.debian.org/ftp.de.debian.org
entries anymore since we're using ftp.debian.org by default nowadays

Drop the misleading "mirror selected via geo-ip" comments,
since we're using ftp.debian.org nowadays (and neither http.debian.net
nor httpredir.debian.org)

33-aptsetup: improve perl regex to work with backports and perl 5.14

The perl command line which is responsible for replacing
ftp.debian.org with the according snapshot.debian.org entry
produced an invalid sources.list entry with perl v5.14.2,
e.g. generating:

|  deb     http://snapshot.debian.org/archive/debian/20150622/ main   deb-src http://snapshot.debian.org/archive/debian/20150622/ main

with the following input:

|  deb     http://ftp.debian.org/debian/ jessie-backports main
|  deb-src http://ftp.debian.org/debian/ jessie-backports main

sources.list configs: enable contrib/non-free for backports

Make package error check safe for "/" inside the package string

Otherwise for something like linux-base/squeeze-backports
and initramfs-tools/squeeze-backports it will fail with:

|  * Missing packages found, generating junit report.
| awk: line 1: syntax error at or near {
| awk: line 1: syntax error at or near {

Fix check for sylinux *.c32 files

We of course want to check the availability of the files
inside the generated system and not rely on the building host.

Replace references to wheezy with jessie + add stretch to zsh completion

DEBIAN_STABLE: backports should point to jessie nowadays

Release new version 0.26.7

SW: add bats to GRML_FULL

Useful for automated testing, especially useful for verifying
the Grml ISO itself.

94-update-smart-drivedb: do not fail on update-smart-drivedb errors

Currently the
http://sourceforge.net/p/smartmontools/code/HEAD/tree/trunk/smartmontools/drivedb.h?format=raw
and related files on sourceforge aren't available and therefor
cause our builds to fail with:

| Updating smartmontool drivedb
| /usr/sbin/update-smart-drivedb: download from trunk failed (HTTP error)

Therefore don't break our builds but instead log a warning
message instead.

New script 94-update-smart-drivedb to update smartmontools' drive database

SW: add uml-utilities to GRML_FULL [Closes: issue1344]

Release new version 0.26.6

SW: add partclone to GRML_FULL [Closes: issue1341]

Quoting from the BTS:

| clonezilla fails to clone ext4 partitions because it needs partclone,
| which is not part of the grml-distro.

Thanks: gerd for the bug report

Copy all *.c32 syslinux files to make sure dependencies aren't missing

Once again vesamenu.c32 depends on another file, instead
of tracking this manually let's just copy all *.c32 files
to /boot/isolinux/.

Addressing:

| Failed to load COM32 file vesamenu.c32

Include ldlinux.c32 in netboot package also via grml-live itself

Related to the previous commit (ded6100068b14).

Include ldlinux.c32 in netboot package

Recent versions of pxelinux.0 depend on ldlinux.c32

Thanks: murb for the bug report on IRC

SW: add nethogs to GRML_FULL

Add mgag200.modeset=0 to boot options for disabled framebuffer/KMS

Do not enable modesetting for mgag200 driver [Closes: issue1334]

Supermicro boards with onboard VGA "Matrox G200eW" as well
as IBM flex chassis fail when modesetting for mgag200 is enabled.

Release new version 0.26.5

SW: replace wodim with xorriso [Closes: issue1233]

Thanks: Alexander Wirt for pointing out that wodim is outdated

Drop deprecated mtab.sh script from runlevel.conf [Closes: issue1321]

This file no longer exists, at least not since wheezy.

Thanks: Christian Hofstaedtler for reporting this issue

SW: add wodim to GRML_FULL [Closes: issue1324]

Release new version 0.26.4

Also include libgpl.c32 in isolinux directory

hdt in boot menu requires it:

| Failed to load libgpl.c32
| Failed to load COM32 file /boot/addons/hdt.c32

No longer include MirOS BSD in isolinux/syslinux boot menu

MirOS BSD no longer seems to work from isolinux/syslinux,
this might be due to:

| Since version 5.00, support for 16-bit COMBOOT modules has been dropped,
| and c32 modules switched from the COM32 object format to ELF.

as stated on http://www.syslinux.org/wiki/index.php/Comboot_API

For now it's still available in GRUB, where it's *basically*
working.

Add libmenu.c32 to isolinux directory

hdt in boot menu requires it:

| Failed to load libmenu.c32
| Failed to load COM32 file /boot/addons/hdt.c32

Release new version 0.26.3

Set cirrus modeset=0 to prevent hang on QEMU

See: https://bugs.debian.org/768157

Fix creation of images based on Wheezy after the udev fix in grml-live

The grml-live repo currently ships an own udev for a bugfix, which only affects
Jessie and later. This version of udev is not installable in Wheezy and results
in an failed image build. Let's pin udev to the Wheezy version on Wheezy, as
the fix is not needed there anyways.

Release new version 0.26.2

grml-cheatcodes: document cirrus.modeset=0

also set cirrus.modeset=0 for the nomodeset options

Release new version 0.26.1

Bump Standards-Version to 3.9.6

Make sure apt caches are up2date before trying to install aptitude

Otherwise we might run into:

| [...]
| 08:54:38 preserving etc/apt/sources.list.d/grml-stable.list
| 08:54:39 OK
| 08:54:39 aptitude binary is not available, installing to make sure further FAI actions continue to work
| 08:54:39 Reading package lists...
| 08:54:42 Building dependency tree...
| 08:54:42 Package aptitude is not available, but is referred to by another package.
| 08:54:42 This may mean that the package is missing, has been obsoleted, or
| 08:54:42 is only available from another source
| 08:54:42
| 08:54:42 E: Package 'aptitude' has no installation candidate
| 08:54:42 updatebase.GRMLBASE  FAILED with exit code 100.
| 08:54:42 Calling task_updatebase

As nowadays - with Debian/jessieu - aptitude no longer is in
a base debootstrap chroot.

Switch from http.debian.net to ftp.debian.org

Out of 10 recent ISO builds within ~4 days 9 of them failed. :(
At least 7 of those 9 broken builds were caused by broken downloads:

| 20141023 => 07:52:28 E: Failed to fetch http://http.debian.net/debian/pool/main/libr/librsvg/librsvg2-common_2.40.4-1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141024 => 06:47:25 W: Failed to fetch xz:/var/lib/apt/lists/partial/http.debian.net_debian_dists_testing_main_binary-amd64_Packages  Hash Sum mismatch
| 20141026 => 05:29:52 W: Failed to fetch http://http.debian.net/debian/dists/testing/main/i18n/Translation-en  Hash Sum mismatch
| 20141027 => E: Unable to find a source package for gcc-4.7
| 20141027 => E: Unable to find a source package for gcc-4.7
| 20141027 => 05:10:38 W: Failed to fetch xz:/var/lib/apt/lists/partial/http.debian.net_debian_dists_testing_main_binary-amd64_Packages  Hash Sum mismatch
| 20141027 => 09:32:37 Err http://http.debian.net/debian/ testing/main libsystemd-daemon0 amd64 215-5+b1
|             09:32:37   Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141027 => 20:29:56 E: Failed to fetch http://http.debian.net/debian/pool/main/s/systemd/libsystemd-daemon0_215-5+b1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141027 => 22:44:01 E: Failed to fetch http://http.debian.net/debian/pool/main/libx/libxfont/libxfont1_1.4.99.901-1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]

This is a serious development and release stopper for us.
Therefore let's try switching to ftp.debian.org which has been
reported to have a useful network bandwidth and failover setup available
(thanks zobel + weasel).

set CRYPTSETUP=y when calling update-initramfs

This is needed for the initrd to include the cryptsetup binaries and modules
with cryptsetup >= 2:1.6.6-1 after the patch in https://bugs.debian.org/714104

Thanks: Charles A. Hewson <cahewson@eskimo.com>

SW: add syslinux-common to GRMLBASE

Otherwise the boot related modules might be missing:

| * Missing addon file: "chain.c32"                                        [ !! ]
| * Missing addon file: "hdt.c32"                                          [ !! ]
| * Missing addon file: "mboot.c32"                                        [ !! ]
| * Missing addon file: "menu.c32"                                         [ !! ]

This is happening on grml-small where syslinux-common isn't
present by default because it's just a Recommends but not a Depends.
On grml-full we ship syslinux-common by default though because
it's a dependency of grub-imageboot.

Fix path for memdisk binary when building with recent syslinux[-common] versions

Addressing:

| * Missing addon file: "memdisk"

Release new version 0.26.0

Update lintian overrides for modified lintian message

Do our best to make sure aptitude is installed in chroot

There seems to be a change in Debian (jessie) causing aptitude to
no longer be present in debootstrapped systems by default any
longer. By setting $FAI_DEBOOTSTRAP_OPTS accordingly we include
it in its default package selection though. If it still shouldn't
be present we explicitely try to install it through the
updatebase.GRMLBASE hook script.

isohybrid binary moved to syslinux-utils, update Recommends + error msg

SW: drop gptsync (orphaned and broken)

See Debian's #755510: Orphaned since 2012, last upload 2010, not in testing

SW: add augeas-tools

Useful e.g. for customizing /etc/fstab of an installed system, like:

cat << EOT | augtool --root="$TARGET"
insert opt after /files/etc/fstab/*[file="/"]/opt[last()]
set /files/etc/fstab/*[file="/"]/opt[last()] noatime
save
EOT

Release new version 0.25.1

Check for failed updatebase and instsoft hook executions

updatebase.GRMLBASE: execute fcopy with -i flag to ignore non-matching files

Otherwise when building testing/unstable we get:

| fcopy: no matching file for any class for etc/apt/preferences.d/wheezy-backports defined.

and fcopy fails to execute:

| updatebase.GRMLBASE  FAILED with exit code 1.

and causing the following '$ROOTCMD apt-key add /etc/apt/grml.key
to never get executed then.

Release new version 0.25.0

Fixes to be able to build Grml based on Debian Wheezy

In Debian Wheezy initramfs-tools is 0.109, but the Grml kernel needs
at least 0.110. The backport contains the requested version.

Don't use addons in GRUB if NO_ADDONS is set

Possibility to give LIVE_CONF as env. variable

New cmdline option -S + env variable SCRIPTS_DIRECTORY to set script directory

This allows us to run grml-live from the Git repository without
having /usr/share/grml-live/scripts available.

Thanks: Krisztian VASAS <iron@ironiq.hu> for the initial patch

21-usersetup: check for existing /bin/zsh inside the chroot

/bin/zsh usually points to /etc/alternatives/zsh, but if
/etc/alternatives/zsh doesn't exist on the *build* system,
the test for existing /bin/zsh fails, so we need to verify
the existence of /bin/zsh *inside* the chroot.

Thanks: Krisztian VASAS <iron@ironiq.hu> for reporting the problem
Acked-by: Alexander Wirt <formorer@grml.org>

Add 'rsync' to dependencies

Otherwise using a $CHROOT_INSTALL will result in a message like this:
```
/usr/sbin/grml-live: line 1150: rsync: command not found
```

Add falls positive privacy-breach-generic to lintian overrides

Release new version 0.24.0

Further updates for syslinux v3:6.03~pre1+dfsg-4 support

We need to also include ldlinux.c32, libcom32.c32 and
libutil.c32, but only for syslinux versions >3:4.05+dfsg-6+deb8u1.

While the modules are located in directory
/usr/lib/syslinux/modules/bios/ the main isolinux.bin file is in
either /usr/lib/ISOLINUX or /usr/lib/syslinux, so adjust code
accordingly.

Do not fail in upgrade mode (-u) when configuration files have been modified

Custom configuration files might be present and upgrading
packages might fail then:

| Setting up sudo (1.8.9p5-1) ...
|
| Configuration file '/etc/sudoers'
|  ==> File on system created by you or by a script.
|  ==> File also in package provided by package maintainer.
|    What would you like to do about it ?  Your options are:
|     Y or I  : install the package maintainer's version
|     N or O  : keep your currently-installed version
|       D     : show the differences between the versions
|       Z     : start a shell to examine the situation
|  The default action is to keep your current version.
| *** sudoers (Y/I/N/O/D/Z) [default=N] ? dpkg: error processing package sudo (--configure):

SW: move syslinux into GRMLBASE class, add pxelinux + isolinux

Recent versions of syslinux (at least applies to v3:6.03~pre1+dfsg-4)
split the packages into isolinux, pxelinux, syslinux + syslinux-common.

Adjust syslinux directories for syslinux v3:6.03~pre1+dfsg-4

Recent versions of syslinux no longer provide the files we have
been relying on in the syslinux package any longer but files have
been split into packages isolinux, pxelinux, syslinux + syslinux-common
with different directory names.

SW: add iperf to GRML_FULL

As suggested by Frank Terbeck <ft@grml.org>

Add more filesystems to modular GRUB2

This fixes the bug described in http://bts.grml.org/grml/issue1306
that a grml2usb prepared medium cannot boot from (U)EFI.

Added a few more filesystems just in case somebody wants to use
grml2usb with a non-mainstream filesystem.

I am unable to reproduce the second bug in that issue, when dd-ing
the ISO to a USB device - this scenario works fine with the (U)EFI
implementation used by VirtualBox.

Release new version 0.23.3

Provide GRMLBASE script 49-sshd to adjust sshd configuration [Closes: issue1304]

Providing the openssh-server/permit-root-login debconf option sadly
isn't enough to switch from "PermitRootLogin without-password"
to "PermitRootLogin yes", so we have to adjust the file on-the-fly.
(Let's try to avoid shipping the sshd configuration file for now,
to make sure the file works for all the Debian releases.)

While at it also disable UseDNS which speeds up login when DNS
is unconfigured/unavailable/broken.

SW: replace zd1211-firmware with firmware-zd1211

debconf: enable permit-root-login for openssh-server package [Closes: issue1304]

Drop "forensic" boot option from Forensic Mode boot menu

The "forensic" kernel option (which corresponds to the "Forensic Mode"
boot menu entry) sets all the according boot options. If the "forensic"
boot option is used then grml-autoconfig raises a warning for wrong
usage, so let's avoid further confusion since "forensic" boot option
itself doesn't change anything.

Release new version 0.23.2

Work around regression in GRUB 2.00-22

Seems that Grub 2.00-22 cannot properly load a gzipped initrd file
with 'linux16' command (which is used to load the gzipped FreeDOS
memdisk image). As a workaround, mount the filesystem using the
'loopback' command (which transparently decompresses it) and then use
blocklist syntax to load the whole mounted filesystem as an initrd.

Make sure to not leak any mdadm configurations from the build system

We haven't run into this issue yet, though it was reported
on the debian-live mailing list:

  https://lists.debian.org/debian-live/2014/03/msg00063.html

and we don't want to have anyone using grml-live run into it.

Thanks: Evgeni Golov for the pointer
Reviewed-by: Evgeni Golov

Remove /etc/resolvconf/resolv.conf.d/original during cleanup

This file provides the original content of the system where the
build is running from, there's no reason we ship this with
our ISOs.

Thanks: Evgeni Golov for the pointer

Merge branch 'modular-grub' of https://github.com/schierlm/grml-live

Make the GRUB images modular

Now, both the i386-pc and the amd64 UEFI GRUB images are modular.
This means, that startup is faster and that all modules (even those
that cannot be embedded) can be used.

The embedded configfile has been simplified since conditionals are not
supported by the simple command parser of the rescue shell, without
sacrificing any functionality.

Also, the main build script now copies the *.mod and *.lst files for
UEFI GRUB to the ISO.

[My statement that the .lst files are no longer needed was wrong; at
least the command.lst is used for autoloading modules that have
different names than their commands.]

Add warning for running grml-live from git

If you do without setting GRML_FAI_CONFIG, it will not use your edited FAI
scripts, but the ones installed by default.