GRMLBASE/21-usersetup: add grml user to vboxsf group

Otherwise the grml user has no access to VirtualBox
Shared Folders.

SW: drop disabled 'nvi' package from GRML_SMALL class

While this RC bug (#490361) was present since 2008 and fixed in
2009 we never re-enabled nvi back again, so let's fully drop it.

Switch from aptitude to apt-get as package manager in package list

So far we used "PACKAGES aptitude" to use aptitude as package
manager. FAI's install_packages supports different commands
(package managers) though, see `install_packages -H`:

  % install_packages -H | grep -e '^\s*aptitude ' -e '^\s*install '
         aptitude    aptitude -R -y -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confnew install
          install    apt-get -y -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confnew --fix-missing install

FAI versions until 5.3** support ignoring packages via:

| PACKAGES install
|
| packagename-

We can use that feature in the IGNORE class to avoid e.g. the
installation of the partimage package which is currently
unavailable in Debian/testing and therefore would fail the build
(because of aptitude's #835372 behavior change).

** NOTE: FAI v5.3 is broken regarding this behavior, so we've to
use FAI 4.3.1+deb8u1 from jessie to use that feature (at least
until it's restored/fixed again).

instsoft.GRMLBASE: ensure that file-rc can be installed

If we request installation of file-rc but don't add hint
to remove systemd-sysv package then aptitude fails with:

| The following NEW packages will be installed:
|   file-rc initscripts{a} insserv{a} sysvinit-core{ab}
| The following packages are RECOMMENDED but will NOT be installed:
|   psmisc
| 0 packages upgraded, 4 newly installed, 0 to remove and 0 not upgraded.
| Need to get 316 kB of archives. After unpacking 686 kB will be used.
| The following packages have unmet dependencies:
|  systemd-sysv : Conflicts: file-rc but 0.8.18 is to be installed
|                 Conflicts: sysvinit-core but 2.88dsf-59.8 is to be installed
|  sysvinit-core : Conflicts: systemd-sysv but 232-3 is installed
| The following actions will resolve these dependencies:
|
|      Install the following packages:
| 1)     startpar [0.59-3.1 (testing)]
| 2)     sysv-rc [2.88dsf-59.8 (testing)]
|
|      Keep the following packages at their current version:
| 3)     file-rc [Not Installed]
| 4)     sysvinit-core [Not Installed]
|
|
|
| No packages will be installed, upgraded, or removed.
| 0 packages upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

SW: add dbus to GRMLBASE

Without dbus there seem to be lots of service/systemd related issues,
so as a starting point make sure it's at least always available.

templates: use net.ifnames=0 by default

Grml_Networking from our live-boot doesn't support the new interface
names yet (this needs to be fixed anyway for sure), though the consensus
seems to be that we should use the old interface names by default,
so give that a try now.

GRMLBASE/44-grub: explicitely set grub-mkimage's prefix path

At least with grub 2.02~beta3-1 the prefix is mandatory:

| Usage: grub-mkimage [OPTION...] [OPTION]... [MODULES]
| Try 'grub-mkimage --help' or 'grub-mkimage --usage' for more information.
| Prefix not specified (use the -p option).

Set it to what's the default e.g. in grub 2.02~beta2-36
as documented in its manpage:

|      -p, --prefix=DIR
|             set prefix directory [default=/boot/grub]

Related grub git commit message:

| commit 1440b7ebae47e1cb710e920bec9d88c4d75ff432
| Author: Andrey Borzenkov <arvidjaar@gmail.com>
| Date:   Sat Jan 25 19:54:51 2014 +0400
|
|     do not set default prefix in grub-mkimage
|
|     Default prefix is likely wrong on Unix and completely wrong on Windows.
|     Let caller set it explicitly to avoid any ambiguity.

Thanks: Darshaka Pathirana

SW: add nvme-cli to GRML_FULL

scripts/GRMLBASE/94-update-smart-drivedb: switch warning into note since update-smart-drivedb is deprecated

Quoting NEWS file from smartmontools (6.4+svn4214-1):

|   Previous versions of the smartmontools package included a tool
|   update-smart-drivedb which downloaded updated drive definitions
|   from the smartmontools website and stored them at
|
|       /var/lib/smartmontools/drivedb/drivedb.h
|
|   This tool did not download the definitions in a secure manner and
|   so the feature has been removed in this version.  Future drive DB
|   updates will be propagated via normal Debian package updates,
|   including backports.
|
|   If you already have a drivedb.h file at that location, smartctl
|   will continue to use it.

We could completely drop the package once we're certain that
update-smart-drivedb doesn't exist anymore in all the Debian
releases grml-live is building for, but for the time being
let's keep it and switch the warning into a note.

SW: drop firmware-ipw2x00 (license issues)

hooks/instsoft.GRMLBASE: ensure aptitude is available before invoking it

SW: update list of firmware package in GRMLBASE

New packages:

* firmware-cavium
* firmware-intel-sound
* firmware-ipw2x00
* firmware-misc-nonfree
* firmware-ti-connectivity

Deprecated/removed packages:

* firmware-ralink (seems to be part of firmware-misc-nonfree nowadays)

hooks/instsoft.GRMLBASE: ensure package list is up2date before trying to install file-rc/aptitude

If apt's package information is out-of-date (or even empty)
then we can't install file-rc nor aptitude, so ensure
we run `apt-get update` before.

SW: add libteam-utils

Inspired by http://www.slideshare.net/ThomasGraf5/linux-networking-explained

SW: drop aufs-tools from GRMLBASE

Debian dropped aufs support from their kernel package. The way
forward is usage of overlayfs, now let's see whether we need
aufs-tools at all nowadays. Not being present in Debian/testing
currently fails the build because of aptitude's behavior change
with 0.7.6 where packages that can't be installed break
installations (see #835372). And aufs-tools probably won't appear
in Debian/testing soonish, given:

| % grep-excuses aufs-tools
| aufs-tools (- to 1:3.2+20130722-1.1)
|     Maintainer: Filesystems Group
|     976 days old (needed 5 days)
|     aufs-tools has new bugs!
|     Updating aufs-tools introduces new bugs: #788513
|     Not considered

Add new Grml repository signing key 4096R/21E0CA38EA2EA4AB to GRMLBASE's /etc/apt/grml.key

Exported via `gpg --armor --export ECDEA787 EA2EA4AB`

SW: add binwalk to GRML_FULL

Quoting Marc Haber from the bugreport:

| binwalk is helpful when unpacking one of those nifty new initrd
| images with microcode prepended. binwalk tells you how many bytes
| to skip at the beginning of initrd.img to find the beginning of
| the actual initrd.
|
| Usage example see
| http://unix.stackexchange.com/questions/163346/why-is-it-that-my-initrd-only-has-one-directory-namely-kernel

Closes #21 @ GH

isolinux.cfg template: fix typo in a comment

Added support for netboot.xyz

Added configuration for isolinux and grub to add a menu entry to boot
netboot.xyz. The actual netboot.xyz.lkrn needs to be part of
grml-live-addons to make this work, see PR #8:
https://github.com/grml/grml-live-grml/pull/8

SW: add syslinux-utils to GRMLBASE

Package syslinux-utils added to package config GRMLBASE to support
booting with memdisk. The package includes the binary memdiskfind which
is needed during the boot process.

NOTE from Mika: syslinux-utils is available only since jessie
though building anything older might not be worth troubles unless
someone is actually interested in this, so accept this change as-is.

docs: provide instructinos how to run from git, use local repos + unify base.tgz docs

Ensure that we can build up2date epub + pdf files

Support wayback option also in bootstrapping the initial chroot

Use "[check-valid-until=no]" in wayback option

Ensure that apt doesn't complain about invalid repositories.

NOTE: supported only by apt >= 1.1~

SW: move multitail from GRML_FULL to GRMLBASE

It's referred to also in grml-small and it's just a few KBs.

Add etc/grml/fai/config/config to .gitignore

FAI sadly creates that symlink :(

docs: don't mention Grml/Debian repositories for squashfs-tools any longer

Provide wayback machine via "-w <date>"

The wayback machine provides building the system using Debian
archives from the specified date.

Add .gitignore to ignore files from etc/grml/fai/config/basefiles

This is useful if running grml-live from .git and you want to use
a basefile inside etc/grml/fai/config/basefiles.

03-get-sources: ensure that apt information is available + up2date

If we don't run 'apt-get update' at this stage we might not have
the according files available needed to run 'apt-get source'.

Release new version 0.27.2

Do not fail source retrieval step with apt >=1.1

apt >=1.1 tries to drop privileges which fails in our typical setup with:

| W: Can't drop privileges for downloading as file 'zsh_5.2-2.dsc' couldn't be accessed by user '_apt'. - pkgAcquire::Run (13: Permission denied)

Instead let's check for actual errors (starting with "E:"),
and do not fail the build if there warnings only ("W:").

Fix apt 1.1 regression in apt-preferences handling

apt >=1.1 fails to parse our apt-preferences setup:

| E: Invalid record in the preferences file /etc/apt/preferences, no Package header

Release new version 0.27.1

Fix wrong filename for chain.c32 in isolinux.cfg

Thanks: Gregor Zattler <telegraph@gmx.net> for the bug report

docs: How to use your own local repository

Drop misplaced MIRROR_DIRECTORY from grml-live.conf

Fix error from commit 94aafe9bb2f3

drop full-ov, custom-ov, live-rw and home-rw from the helptext

Release new version 0.27.0

Drop unused-override from lintian file

grml-cheatcodes.txt: replace vlock with physlock

SW: replace vlock with physlock [Closes: issue1342]

SW: add apt-transport-https to GRMLBASE

Usage of https in sources.list should be supported on all Grml flavours

Drop unmaintained GRML_MEDIUM + GRML_XL classes

While at it update the ISO size docs for grml-full and grml-small
to match latest release.

SW: add stress to GRML_FULL

Thanks: Bernd Zeimetz <bzed@debian.org> for the suggestion

Release new version 0.26.8

Provide sources.list setup for DEBIAN_JESSIE

Otherwise executing 'grml-live -s jessie' fails hard

sources.list: fix comments and drop unused entries

There's no point in shipping the ftp.at.debian.org/ftp.de.debian.org
entries anymore since we're using ftp.debian.org by default nowadays

Drop the misleading "mirror selected via geo-ip" comments,
since we're using ftp.debian.org nowadays (and neither http.debian.net
nor httpredir.debian.org)

33-aptsetup: improve perl regex to work with backports and perl 5.14

The perl command line which is responsible for replacing
ftp.debian.org with the according snapshot.debian.org entry
produced an invalid sources.list entry with perl v5.14.2,
e.g. generating:

|  deb     http://snapshot.debian.org/archive/debian/20150622/ main   deb-src http://snapshot.debian.org/archive/debian/20150622/ main

with the following input:

|  deb     http://ftp.debian.org/debian/ jessie-backports main
|  deb-src http://ftp.debian.org/debian/ jessie-backports main

sources.list configs: enable contrib/non-free for backports

Make package error check safe for "/" inside the package string

Otherwise for something like linux-base/squeeze-backports
and initramfs-tools/squeeze-backports it will fail with:

|  * Missing packages found, generating junit report.
| awk: line 1: syntax error at or near {
| awk: line 1: syntax error at or near {

Fix check for sylinux *.c32 files

We of course want to check the availability of the files
inside the generated system and not rely on the building host.

Replace references to wheezy with jessie + add stretch to zsh completion

DEBIAN_STABLE: backports should point to jessie nowadays

Release new version 0.26.7

SW: add bats to GRML_FULL

Useful for automated testing, especially useful for verifying
the Grml ISO itself.

94-update-smart-drivedb: do not fail on update-smart-drivedb errors

Currently the
http://sourceforge.net/p/smartmontools/code/HEAD/tree/trunk/smartmontools/drivedb.h?format=raw
and related files on sourceforge aren't available and therefor
cause our builds to fail with:

| Updating smartmontool drivedb
| /usr/sbin/update-smart-drivedb: download from trunk failed (HTTP error)

Therefore don't break our builds but instead log a warning
message instead.

New script 94-update-smart-drivedb to update smartmontools' drive database

SW: add uml-utilities to GRML_FULL [Closes: issue1344]

Release new version 0.26.6

SW: add partclone to GRML_FULL [Closes: issue1341]

Quoting from the BTS:

| clonezilla fails to clone ext4 partitions because it needs partclone,
| which is not part of the grml-distro.

Thanks: gerd for the bug report

Copy all *.c32 syslinux files to make sure dependencies aren't missing

Once again vesamenu.c32 depends on another file, instead
of tracking this manually let's just copy all *.c32 files
to /boot/isolinux/.

Addressing:

| Failed to load COM32 file vesamenu.c32

Include ldlinux.c32 in netboot package also via grml-live itself

Related to the previous commit (ded6100068b14).

Include ldlinux.c32 in netboot package

Recent versions of pxelinux.0 depend on ldlinux.c32

Thanks: murb for the bug report on IRC

SW: add nethogs to GRML_FULL

Add mgag200.modeset=0 to boot options for disabled framebuffer/KMS

Do not enable modesetting for mgag200 driver [Closes: issue1334]

Supermicro boards with onboard VGA "Matrox G200eW" as well
as IBM flex chassis fail when modesetting for mgag200 is enabled.

Release new version 0.26.5

SW: replace wodim with xorriso [Closes: issue1233]

Thanks: Alexander Wirt for pointing out that wodim is outdated

Drop deprecated mtab.sh script from runlevel.conf [Closes: issue1321]

This file no longer exists, at least not since wheezy.

Thanks: Christian Hofstaedtler for reporting this issue

SW: add wodim to GRML_FULL [Closes: issue1324]

Release new version 0.26.4

Also include libgpl.c32 in isolinux directory

hdt in boot menu requires it:

| Failed to load libgpl.c32
| Failed to load COM32 file /boot/addons/hdt.c32

No longer include MirOS BSD in isolinux/syslinux boot menu

MirOS BSD no longer seems to work from isolinux/syslinux,
this might be due to:

| Since version 5.00, support for 16-bit COMBOOT modules has been dropped,
| and c32 modules switched from the COM32 object format to ELF.

as stated on http://www.syslinux.org/wiki/index.php/Comboot_API

For now it's still available in GRUB, where it's *basically*
working.

Add libmenu.c32 to isolinux directory

hdt in boot menu requires it:

| Failed to load libmenu.c32
| Failed to load COM32 file /boot/addons/hdt.c32

Release new version 0.26.3

Set cirrus modeset=0 to prevent hang on QEMU

See: https://bugs.debian.org/768157

Fix creation of images based on Wheezy after the udev fix in grml-live

The grml-live repo currently ships an own udev for a bugfix, which only affects
Jessie and later. This version of udev is not installable in Wheezy and results
in an failed image build. Let's pin udev to the Wheezy version on Wheezy, as
the fix is not needed there anyways.

Release new version 0.26.2

grml-cheatcodes: document cirrus.modeset=0

also set cirrus.modeset=0 for the nomodeset options

Release new version 0.26.1

Bump Standards-Version to 3.9.6

Make sure apt caches are up2date before trying to install aptitude

Otherwise we might run into:

| [...]
| 08:54:38 preserving etc/apt/sources.list.d/grml-stable.list
| 08:54:39 OK
| 08:54:39 aptitude binary is not available, installing to make sure further FAI actions continue to work
| 08:54:39 Reading package lists...
| 08:54:42 Building dependency tree...
| 08:54:42 Package aptitude is not available, but is referred to by another package.
| 08:54:42 This may mean that the package is missing, has been obsoleted, or
| 08:54:42 is only available from another source
| 08:54:42
| 08:54:42 E: Package 'aptitude' has no installation candidate
| 08:54:42 updatebase.GRMLBASE  FAILED with exit code 100.
| 08:54:42 Calling task_updatebase

As nowadays - with Debian/jessieu - aptitude no longer is in
a base debootstrap chroot.

Switch from http.debian.net to ftp.debian.org

Out of 10 recent ISO builds within ~4 days 9 of them failed. :(
At least 7 of those 9 broken builds were caused by broken downloads:

| 20141023 => 07:52:28 E: Failed to fetch http://http.debian.net/debian/pool/main/libr/librsvg/librsvg2-common_2.40.4-1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141024 => 06:47:25 W: Failed to fetch xz:/var/lib/apt/lists/partial/http.debian.net_debian_dists_testing_main_binary-amd64_Packages  Hash Sum mismatch
| 20141026 => 05:29:52 W: Failed to fetch http://http.debian.net/debian/dists/testing/main/i18n/Translation-en  Hash Sum mismatch
| 20141027 => E: Unable to find a source package for gcc-4.7
| 20141027 => E: Unable to find a source package for gcc-4.7
| 20141027 => 05:10:38 W: Failed to fetch xz:/var/lib/apt/lists/partial/http.debian.net_debian_dists_testing_main_binary-amd64_Packages  Hash Sum mismatch
| 20141027 => 09:32:37 Err http://http.debian.net/debian/ testing/main libsystemd-daemon0 amd64 215-5+b1
|             09:32:37   Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141027 => 20:29:56 E: Failed to fetch http://http.debian.net/debian/pool/main/s/systemd/libsystemd-daemon0_215-5+b1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]
| 20141027 => 22:44:01 E: Failed to fetch http://http.debian.net/debian/pool/main/libx/libxfont/libxfont1_1.4.99.901-1_amd64.deb: Error reading from server. Remote end closed connection [IP: 2001:41c8:1000:21::21:35 80]

This is a serious development and release stopper for us.
Therefore let's try switching to ftp.debian.org which has been
reported to have a useful network bandwidth and failover setup available
(thanks zobel + weasel).

set CRYPTSETUP=y when calling update-initramfs

This is needed for the initrd to include the cryptsetup binaries and modules
with cryptsetup >= 2:1.6.6-1 after the patch in https://bugs.debian.org/714104

Thanks: Charles A. Hewson <cahewson@eskimo.com>

SW: add syslinux-common to GRMLBASE

Otherwise the boot related modules might be missing:

| * Missing addon file: "chain.c32"                                        [ !! ]
| * Missing addon file: "hdt.c32"                                          [ !! ]
| * Missing addon file: "mboot.c32"                                        [ !! ]
| * Missing addon file: "menu.c32"                                         [ !! ]

This is happening on grml-small where syslinux-common isn't
present by default because it's just a Recommends but not a Depends.
On grml-full we ship syslinux-common by default though because
it's a dependency of grub-imageboot.

Fix path for memdisk binary when building with recent syslinux[-common] versions

Addressing:

| * Missing addon file: "memdisk"

Release new version 0.26.0

Update lintian overrides for modified lintian message

Do our best to make sure aptitude is installed in chroot

There seems to be a change in Debian (jessie) causing aptitude to
no longer be present in debootstrapped systems by default any
longer. By setting $FAI_DEBOOTSTRAP_OPTS accordingly we include
it in its default package selection though. If it still shouldn't
be present we explicitely try to install it through the
updatebase.GRMLBASE hook script.

isohybrid binary moved to syslinux-utils, update Recommends + error msg

SW: drop gptsync (orphaned and broken)

See Debian's #755510: Orphaned since 2012, last upload 2010, not in testing

SW: add augeas-tools

Useful e.g. for customizing /etc/fstab of an installed system, like:

cat << EOT | augtool --root="$TARGET"
insert opt after /files/etc/fstab/*[file="/"]/opt[last()]
set /files/etc/fstab/*[file="/"]/opt[last()] noatime
save
EOT

Release new version 0.25.1

Check for failed updatebase and instsoft hook executions

updatebase.GRMLBASE: execute fcopy with -i flag to ignore non-matching files

Otherwise when building testing/unstable we get:

| fcopy: no matching file for any class for etc/apt/preferences.d/wheezy-backports defined.

and fcopy fails to execute:

| updatebase.GRMLBASE  FAILED with exit code 1.

and causing the following '$ROOTCMD apt-key add /etc/apt/grml.key
to never get executed then.

Release new version 0.25.0

Fixes to be able to build Grml based on Debian Wheezy

In Debian Wheezy initramfs-tools is 0.109, but the Grml kernel needs
at least 0.110. The backport contains the requested version.

Don't use addons in GRUB if NO_ADDONS is set