Release new version 0.38.0

GRMLBASE/01-packages: also detect and report unknown package names

If FAI doesn't know package names during its dirinstall run, it reports:

| WARNING: These unknown packages are removed from the installation list

... in fai.log and software.log. This happens e.g. if a package was
removed from a Debian repository and is no longer known therefore. What
FAI reports through its install_packages.list are only packages that
were asked for installation *and* exist as such (so not a "unknown
package package"), but failed to install - so this sadly doesn't help
us.

One option would be to set FAI_DISABLE_PACKAGE_NAME_CHECK=1 (which
corresponds to FAI install_packages's -N cmdline option), but then the
installation fails hard with unknown packages, which isn't what we want
as default behavior. But provide this disabled(!) configuration option
in GRMLBASE.var, just in case someone is looking for it.

As a solution for our use case, let's handle this via our existing
GRMLBASE/01-packages script, which checks for missing packages already.
Now we also check FAI's software.log for the 'These unknown packages'
error message and report them via package_errors.log.

This work was funded by Grml-Forensic.

GRUB templates: provide menu entry for UEFI Firmware Settings

When running in EFI mode, it's as simple as executing "fwsetup".

Closes: https://github.com/grml/grml-live/issues/101

GRUB templates: do not set root/chainloader but just exit for boot from next device

This pretty much never works for me, while exiting GRUB
switches to the next device in the boot order, so let's
just "exit" GRUB and name the menu entries accordingly.

Closes: https://github.com/grml/grml-live/issues/100

Use 1m as new default squashfs block size

The default block size of mksquashfs is 128k, while we used 256k since 2009.
When increasing the block size further, we increase build time, but also
decrease the file size (and therefore the resulting ISO).

Nowadays rotating media (CD/DVD) aren't so much in usage anymore, while
(USB) flash drives and direct ISO boot (both from disk as well as via
OOB management) are way more common. Latency maybe is no longer so
relevant as it used to be, so let's see if this turns out to be a
problem. On the other side smaller ISOs decrease download times as well
as disk usage (esp. when used as /boot/grml via grml-rescueboot).
Overall it is a trade off that's worth consideration, let's give it a try.

Some non-scientific benchmarks give the following build times:

* block size 256k: 2min 19sec, 383MB
* block size 1m:   3min 30sec, 363MB

Buffer/cache memory usage of the booted ISO slightly increases (91MB
used and 170MB buff/cache with block size 1m, vs. 94MB used and 143MB
buff/cache with block size 256kb), but might be neglectable. (And once
again, this was another non-scientific benchmark.)

Further options that might be worth consideration are 1) -Xdict-size
(while -Xdict-size 100% is the default already, so noting really to do
for us here), and 2) `-Xbcj x86`, which further increases compression
time, but also has a bit of savings.

FTR, Jonathan Carter did some benchmarks related to squashfs in 2015, see
https://jonathancarter.org/2015/04/06/squashfs-performance-testing/.
And Fedora is considering usage of `-b 1M -Xdict-size 1M -no-recovery`
(which would be identical to what we have, note that -no-recovery
doesn't seem to influence file size), see
https://fedoraproject.org/wiki/Changes/OptimizeSquashFS

Thanks: Mihai Moldovan <ionic@ionic.de>

GRMLBASE/16-depmod: no longer rely on /boot/System.map-* file

The System.map content was moved into Debian's debug package with kernel
5.8.10-1 and newer, see https://salsa.debian.org/kernel-team/linux.git:

| commit 26a6ecc287bdbe56ae5dd4fbbd32c76b57b9e690 (origin/waldi/update-5.8)
| Author: Bastian Blank <bastian.blank@credativ.de>
| Date:   Tue Aug 4 17:19:42 2020 +0200
|
|     Move System.map into debug package

Now it only contains a place holder:

| # cat /boot/System.map-5.10.0-4-amd64
| ffffffffffffffff B The real System.map is in the linux-image-<version>-dbg package

Due to this, we get >134k entries like:

| depmod: WARNING: /lib/modules/5.10.0-4-amd64/kernel/arch/x86/events/rapl.ko needs unknown symbol x86_match_cpu

… resulting in a ~16MB log file (FAI's shell.log).

To avoid this, let's skip usage of depmod's `-e -F /boot/System.map-*'.

Note: It's probably not worth checking for 'The real System.map is in
the' inside the /boot/System.map-* file and only if it's not present
then consider using it, given that this string might change over time.

FTR: We usually also don't have the Module.symvers available for usage
with depmod's `-E` option, as the Module.symvers is part of the kernel
source package.

Closes: https://github.com/grml/grml-live/issues/99

Merge remote-tracking branch 'origin/github/pr/98'

Merge remote-tracking branch 'origin/github/pr/97'

grml-cheatcodes.txt: reflow, no actual change.

grml-cheatcodes.txt: update fromiso doc.

This adds support for file system overrides and makes clear that the
device path prefix is actually optional.

docs/grml-live.txt: fix markdown issue, escape *.

Otherwise, the two consecutive asterisks are treated as a
<strong>...</strong> segment, which is not what we mean here.

grml-live: isohybrid is the default, reflect that.

While isolinux's "manifold" mode was used by default a long time ago,
Grml switched to the isohybrid method in late 2011, mostly due to manifold
being incompatible with UEFI systems.

Documentation and configuration files weren't updated at that time,
though.

Do it now.

Provide apt sources.list file to support 'bullseye' as Debian suite

Requires new security.debian.org repository layout quoting from
https://lists.debian.org/debian-devel-announce/2019/07/msg00004.html:

| over the last years we had people getting confused over <suite>-updates
| (recommended updates) and <suite>/updates (security updates).  Starting
| with Debian 11 "bullseye" we have therefore renamed the suite including
| the security updates to <suite>-security.
|
| An entry in sources.list should look like
|
|   deb http://security.debian.org/debian-security bullseye-security main
|
| For previous releases the name will not change.

Merge remote-tracking branch 'origin/github/pr/95'

GRUB: drop loopback usage for balder10/FreeDOS.

Looks like a relic from the bad, old days.

It's certainly not needed any longer, since the initrd16 command can
load the file just fine and newer grub versions are not able to load
compressed files in such a manner, since the length (+2880) refers to
the uncompressed size. Grub will see that the file is smaller than that
and error out. If we were to give it the compressed size, decompression
would fail due to the buffer being too small.

grml-cheatcodes.txt: drop trailing whitespace char

Git-Dch: ignore

grml-cheatcodes.txt: fix URL for initramfs-tools manpage

The tool switched section and the URL lead to 404

grml-cheatcodes.txt: remove several unsupported boot options

E.g. in grml-autoconfig commit 0fb27baed a bunch of features
were finally deprecated, so let's remove those here as well
and while it, get rid of some very outdated ones or that
are part of upstream kernel docs anyways.

Also drop the deprecated mem=... docs, with this configuration
we can't even boot nowadays.

grml-cheatcodes.txt: document getfile.retries boot option

This is useful, when the netscript boot option was specified but
times out before network is available.

Release new version 0.37.2

Merge remote-tracking branch 'origin/github/pr/94'

initramfs-tools: use upstream's xz handling to support multithreading

initramfs-tools versions >=0.136 support multithreading in
xz compression usage (see upstream commit 41d9ceb3).

While at it fix header comment, to refer to the actual
script (which was renamed in commit 6e778099).

FTR: we're still using xz (and not using e.g. zstd) because
it still seems to be the combination of small file size
*and* decompression speed now that we have multithreading
support (though zstd might be an interesting option in the future),
also see https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=976054

GRUB: remove erroneous quotes around kernelopts

kernelopts are used by grml-rescueboot to communicate kernel arguments
from the host's grub to the grub within the grml ISO. E.g., the host
grub boot entry will contains something like:

    kernelopts=" arg1 arg2 blacklist=foo etc "
    export kernelopts

Currently, grub within the grml ISO will pass this entire string as one
single argument to the kernel. Remove the quotes such that the arguments
are interpreted as intended.

Fixes https://github.com/grml/grml-rescueboot/issues/5

Release new version 0.37.1

Update lintian-overrides for new EFI boot files

Fixup for commit 518eb395d865 where templates/EFI/BOOT/ was
split into templates/EFI/debian/BOOT/ + templates/EFI/ubuntu/BOOT/

Add bsdmainutils to DEBORPHAN whitelist

Fixes Jenkins issue:

| Package bsdmainutils is missing

Secure Boot: update grubx64.efi.signed to fix BootHole issue

Fixes the BootHole, see https://www.debian.org/security/2020/dsa-4735 +
https://www.openwall.com/lists/oss-security/2020/07/29/3 +
https://eclypsium.com/2020/07/29/theres-a-hole-in-the-boot/

SW: add mmdebstrap to GRML_FULL + GRML_SMALL

It requires only ~250kB of disk space and it's much faster
than debootstrap and we plan to use it as default within
grml-debootstrap anyway.

Thanks: Helmut Grohne for the suggestion

Release new version 0.37.0

/e/n/i: move sourcing of /etc/network/interfaces.d/ to begin of file

netcardconfig doesn't properly handle this section and it disappears
when configuring network devices then.

Rewriting netcardconfig is on our agenda (see
https://github.com/grml/grml-network/issues/11), until we get there
let's make sure the status quo works as good as possible.

Take over wording based on what ifupdown's postinst script uses.

SW: add grub-efi-amd64-signed + shim-signed to GRML_FULL (AMD64 only)

This adds support for EFI PXE boot support via grml-terminalserver.

While they are part of the depends in grml-terminalserver, they aren't
strictly needed (alternative depends), so ensure we have those packages
available OOTB for EFI based PXE boot with grml-terminalserver.

Provide setup files for EFI boot in netboot package

The shim + grubnetx64 files need to be available via tftp,
using for example a dhcpd configuration which includes:

| # UEFI boot with DHCPv4
| option architecture-type code 93 = unsigned integer 16;
|
| subnet 10.42.42.0 netmask 255.255.255.0 {
|   next-server 10.42.42.2;
|   range 10.42.42.100 10.42.42.200;
|
|   class "pxeclients" {
|     match if substring (option vendor-class-identifier, 0 ,9) = "PXEClient";
|     if option architecture-type = 00:07 {
|       filename "shim.efi";
|     } else {
|       filename "pxelinux.0";
|     }
|   }
| }

... or a dnsmasq configuration which includes:

| domain-needed
| bogus-priv
| expand-hosts
| domain=foobar.example.org
| dhcp-range=10.42.42.100,10.42.42.200,6h
| dhcp-option=1,255.255.255.0  # subnet mask
| dhcp-option=3,10.42.42.1     # default gateway
| dhcp-option=6,10.42.42.2     # domain name server
| dhcp-option=28,10.42.42.255  # broadcast address
| dhcp-option=42,10.42.1.3     # timeserver preference
| dhcp-option=252,"\n"         # proxy config
| dhcp-match=BIOS,option:client-arch,0
| dhcp-boot=tag:BIOS,pxelinux.0
| dhcp-match=UEFI,option:client-arch,7
| dhcp-match=UEFI,option:client-arch,9
| dhcp-boot=tag:UEFI,shim.efi
| dhcp-leasefile=/var/lib/misc/dnsmasq.leases
| dhcp-authoritative

or quoting from  https://wiki.ubuntu.com/UEFI/SecureBoot/PXE-IPv6:

| dhcp-boot=pxelinux.0
| dhcp-match=set:efi-x86_64,option:client-arch,7
| dhcp-boot=tag:efi-x86_64,bootx64.efi

Then EFI boot via PXE with GRUB is supposed to work fine,
while pxelinux provides PXE boot for BIOS based systems.

This is related to the EFI boot support within grml-terminalserver,
see commit 3154dc (`Support UEFI PXE boot with DHCPv4`).

This work was funded by Grml-Forensic.

GRUB: don't display BIOS only addons when running in EFI mode

There's no point in displaying the BIOS only addons when
running in EFI mode.

This work was funded by Grml-Forensic.

Closes: https://github.com/grml/grml/issues/113

Support EFI capable ipxe.efi boot addon

Be more verbose about boot addons installation

Otherwise it's a bit unclear whether the boot addons get installed

Support usage of boot/addons via symlink to corresponding git repository

It's annoying when you are running grml-live from the git repository,
as the installed grml-live-addons package doesn't matter then,
because the templates are pointing to the git repository.
This can be handled via a symlink, support its usage and mention
it in the docs.

Store logfiles also when FAI's dirinstall fails

With the ongoing bsdmainutils transition grml32-small_sid failed
to build and we don't have any log files for debugging in our jenkins
builds. Ensure to store logfiles also when the fai dirinstall run
failed.

scripts/GRMLBASE/52-mdadm: unconditionally clear 64-md-raid-assembly.rules

Similar to what we did in commit 31cd53a8b for LVM,
if /lib/udev/rules.d/64-md-raid-assembly.rules was removed by a
prior run of the unpatched script,
the patched script will fail to create the placeholder file.

This work was funded by Grml-Forensic.

Release new version 0.36.0

Refresh Secure Boot support, supporting new 'debian' method

Secure Boot mode wasn't reliably working, e.g. failing to boot in EFI
mode with disabled Secure Boot, but also hard to debug.

Now with our move from our own Grml kernel packages to the official
Debian kernel ones (which are signed and intended for usage with enabled
Secure Boot) it makes sense to support a proper Secure Boot chain
without hacks like we used to do (like relying on and old GRUB binary
from Ubuntu which supported booting unsigned kernels).

We do NOT enable Secure Boot support by default *yet* though, since we
need to get more testing of this and right now we're in the middle of an
RC version (2020.06-rc1) and the upcoming new stable version of Grml.

Relevant changes:

* minimize templates/secureboot/grub.cfg: while it's certainly nice
  to display only entries that are actually working under Secure Boot,
  it's annoying to have to maintain yet another place of boot menus.

  Also if something fails with detection of Secure Boot then it's annoying
  to have to debug this, instead let's display an error message, inform
  the user about it and ask for debugging information.

  Instead introduce a new GRUB theme (/boot/grub/grml-theme/sb-theme.txt)
  which displays a message that we're running in Secure Boot mode.
  While at it, unify indention in existing /boot/grub/grml-theme/theme.txt.

* move templates/EFI/BOOT towards templates/EFI/ubuntu/BOOT/ to be able
  to support debian and ubuntu methods at the same time

* ship GRUB binaries in templates/EFI/debian/, similar to the ones in
  templates/EFI/ubuntu

* switch Ubuntu's grubx64.efi.signed from grubx64.efi.signed to gcdx64.efi.signed;
  they differ in what GRUB's $prefix variable is set to:
  * gcdx64.efi.signed uses boot/grub/
  * grubx64.efi.signed uses EFI/ubuntu/
  -> the code in grml-live itself was adjusted accordingly and this also
  enables us to generalize the Secure Boot methods debian + ubuntu to
  use the same code path

* drop templates/boot/grub/grmlenv.cfg: everything what's relevant
  can be taken care of from inside templates/secureboot/grub.cfg,
  so let's avoid another indirection.

  We also moved the detection of Secure Boot into templates/secureboot/grub.cfg
  and reworked it: while Ubuntu's patches have a C function grub_efi_secure_boot(),
  there's no ready-to-use way to detect Secure Boot. But the wrmsr
  command is amongst the list of GRUB's disabled_mods and we can
  distingiush between exit code 18 (wrong invocation/argument usage) and 30 (Secure Boot forbits loading module).

* mention secure boot method in execution prompt/summary to be aware of
  its (non) presence ahead of execution

* update etc/grml/grml-live.conf to properly reflect current state of
  Secure Boot support

Thanks: Jordan Uggla for feedback

This work was funded by Grml-Forensic.

SW: add qrencode to GRML_SMALL and GRML_FULL

It adds only 166 kB of additional disk space and it's certainly
useful to use `echo ... | qrencode -t ANSI` also on the plain
console (that's why I went for the "shell" section in GRML_FULL).

SW: add tmate to GRML_SMALL + GRML_FULL

Adds 1,293 kB of additional disk space.

Do not depend on /proc for calculating runtime

For example when running grml-live inside a docker
environment, /proc doesn't necessarily exist.
Instead use seconds since the epoch as base for calculating runtime.

Development time sponsored by Sipwise GmbH

Release new version 0.35.4

Adjust layout of "Predictable Network Interface Names" boot option

* We use lowercase naming in GRUB
* The help text inside syslinux shouldn't be too long to fit
  on the screen

Merge remote-tracking branch 'origin/github/pr/88'

Add boot option pnet (Predictable Network Interface Names)

We plan to use Predictable Network Interface Names by default.

To make that switch easier we added a new boot option "pnet".

The kernel command line option "net.ifnames=0" is currently in every
boot option (except "pnet") but should be removed when Predictable
Network Interface Names works for us.

See: grml/grml#127

Release new version 0.35.3

No longer refer to sources.grml.org

sources.grml.org was relevant until we switched to building
the source archives directly from within grml-live (around 2012).

While at it fix some styling issues in the LICENSE file.

Use debootstrap with --no-merged-usr by default

By default debootstrap creates systems with /usr being merged, leading
to issues like the xfsdump issue we saw in
https://github.com/grml/grml-live/issues/85, also dpkg -S ... and
further commands break with /usr being merged.

It's possible to generate custom basefiles with debootstrap, but by
default we should invoke debootstrap with the --no-merged-usr option,
otherwise we might have different ISO layouts, depending on whether we
use appropriate basefiles (as on our offical build host) vs. locally.

Closes: grml/grml-live#86

GRMLBASE/98-clean-chroot: avoid warning messages with resolvconf <1.80

In commit acf12d4123bd68f we got rid of /etc/resolvconf/run, and while
resolvconf >=1.80 no longer uses /etc/resolvconf/run, older
versions of resolvconf still use it in their libc update hook script. :-/

So while it really works e.g. on Debian/buster (as documented in
commit acf12d4123bd68f) with resolvconf v1.79, there's an ugly:

| /etc/resolvconf/update.d/libc: Warning: /etc/resolv.conf is not a symbolic link to /etc/resolvconf/run/resolv.conf" for resolvconf versions

message when invoking "dhclient". Try to avoid this.

Related to https://github.com/grml/grml/issues/142

SW: add wireguard to GRML_FULL

Since we no longer ship ipsec-tools + racoon, it might be nice to include wireguard instead.

Current state in Debian:

wireguard  | 1.0.20200513-1~bpo10+1 | buster-backports       | source, all
wireguard  | 1.0.20200513-1~bpo10+1 | buster-backports-debug | source
wireguard  | 1.0.20200513-1         | testing                | source, all
wireguard  | 1.0.20200513-1         | unstable               | source, all
wireguard  | 1.0.20200513-1         | unstable-debug         | source

Release new version 0.35.2

etc/network/interfaces/GRMLBASE: support /etc/network/interfaces.d/* in /e/n/i

For example cloud-init writes its network configuration file to
/etc/network/interfaces.d/50-cloud-init, so the file needs
to be sourced.

Related to https://github.com/grml/grml/issues/124

SW: add avahi-utils to GRML_FULL

Useful to have e.g. avahi-browse available, adds only a few
KB of additional disk space on grml-full, while on grml-small
it would pull in 8,500 kB of additional disk space.

Release new version 0.35.1

DEBORPHAN/10-whitelist: rework fix for broken keep file handling of deborphan

An empty file doesn't help either, so we need at least a file
with a newline. Given that we're already touching the file
based on its hard-coded filename, let's just append the package
in question and avoid invoking deborphan at all. Especially
as deborphan returns with failure when a package is already
listed:

| deborphan: dnsutils: duplicate entry.

We need to handle this anyway, if grml-live is re-executed on
an existing system (which isn't unusual).

DEBORPHAN/10-whitelist: provide workaround for Debian bug #929273

If deborphan's keep file doesn't exist yet, it fails with:

| fseek on /var/lib/deborphan/keep: Invalid argument

While at it, no longer ignore failing deborphan execution
but error out on failure.

DEBORPHAN/10-whitelist: highlight when dnsutils gets added to whitelist

Otherwise it's hard to see whether anything was executed at all

SW: add fdisk to GRMLBASE

See Debian #960815 + #947134, it's no longer "Important: yes" and
util-linux >=2.35.1-2 no longer depends on it. To ensure we have
it on all Grml(-based) ISOs, let's add it to GRMLBASE.

docs: update ISO sizes and disk requirements, we no longer provide support for file-rc

file-rc support is still present, but we won't provide any support
for it and it will be dropped rather soonish, so announce it
accordingly.

Move scripts/GRMLBASE/40-deborphan towards DEBORPHAN class as file 10-whitelist

If the DEBORPHAN class is used before the GRMLBASE class when invoking
grml-live, then any whitelisting executed via
scripts/GRMLBASE/40-deborphan will happen too late, which is not obvious
and surprising. Instead let's move scripts/GRMLBASE/40-deborphan towards
the DEBORPHAN class and name it as "10-whitelist".

deborphan: drop deprecated packages

We don't ship shadowfs + bsdtar since ~2011, libewf1 and
libstdc++2.10-glibc2.2 no longer exist in any supported release,
so let's do some housekeeping.

deborphan: add workaround for transitional package dnsutils

dnsutils became a transitional package with version 1:9.16.2-3 (as
present in current testing (bullseye) and unstable):

| % rmadison dnsutils
| dnsutils   | 1:9.9.5.dfsg-9+deb8u15       | oldoldstable      | amd64, armel, armhf, i386
| dnsutils   | 1:9.10.3.dfsg.P4-12.3+deb9u5 | oldstable         | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.10.3.dfsg.P4-12.3+deb9u6 | oldstable-new     | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5~bpo9+1    | stretch-backports | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5.1         | stable            | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5.1+deb10u1 | stable-new        | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.16.2-3                   | testing           | all
| dnsutils   | 1:9.16.2-3                   | unstable          | all

It depends on bind9-dnsutils, which is available only in current testing
(bullseye) and unstable:

| % rmadison bind9-dnsutils
| bind9-dnsutils | 1:9.16.2-3    | testing    | amd64, arm64, armel, armhf, i386, mips64el, mipsel, ppc64el, s390x
| bind9-dnsutils | 1:9.16.2-3    | unstable   | amd64, arm64, armel, armhf, i386, mips64el, mipsel, ppc64el, s390x

If we switch our GRML_FULL package list from dnsutils to
bind9-dnsutils, then we would only support testing (bullseye) and
unstable but not any older release. To avoid this, mark dnsutils
as "keep" in deborphan, so it does not end up in the not_installable
list (and mark failing tests in Jenkins/CI).

Release new version 0.35.0

Execute 'wrap-and-sort -a -t -s' on debian/

This is much better for (code) reviews

Bump Debian compat version to 12, using debhelper-compat approach

Bump Standards-Version to 4.5.0

Initial cloud-init support

sudoers: set Defaults secure_path to have sane default settings

If the user (non-root) doesn't have /sbin:/usr/sbin inside $PATH (as
present when invoking `mksh -l`, which causes /etc/profile to be
sourced and setting $PATH), then executing sudo might fail with:

| $ sudo apt-get install rdesktop
| [...]
| dpkg: warning: 'ldconfig' not found in PATH or not executable
| dpkg: warning: 'start-stop-daemon' not found in PATH or not executable
| dpkg: error: 2 expected programs not found in PATH or not executable
| Note: root's PATH should usually contain /usr/local/sbin, /usr/sbin and /sbin

Ensure to have a working $PATH setting when invoking sudo
by explicitly setting secure_path.

Closes: https://github.com/grml/grml/issues/144

SW: add cloud-init to GRML_FULL

cloud-init is useful in cloud environments, also Proxmox provides support
for it.

This adds 11.5 MB of additional disk space. We consider adding it to
GRML_SMALL as well (adding 14MB there). But for the time being verify its
usefulness before adding it to grml-small as well.

Thanks Joel Wirāmu Pauling for suggesting this.

See https://github.com/grml/grml/issues/124

SW: drop hfsprogs from GRML_FULL

Was removed from Debian/testing due to DFSG incompatible license, see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=666707

GRMLBASE/80-initramfs: no longer set CRYPTSETUP=y

Quoting from cryptsetup's Debian packaging git:

| commit 06f8c00c908ffd1fa95c4afc78e9cac462d01d91
| Author: Guilhem Moulin <guilhem@debian.org>
| Date:   Sat Jul 20 19:18:21 2019 -0300
|
|     initramfs: Remove compatibility warnings regarding CRYPTSETUP=[y|n].
|
|     The warning was added in 2:2.0.3-1 for the ‘cryptsetup’ package split
|     into ‘cryptsetup-run’ and ‘cryptsetup-initramfs’.  With the recent
|     Buster release we can now move on: cryptsetup is always copied to the
|     initramfs when the ‘cryptsetup-initramfs’ package is installed.

Given that we have the cryptsetup-initramfs package in GRMLBASE,
we no longer need to use this.

Closes: https://github.com/grml/grml/issues/82

initramfs xz-compress: use default xz compression level

Quoting from the bug report:

| How many threads are used also depends on the compression level. At -6,
| I've seen it use 3-4 threads, which speeds up initramfs compression a lot.
| With -8, it always only uses one thread (although maybe it also depends on
| the amount of data being compressed; I don't know).

The default compression preset level is -6, so there's no need to specify
it.

This also matches the behavior of initramfs-tools >=0.119:

| commit cf9691da3847a6bfadb4a5c9e0f6213bd7d10fdc
| Author: Ben Hutchings <ben@decadent.org.uk>
| Date:   Thu Oct 16 15:34:54 2014 +0200
|
|     mkinitramfs: Use default xz compression level rather than -8
|
|     xz -8 wants 370 MB VM for compression, but Debian tries to support
|     systems with less physical memory than that.
|
|     The benchmark results given in commit bedf1e3c0882 ('Use -8 for
|     compression with xz.') show only a 1% increase in size when changing
|     to -6, but VM usage will be reduced by 75%.
|
|     Closes: #697335
|     Signed-off-by: Ben Hutchings <ben@decadent.org.uk>
|
| diff --git mkinitramfs mkinitramfs
| index 07190ed..25932c1 100755
| --- mkinitramfs
| +++ mkinitramfs
| @@ -146,7 +146,7 @@ if dpkg --compare-versions "${version}" lt "2.6.38" 2>/dev/null; then
|  fi
|
|  [ "${compress}" = lzop ] && compress="lzop -9"
| -[ "${compress}" = xz ] && compress="xz -8 --check=crc32"
| +[ "${compress}" = xz ] && compress="xz --check=crc32"
|
|  if [ -d "${outfile}" ]; then
|         echo "${outfile} is a directory" >&2

Let's keep the xz wrapper though, to force its usage independent of the
initramfs-tools version being used and have it available, if we decide to
add further custom options in the future.

Thanks: Dr. András Korn
Closes: https://github.com/grml/grml-live/issues/48

scripts/GRMLBASE/50-lvm: unconditionally clear 69-lvm-metad.rules file

If /lib/udev/rules.d/69-lvm-metad.rules was removed by a prior run of the unpatched script,
the patched script will fail to create the placeholder file.

Thanks: Dr. András Korn
Closes: https://github.com/grml/grml-live/issues/47

DEBIAN_STABLE: use buster-backports instead of stretch-backports

Debian/buster is the current stable release, there's no point in
enabling stretch-backports there.

FTR: we could set it to 'stable-backports' instead, though then
apt/apt-get/... will complain about it:

| W: Conflicting distribution: http://ftp.debian.org/debian stable-backports InRelease (expected stable-backports but got buster-backports)

GRMLBASE/98-clean-chroot: fix resolvconf symlink handling + get rid of resolvconf workarounds

resolvconf no longer supports usage of /etc/resolvconf/run as such,
instead things are supposed to live in /run nowadays.  Quoting from
resolvconf's debian/changelog:

| resolvconf (1.80) unstable; urgency=medium
|
| [...]
|
|   [ Steve Langasek ]
|   * Eliminate all references to /etc/resolvconf/run.  This should all be done
|     directly in /run, there is no reason to support making any of this
|     configurable with a symlink since we already have a versioned dependency
|     on the version of initscripts that introduces the /run transition.

So /etc/resolv.conf being a symlink pointing to
/etc/resolvconf/run/resolv.conf no longer works, instead it needs to
point to /run/resolvconf/resolv.conf.

Given that our resolvconf code dates back to 2007 (see commit 1d1565d0e49),
while at it get rid of the workarounds, which don't seem to be needed
anymore.

Tested this change with builds against Debian/stretch (resolvconf 1.79),
Debian/buster (resolvconf 1.79) and Debian/bullseye (resolvconf 1.82).

Closes: https://github.com/grml/grml/issues/142

SW: add radvd

Closes: https://github.com/grml/grml-live/issues/83

GRMLBASE/98-clean-chroot: get rid of /wget-log* files

The update-pciids run under timeout(1) within
/etc/grml/fai/config/scripts/GRMLBASE/91-update-pciids
might fail and leave /wget-log* files behind, like:

| root@gf-internal ~ # cat /srv/grml-live/grml64-forensic_2020.01-1/grml_chroot/wget-log
| http://pciids.sourceforge.net/v2.2/pci.ids.bz2:
| 2019-12-10 15:02:31 ERROR 503: Service Temporarily Unavailable.
| root@gf-internal ~ # cat /srv/grml-live/grml64-forensic_2020.01-1/grml_chroot/wget-log.1
| http://pciids.sourceforge.net/v2.2/pci.ids.bz2:
| 2019-12-10 15:07:44 ERROR 503: Service Temporarily Unavailable.

This does *not* happen when being manually invoked,
so it seems to be something related to the environment
of FAI. Couldn't spot the underlying issue yet though
and we clearly don't want to ship any such files
inside the root directory of the rootfs.

Release new version 0.34.4

Merge remote-tracking branch 'origin/github/pr/80'

SW: cryptsetup-initramfs (fix persistence-encryption)

SW: add ncdu to GRML_SMALL

Related to commit 45480fb1c3e60118a13992d4dff50629644b545c

SW: add tree to GRML_SMALL

Related to commit 4622dafaf1d50eda4f3b9382b4d9b3fe4b7e363d

Merge remote-tracking branch 'origin/github/pr/81'

SW: add ncdu to GRML_FULL

Useful helper for identifying and removing large files. Packages size is ~80K.

SW: add tree to GRML_FULL

Useful helper for file exploring. Package size is ~88K.

SW: add zstd to GRML_FULL

SW: replace fuse with fuse3

sshfs depends on fuse3 and can be installed just fine with it:

| # apt install sshfs fuse3
| [...]
| The following NEW packages will be installed:
|   fuse3 krb5-locales libedit2 libfuse3-3 libglib2.0-0 libglib2.0-data libgssapi-krb5-2 libicu63 libk5crypto3 libkeyutils1 libkrb5-3 libkrb5support0 libssl1.1 libx11-6 libx11-data libxau6 libxcb1 libxdmcp6 libxext6 libxml2 libxmuu1
|   openssh-client shared-mime-info sshfs xauth xdg-user-dirs
| 0 upgraded, 26 newly installed, 0 to remove and 27 not upgraded.
| Need to get 17.1 MB of archives.
| After this operation, 67.6 MB of additional disk space will be used.
| [..]

While when depending on fuse installation of sshfs fails due to:

| # apt install sshfs fuse
| [...]
| The following packages have unmet dependencies:
|  sshfs : Depends: fuse3 but it is not going to be installed
| E: Unable to correct problems, you have held broken packages.
| # apt install sshfs fuse fuse3
| [...]
| The following packages have unmet dependencies:
|  fuse3 : Breaks: fuse
| E: Unable to correct problems, you have held broken packages.

This is known as
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=943896 +
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=943875
and is also mentioned/related to
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=927291 +
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=939767

If we should ever explicitely need the fuse (v2) package we
can re-evaluate the situation then, but for the time being
switch to fuse3 since it's available as of Debian/buster
and breaking our grml{32,64}-full daily builds.

SW: add iperf3 to GRML_SMALL and GRML_FULL

It requires only 330 kB of disk space and it's certainly
a useful addition.

Thanks: Marc Haber for the suggestion
Closes: https://github.com/grml/grml/issues/131

SW: use Debian kernel packages instead of our custom Grml ones

Maintaining and keeping our linux-image-i386-grml +
linux-image-amd64-grml packages requires manpower we currently
don't really have. Instead let's see whether switching to the
kernel packages provided by Debian fits our needs. (This might
not be the case if we need different configuration options,
defaults, extra patches or the release cycle doesn't fit for
us, but it's worth a try, so let's find out.)

See https://github.com/grml/grml/issues/139

SW: add borgbackup to GRML_FULL

Closes: https://github.com/grml/grml/issues/99

SW: add qemu-guest-agent to GRML_SMALL

Related to commit 14fe0c777, qemu-guest-agent is nice to gather
network information when running e.g. as VM inside a Proxmox environment.
It's pulling in 4,675 kB on grml64-small Debian/testing as of today,
which is acceptable, given that we want to provide qemu-guest-agent
integration as release goal for our upcoming Grml release.

SW: add kpartx to GRML_SMALL + GRML_FULL

It requires less than 100 kB of additional disk space, and while
we have kpartx on grml-full thanks to a dependency by multipath-tools,
we didn't have it on grml-small yet. Add explicit depends to both
Grml flavours.

Closes: https://github.com/grml/grml-live/issues/75

Release new version 0.34.3

SW: replace vim-gtk with vim-gtk3

vim-gtk is a transitional/dummy package as of bullseye (current
Debian/testing), while vim-gtk3 is available since at least
stretch (current Debian/oldstable).

GRMLBASE/90-update-alternatives: support vim >=2:8.1.2136-1

vim 2:8.1.2136-1 moved /usr/bin/vim.* into /usr/libexec/vim/,
so we need to check for its base path.

Also vim-gtk became a transitional package for vim-gtk3 and
the binary is called vim.gtk3, add according additional check.

Fixes:

| Setting vim.gtk as editor using update-alternatives.
| update-alternatives: error: alternative /usr/bin/vim.gtk for editor not registered; not setting
| GRMLBASE/90-update-alternatives FAILED with exit code 2.

Release new version 0.34.2

Rebuild /var/lib/dpkg/available to install not-yet-installed packages in update runs

When executing grml-live in update mode (grml-live [...] -u) using an
existing grml_chroot, then script GRMLBASE/98-clean-chroot has emptied
/var/lib/dpkg/available in a previous run already.

Executing `apt-get update` does NOT re-generate the file. This leads to
FAI's install_packages with its mkpackagelist() and clean_pkg_list()
failing to install requested packages, but reporting all packages with:

| WARNING: These unknown packages are removed from the installation list: [...]

This is unexpected, as an update run shouldn't just update existing
packages, but also try to install any additionally requested packages
from the software selection (as a package might not have been installed
due to missing dependencies, that have been taken care of in the
meanwhile).

So if we'd detect an existing /var/lib/dpkg/available that is empty,
then we would have to rebuild it using /usr/lib/dpkg/methods/apt/update.
Since /usr/lib/dpkg/methods/apt/update essentially also executes
'apt-get update' underneath, there's no need to run 'apt-get update'
only with empty /var/lib/dpkg/available, instead let's always rely on
/usr/lib/dpkg/methods/apt/update.

SW: drop racoon from GRML_FULL

Quoting from https://packages.qa.debian.org/i/ipsec-tools/news/20190727T182520Z.html:

| ROM; dead upstream, alternatives available

Also see Debian bug #932144