netboot creation: no longer compress the tarball + only generate sha256 checksum file

Compressing the tarball takes several seconds, while there's usually
no change in file size, as pretty much all its files are already
compressed. By no longer compressing the tarball we reduce build time.

Also no longer generated sha1 and sha512 checksum files, we agreed
to only rely on sha256 checksum files nowadays.

Related to https://github.com/grml/grml/issues/120

No longer produce md5, sha1 + sha512 checksums, but only sha256

We no longer rely on those checksum files and it increases build
time. It should be enough to generate just the sha256 checksum file.

Related to https://github.com/grml/grml/issues/120

GRMLBASE/98-clean-chroot: also nuke *.xz files

Files like /var/log/apt/eipp.log.xz are present nowadays

Release new version 0.38.4

SW: add speedtest-cli to GRML_FULL

FTR: requires only 106 kB of additional disk space

Thanks: Darshaka Pathirana for the suggestion

SW: add inxi to GRML_FULL

Thanks: Darshaka Pathirana for the suggestion

etc/grml/fai/config/files/etc/hosts/GRMLBASE: sync IPv6 entries with Debian

Quoting from Debian netbase's changelog (see
https://metadata.ftp-master.debian.org/changelogs/main/n/netbase/netbase_6.3_changelog):

| netbase (5.1) unstable; urgency=low
| [...]
| * Removed ip6-localnet and ip6-mcastprefix from the default /etc/hosts
|   created by postinst because they have no purpose. (Closes: #688090)
| [...]
|
| netbase (4.30) unstable; urgency=low
|
|   * On new installs add localhost as an alias for ::1. (Closes: #427067)
| [...]
|
| netbase (4.35) unstable; urgency=low
|
|   * Do not add ff02::3 to /etc/hosts because it is not actually assigned.
|     (Closes: #499800)

FTR: netbase 5.1 pre-dates Debian/jessie AKA oldoldstable (which shipped
netbase 5.3)

Development time sponsored by Sipwise GmbH

SW: drop rng-tools from GRMLBASE

This was noticed via a dependency on mksh (rng-tools, being a
transitional dummy package nowadays, actually Pre-Depends on mksh).
This saves us ~1,671 kB and we already ship haveged. If we really want
to provide such a feature (to feature an entropy gathering daemon to
support hardware randon number generators), then we should probably look
into rng-tools5 instead.

Release new version 0.38.3

SW: add wireless-regdb to GRML_FULL

Seems to be relevant for certain wireless network devices,
start with shipping it for GRML_FULL (whether it's relevant
for GRML_SMALL to be determined yet).

SW: add jq to GRML_FULL

This is certainly a useful tool that we should include by default

Release new version 0.38.2

SW: drop comgt from GRML_FULL

The comgt package was orphaned in 2021 (see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=983867) and its last
upload dates back to 2016. It shouldn't really matter in 2021 anymore,
but if it really does then let's find out.

SW: drop wvdial from GRML_FULL

The wvdial package was orphaned in 2018 (see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=901879) and my
assumption is that Point-to-Point protocols aren't really relevant for
Grml users anymore nowadays. It was requested in 2012 (see commit
9c06220097) for GRML_FULL, but if someone really cares about this in
2021 as well it's time to find out (and then we should discuss whether
it's also relevant for GRML_SMALL?).

Removing wvdial package and its dependencies frees ~2.710 kB of disk space.

SW: add firmware-ath9k-htc to GRMLBASE

Only ~168kB of additional disk space and required for USB wireless adapters,
and licensed under GPL-2(+)

Release new version 0.38.1

Refresh lintian overrides to reflect current state

Bump Standards-Version to 4.5.1

Revert "grml-live: clean up MIRROR_DIRECTORY if provided."

This reverts commit c78f58bfee79af61276e3e91457a1b0faa55bbf5.

While deleting the bind-mount destination of mirror directories is fine
in theory, we end up deleting empty base directories as well, which
is unexpected and unwanted behavior.

See https://github.com/grml/grml-live/pull/104 for the related
discussion, this issue needs further attention yet before we can
include this in a new release of grml-live.

SW: add ntfs-3g to GRML_SMALL

FTR: this adds 3,162 kB of additional disk space (mainly due to libfuse2
libgnutls30 dependencies).

Acked-by: Chris Hofstaedtler
Thanks: Evgeni Golov for the suggestion

Merge remote-tracking branch 'origin/github/pr/103'

grml-live: clean up MIRROR_DIRECTORY if provided.

Be like a ninja.

Merge remote-tracking branch 'origin/github/pr/102'

grml-live: fix typo in (e)error command.

Release new version 0.38.0

GRMLBASE/01-packages: also detect and report unknown package names

If FAI doesn't know package names during its dirinstall run, it reports:

| WARNING: These unknown packages are removed from the installation list

... in fai.log and software.log. This happens e.g. if a package was
removed from a Debian repository and is no longer known therefore. What
FAI reports through its install_packages.list are only packages that
were asked for installation *and* exist as such (so not a "unknown
package package"), but failed to install - so this sadly doesn't help
us.

One option would be to set FAI_DISABLE_PACKAGE_NAME_CHECK=1 (which
corresponds to FAI install_packages's -N cmdline option), but then the
installation fails hard with unknown packages, which isn't what we want
as default behavior. But provide this disabled(!) configuration option
in GRMLBASE.var, just in case someone is looking for it.

As a solution for our use case, let's handle this via our existing
GRMLBASE/01-packages script, which checks for missing packages already.
Now we also check FAI's software.log for the 'These unknown packages'
error message and report them via package_errors.log.

This work was funded by Grml-Forensic.

GRUB templates: provide menu entry for UEFI Firmware Settings

When running in EFI mode, it's as simple as executing "fwsetup".

Closes: https://github.com/grml/grml-live/issues/101

GRUB templates: do not set root/chainloader but just exit for boot from next device

This pretty much never works for me, while exiting GRUB
switches to the next device in the boot order, so let's
just "exit" GRUB and name the menu entries accordingly.

Closes: https://github.com/grml/grml-live/issues/100

Use 1m as new default squashfs block size

The default block size of mksquashfs is 128k, while we used 256k since 2009.
When increasing the block size further, we increase build time, but also
decrease the file size (and therefore the resulting ISO).

Nowadays rotating media (CD/DVD) aren't so much in usage anymore, while
(USB) flash drives and direct ISO boot (both from disk as well as via
OOB management) are way more common. Latency maybe is no longer so
relevant as it used to be, so let's see if this turns out to be a
problem. On the other side smaller ISOs decrease download times as well
as disk usage (esp. when used as /boot/grml via grml-rescueboot).
Overall it is a trade off that's worth consideration, let's give it a try.

Some non-scientific benchmarks give the following build times:

* block size 256k: 2min 19sec, 383MB
* block size 1m:   3min 30sec, 363MB

Buffer/cache memory usage of the booted ISO slightly increases (91MB
used and 170MB buff/cache with block size 1m, vs. 94MB used and 143MB
buff/cache with block size 256kb), but might be neglectable. (And once
again, this was another non-scientific benchmark.)

Further options that might be worth consideration are 1) -Xdict-size
(while -Xdict-size 100% is the default already, so noting really to do
for us here), and 2) `-Xbcj x86`, which further increases compression
time, but also has a bit of savings.

FTR, Jonathan Carter did some benchmarks related to squashfs in 2015, see
https://jonathancarter.org/2015/04/06/squashfs-performance-testing/.
And Fedora is considering usage of `-b 1M -Xdict-size 1M -no-recovery`
(which would be identical to what we have, note that -no-recovery
doesn't seem to influence file size), see
https://fedoraproject.org/wiki/Changes/OptimizeSquashFS

Thanks: Mihai Moldovan <ionic@ionic.de>

GRMLBASE/16-depmod: no longer rely on /boot/System.map-* file

The System.map content was moved into Debian's debug package with kernel
5.8.10-1 and newer, see https://salsa.debian.org/kernel-team/linux.git:

| commit 26a6ecc287bdbe56ae5dd4fbbd32c76b57b9e690 (origin/waldi/update-5.8)
| Author: Bastian Blank <bastian.blank@credativ.de>
| Date:   Tue Aug 4 17:19:42 2020 +0200
|
|     Move System.map into debug package

Now it only contains a place holder:

| # cat /boot/System.map-5.10.0-4-amd64
| ffffffffffffffff B The real System.map is in the linux-image-<version>-dbg package

Due to this, we get >134k entries like:

| depmod: WARNING: /lib/modules/5.10.0-4-amd64/kernel/arch/x86/events/rapl.ko needs unknown symbol x86_match_cpu

… resulting in a ~16MB log file (FAI's shell.log).

To avoid this, let's skip usage of depmod's `-e -F /boot/System.map-*'.

Note: It's probably not worth checking for 'The real System.map is in
the' inside the /boot/System.map-* file and only if it's not present
then consider using it, given that this string might change over time.

FTR: We usually also don't have the Module.symvers available for usage
with depmod's `-E` option, as the Module.symvers is part of the kernel
source package.

Closes: https://github.com/grml/grml-live/issues/99

Merge remote-tracking branch 'origin/github/pr/98'

Merge remote-tracking branch 'origin/github/pr/97'

grml-cheatcodes.txt: reflow, no actual change.

grml-cheatcodes.txt: update fromiso doc.

This adds support for file system overrides and makes clear that the
device path prefix is actually optional.

docs/grml-live.txt: fix markdown issue, escape *.

Otherwise, the two consecutive asterisks are treated as a
<strong>...</strong> segment, which is not what we mean here.

grml-live: isohybrid is the default, reflect that.

While isolinux's "manifold" mode was used by default a long time ago,
Grml switched to the isohybrid method in late 2011, mostly due to manifold
being incompatible with UEFI systems.

Documentation and configuration files weren't updated at that time,
though.

Do it now.

Provide apt sources.list file to support 'bullseye' as Debian suite

Requires new security.debian.org repository layout quoting from
https://lists.debian.org/debian-devel-announce/2019/07/msg00004.html:

| over the last years we had people getting confused over <suite>-updates
| (recommended updates) and <suite>/updates (security updates).  Starting
| with Debian 11 "bullseye" we have therefore renamed the suite including
| the security updates to <suite>-security.
|
| An entry in sources.list should look like
|
|   deb http://security.debian.org/debian-security bullseye-security main
|
| For previous releases the name will not change.

Merge remote-tracking branch 'origin/github/pr/95'

GRUB: drop loopback usage for balder10/FreeDOS.

Looks like a relic from the bad, old days.

It's certainly not needed any longer, since the initrd16 command can
load the file just fine and newer grub versions are not able to load
compressed files in such a manner, since the length (+2880) refers to
the uncompressed size. Grub will see that the file is smaller than that
and error out. If we were to give it the compressed size, decompression
would fail due to the buffer being too small.

grml-cheatcodes.txt: drop trailing whitespace char

Git-Dch: ignore

grml-cheatcodes.txt: fix URL for initramfs-tools manpage

The tool switched section and the URL lead to 404

grml-cheatcodes.txt: remove several unsupported boot options

E.g. in grml-autoconfig commit 0fb27baed a bunch of features
were finally deprecated, so let's remove those here as well
and while it, get rid of some very outdated ones or that
are part of upstream kernel docs anyways.

Also drop the deprecated mem=... docs, with this configuration
we can't even boot nowadays.

grml-cheatcodes.txt: document getfile.retries boot option

This is useful, when the netscript boot option was specified but
times out before network is available.

Release new version 0.37.2

Merge remote-tracking branch 'origin/github/pr/94'

initramfs-tools: use upstream's xz handling to support multithreading

initramfs-tools versions >=0.136 support multithreading in
xz compression usage (see upstream commit 41d9ceb3).

While at it fix header comment, to refer to the actual
script (which was renamed in commit 6e778099).

FTR: we're still using xz (and not using e.g. zstd) because
it still seems to be the combination of small file size
*and* decompression speed now that we have multithreading
support (though zstd might be an interesting option in the future),
also see https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=976054

GRUB: remove erroneous quotes around kernelopts

kernelopts are used by grml-rescueboot to communicate kernel arguments
from the host's grub to the grub within the grml ISO. E.g., the host
grub boot entry will contains something like:

    kernelopts=" arg1 arg2 blacklist=foo etc "
    export kernelopts

Currently, grub within the grml ISO will pass this entire string as one
single argument to the kernel. Remove the quotes such that the arguments
are interpreted as intended.

Fixes https://github.com/grml/grml-rescueboot/issues/5

Release new version 0.37.1

Update lintian-overrides for new EFI boot files

Fixup for commit 518eb395d865 where templates/EFI/BOOT/ was
split into templates/EFI/debian/BOOT/ + templates/EFI/ubuntu/BOOT/

Add bsdmainutils to DEBORPHAN whitelist

Fixes Jenkins issue:

| Package bsdmainutils is missing

Secure Boot: update grubx64.efi.signed to fix BootHole issue

Fixes the BootHole, see https://www.debian.org/security/2020/dsa-4735 +
https://www.openwall.com/lists/oss-security/2020/07/29/3 +
https://eclypsium.com/2020/07/29/theres-a-hole-in-the-boot/

SW: add mmdebstrap to GRML_FULL + GRML_SMALL

It requires only ~250kB of disk space and it's much faster
than debootstrap and we plan to use it as default within
grml-debootstrap anyway.

Thanks: Helmut Grohne for the suggestion

Release new version 0.37.0

/e/n/i: move sourcing of /etc/network/interfaces.d/ to begin of file

netcardconfig doesn't properly handle this section and it disappears
when configuring network devices then.

Rewriting netcardconfig is on our agenda (see
https://github.com/grml/grml-network/issues/11), until we get there
let's make sure the status quo works as good as possible.

Take over wording based on what ifupdown's postinst script uses.

SW: add grub-efi-amd64-signed + shim-signed to GRML_FULL (AMD64 only)

This adds support for EFI PXE boot support via grml-terminalserver.

While they are part of the depends in grml-terminalserver, they aren't
strictly needed (alternative depends), so ensure we have those packages
available OOTB for EFI based PXE boot with grml-terminalserver.

Provide setup files for EFI boot in netboot package

The shim + grubnetx64 files need to be available via tftp,
using for example a dhcpd configuration which includes:

| # UEFI boot with DHCPv4
| option architecture-type code 93 = unsigned integer 16;
|
| subnet 10.42.42.0 netmask 255.255.255.0 {
|   next-server 10.42.42.2;
|   range 10.42.42.100 10.42.42.200;
|
|   class "pxeclients" {
|     match if substring (option vendor-class-identifier, 0 ,9) = "PXEClient";
|     if option architecture-type = 00:07 {
|       filename "shim.efi";
|     } else {
|       filename "pxelinux.0";
|     }
|   }
| }

... or a dnsmasq configuration which includes:

| domain-needed
| bogus-priv
| expand-hosts
| domain=foobar.example.org
| dhcp-range=10.42.42.100,10.42.42.200,6h
| dhcp-option=1,255.255.255.0  # subnet mask
| dhcp-option=3,10.42.42.1     # default gateway
| dhcp-option=6,10.42.42.2     # domain name server
| dhcp-option=28,10.42.42.255  # broadcast address
| dhcp-option=42,10.42.1.3     # timeserver preference
| dhcp-option=252,"\n"         # proxy config
| dhcp-match=BIOS,option:client-arch,0
| dhcp-boot=tag:BIOS,pxelinux.0
| dhcp-match=UEFI,option:client-arch,7
| dhcp-match=UEFI,option:client-arch,9
| dhcp-boot=tag:UEFI,shim.efi
| dhcp-leasefile=/var/lib/misc/dnsmasq.leases
| dhcp-authoritative

or quoting from  https://wiki.ubuntu.com/UEFI/SecureBoot/PXE-IPv6:

| dhcp-boot=pxelinux.0
| dhcp-match=set:efi-x86_64,option:client-arch,7
| dhcp-boot=tag:efi-x86_64,bootx64.efi

Then EFI boot via PXE with GRUB is supposed to work fine,
while pxelinux provides PXE boot for BIOS based systems.

This is related to the EFI boot support within grml-terminalserver,
see commit 3154dc (`Support UEFI PXE boot with DHCPv4`).

This work was funded by Grml-Forensic.

GRUB: don't display BIOS only addons when running in EFI mode

There's no point in displaying the BIOS only addons when
running in EFI mode.

This work was funded by Grml-Forensic.

Closes: https://github.com/grml/grml/issues/113

Support EFI capable ipxe.efi boot addon

Be more verbose about boot addons installation

Otherwise it's a bit unclear whether the boot addons get installed

Support usage of boot/addons via symlink to corresponding git repository

It's annoying when you are running grml-live from the git repository,
as the installed grml-live-addons package doesn't matter then,
because the templates are pointing to the git repository.
This can be handled via a symlink, support its usage and mention
it in the docs.

Store logfiles also when FAI's dirinstall fails

With the ongoing bsdmainutils transition grml32-small_sid failed
to build and we don't have any log files for debugging in our jenkins
builds. Ensure to store logfiles also when the fai dirinstall run
failed.

scripts/GRMLBASE/52-mdadm: unconditionally clear 64-md-raid-assembly.rules

Similar to what we did in commit 31cd53a8b for LVM,
if /lib/udev/rules.d/64-md-raid-assembly.rules was removed by a
prior run of the unpatched script,
the patched script will fail to create the placeholder file.

This work was funded by Grml-Forensic.

Release new version 0.36.0

Refresh Secure Boot support, supporting new 'debian' method

Secure Boot mode wasn't reliably working, e.g. failing to boot in EFI
mode with disabled Secure Boot, but also hard to debug.

Now with our move from our own Grml kernel packages to the official
Debian kernel ones (which are signed and intended for usage with enabled
Secure Boot) it makes sense to support a proper Secure Boot chain
without hacks like we used to do (like relying on and old GRUB binary
from Ubuntu which supported booting unsigned kernels).

We do NOT enable Secure Boot support by default *yet* though, since we
need to get more testing of this and right now we're in the middle of an
RC version (2020.06-rc1) and the upcoming new stable version of Grml.

Relevant changes:

* minimize templates/secureboot/grub.cfg: while it's certainly nice
  to display only entries that are actually working under Secure Boot,
  it's annoying to have to maintain yet another place of boot menus.

  Also if something fails with detection of Secure Boot then it's annoying
  to have to debug this, instead let's display an error message, inform
  the user about it and ask for debugging information.

  Instead introduce a new GRUB theme (/boot/grub/grml-theme/sb-theme.txt)
  which displays a message that we're running in Secure Boot mode.
  While at it, unify indention in existing /boot/grub/grml-theme/theme.txt.

* move templates/EFI/BOOT towards templates/EFI/ubuntu/BOOT/ to be able
  to support debian and ubuntu methods at the same time

* ship GRUB binaries in templates/EFI/debian/, similar to the ones in
  templates/EFI/ubuntu

* switch Ubuntu's grubx64.efi.signed from grubx64.efi.signed to gcdx64.efi.signed;
  they differ in what GRUB's $prefix variable is set to:
  * gcdx64.efi.signed uses boot/grub/
  * grubx64.efi.signed uses EFI/ubuntu/
  -> the code in grml-live itself was adjusted accordingly and this also
  enables us to generalize the Secure Boot methods debian + ubuntu to
  use the same code path

* drop templates/boot/grub/grmlenv.cfg: everything what's relevant
  can be taken care of from inside templates/secureboot/grub.cfg,
  so let's avoid another indirection.

  We also moved the detection of Secure Boot into templates/secureboot/grub.cfg
  and reworked it: while Ubuntu's patches have a C function grub_efi_secure_boot(),
  there's no ready-to-use way to detect Secure Boot. But the wrmsr
  command is amongst the list of GRUB's disabled_mods and we can
  distingiush between exit code 18 (wrong invocation/argument usage) and 30 (Secure Boot forbits loading module).

* mention secure boot method in execution prompt/summary to be aware of
  its (non) presence ahead of execution

* update etc/grml/grml-live.conf to properly reflect current state of
  Secure Boot support

Thanks: Jordan Uggla for feedback

This work was funded by Grml-Forensic.

SW: add qrencode to GRML_SMALL and GRML_FULL

It adds only 166 kB of additional disk space and it's certainly
useful to use `echo ... | qrencode -t ANSI` also on the plain
console (that's why I went for the "shell" section in GRML_FULL).

SW: add tmate to GRML_SMALL + GRML_FULL

Adds 1,293 kB of additional disk space.

Do not depend on /proc for calculating runtime

For example when running grml-live inside a docker
environment, /proc doesn't necessarily exist.
Instead use seconds since the epoch as base for calculating runtime.

Development time sponsored by Sipwise GmbH

Release new version 0.35.4

Adjust layout of "Predictable Network Interface Names" boot option

* We use lowercase naming in GRUB
* The help text inside syslinux shouldn't be too long to fit
  on the screen

Merge remote-tracking branch 'origin/github/pr/88'

Add boot option pnet (Predictable Network Interface Names)

We plan to use Predictable Network Interface Names by default.

To make that switch easier we added a new boot option "pnet".

The kernel command line option "net.ifnames=0" is currently in every
boot option (except "pnet") but should be removed when Predictable
Network Interface Names works for us.

See: grml/grml#127

Release new version 0.35.3

No longer refer to sources.grml.org

sources.grml.org was relevant until we switched to building
the source archives directly from within grml-live (around 2012).

While at it fix some styling issues in the LICENSE file.

Use debootstrap with --no-merged-usr by default

By default debootstrap creates systems with /usr being merged, leading
to issues like the xfsdump issue we saw in
https://github.com/grml/grml-live/issues/85, also dpkg -S ... and
further commands break with /usr being merged.

It's possible to generate custom basefiles with debootstrap, but by
default we should invoke debootstrap with the --no-merged-usr option,
otherwise we might have different ISO layouts, depending on whether we
use appropriate basefiles (as on our offical build host) vs. locally.

Closes: grml/grml-live#86

GRMLBASE/98-clean-chroot: avoid warning messages with resolvconf <1.80

In commit acf12d4123bd68f we got rid of /etc/resolvconf/run, and while
resolvconf >=1.80 no longer uses /etc/resolvconf/run, older
versions of resolvconf still use it in their libc update hook script. :-/

So while it really works e.g. on Debian/buster (as documented in
commit acf12d4123bd68f) with resolvconf v1.79, there's an ugly:

| /etc/resolvconf/update.d/libc: Warning: /etc/resolv.conf is not a symbolic link to /etc/resolvconf/run/resolv.conf" for resolvconf versions

message when invoking "dhclient". Try to avoid this.

Related to https://github.com/grml/grml/issues/142

SW: add wireguard to GRML_FULL

Since we no longer ship ipsec-tools + racoon, it might be nice to include wireguard instead.

Current state in Debian:

wireguard  | 1.0.20200513-1~bpo10+1 | buster-backports       | source, all
wireguard  | 1.0.20200513-1~bpo10+1 | buster-backports-debug | source
wireguard  | 1.0.20200513-1         | testing                | source, all
wireguard  | 1.0.20200513-1         | unstable               | source, all
wireguard  | 1.0.20200513-1         | unstable-debug         | source

Release new version 0.35.2

etc/network/interfaces/GRMLBASE: support /etc/network/interfaces.d/* in /e/n/i

For example cloud-init writes its network configuration file to
/etc/network/interfaces.d/50-cloud-init, so the file needs
to be sourced.

Related to https://github.com/grml/grml/issues/124

SW: add avahi-utils to GRML_FULL

Useful to have e.g. avahi-browse available, adds only a few
KB of additional disk space on grml-full, while on grml-small
it would pull in 8,500 kB of additional disk space.

Release new version 0.35.1

DEBORPHAN/10-whitelist: rework fix for broken keep file handling of deborphan

An empty file doesn't help either, so we need at least a file
with a newline. Given that we're already touching the file
based on its hard-coded filename, let's just append the package
in question and avoid invoking deborphan at all. Especially
as deborphan returns with failure when a package is already
listed:

| deborphan: dnsutils: duplicate entry.

We need to handle this anyway, if grml-live is re-executed on
an existing system (which isn't unusual).

DEBORPHAN/10-whitelist: provide workaround for Debian bug #929273

If deborphan's keep file doesn't exist yet, it fails with:

| fseek on /var/lib/deborphan/keep: Invalid argument

While at it, no longer ignore failing deborphan execution
but error out on failure.

DEBORPHAN/10-whitelist: highlight when dnsutils gets added to whitelist

Otherwise it's hard to see whether anything was executed at all

SW: add fdisk to GRMLBASE

See Debian #960815 + #947134, it's no longer "Important: yes" and
util-linux >=2.35.1-2 no longer depends on it. To ensure we have
it on all Grml(-based) ISOs, let's add it to GRMLBASE.

docs: update ISO sizes and disk requirements, we no longer provide support for file-rc

file-rc support is still present, but we won't provide any support
for it and it will be dropped rather soonish, so announce it
accordingly.

Move scripts/GRMLBASE/40-deborphan towards DEBORPHAN class as file 10-whitelist

If the DEBORPHAN class is used before the GRMLBASE class when invoking
grml-live, then any whitelisting executed via
scripts/GRMLBASE/40-deborphan will happen too late, which is not obvious
and surprising. Instead let's move scripts/GRMLBASE/40-deborphan towards
the DEBORPHAN class and name it as "10-whitelist".

deborphan: drop deprecated packages

We don't ship shadowfs + bsdtar since ~2011, libewf1 and
libstdc++2.10-glibc2.2 no longer exist in any supported release,
so let's do some housekeeping.

deborphan: add workaround for transitional package dnsutils

dnsutils became a transitional package with version 1:9.16.2-3 (as
present in current testing (bullseye) and unstable):

| % rmadison dnsutils
| dnsutils   | 1:9.9.5.dfsg-9+deb8u15       | oldoldstable      | amd64, armel, armhf, i386
| dnsutils   | 1:9.10.3.dfsg.P4-12.3+deb9u5 | oldstable         | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.10.3.dfsg.P4-12.3+deb9u6 | oldstable-new     | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5~bpo9+1    | stretch-backports | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5.1         | stable            | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.11.5.P4+dfsg-5.1+deb10u1 | stable-new        | amd64, arm64, armel, armhf, i386, mips, mips64el, mipsel, ppc64el, s390x
| dnsutils   | 1:9.16.2-3                   | testing           | all
| dnsutils   | 1:9.16.2-3                   | unstable          | all

It depends on bind9-dnsutils, which is available only in current testing
(bullseye) and unstable:

| % rmadison bind9-dnsutils
| bind9-dnsutils | 1:9.16.2-3    | testing    | amd64, arm64, armel, armhf, i386, mips64el, mipsel, ppc64el, s390x
| bind9-dnsutils | 1:9.16.2-3    | unstable   | amd64, arm64, armel, armhf, i386, mips64el, mipsel, ppc64el, s390x

If we switch our GRML_FULL package list from dnsutils to
bind9-dnsutils, then we would only support testing (bullseye) and
unstable but not any older release. To avoid this, mark dnsutils
as "keep" in deborphan, so it does not end up in the not_installable
list (and mark failing tests in Jenkins/CI).

Release new version 0.35.0

Execute 'wrap-and-sort -a -t -s' on debian/

This is much better for (code) reviews

Bump Debian compat version to 12, using debhelper-compat approach

Bump Standards-Version to 4.5.0

Initial cloud-init support

sudoers: set Defaults secure_path to have sane default settings

If the user (non-root) doesn't have /sbin:/usr/sbin inside $PATH (as
present when invoking `mksh -l`, which causes /etc/profile to be
sourced and setting $PATH), then executing sudo might fail with:

| $ sudo apt-get install rdesktop
| [...]
| dpkg: warning: 'ldconfig' not found in PATH or not executable
| dpkg: warning: 'start-stop-daemon' not found in PATH or not executable
| dpkg: error: 2 expected programs not found in PATH or not executable
| Note: root's PATH should usually contain /usr/local/sbin, /usr/sbin and /sbin

Ensure to have a working $PATH setting when invoking sudo
by explicitly setting secure_path.

Closes: https://github.com/grml/grml/issues/144

SW: add cloud-init to GRML_FULL

cloud-init is useful in cloud environments, also Proxmox provides support
for it.

This adds 11.5 MB of additional disk space. We consider adding it to
GRML_SMALL as well (adding 14MB there). But for the time being verify its
usefulness before adding it to grml-small as well.

Thanks Joel Wirāmu Pauling for suggesting this.

See https://github.com/grml/grml/issues/124

SW: drop hfsprogs from GRML_FULL

Was removed from Debian/testing due to DFSG incompatible license, see
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=666707

GRMLBASE/80-initramfs: no longer set CRYPTSETUP=y

Quoting from cryptsetup's Debian packaging git:

| commit 06f8c00c908ffd1fa95c4afc78e9cac462d01d91
| Author: Guilhem Moulin <guilhem@debian.org>
| Date:   Sat Jul 20 19:18:21 2019 -0300
|
|     initramfs: Remove compatibility warnings regarding CRYPTSETUP=[y|n].
|
|     The warning was added in 2:2.0.3-1 for the ‘cryptsetup’ package split
|     into ‘cryptsetup-run’ and ‘cryptsetup-initramfs’.  With the recent
|     Buster release we can now move on: cryptsetup is always copied to the
|     initramfs when the ‘cryptsetup-initramfs’ package is installed.

Given that we have the cryptsetup-initramfs package in GRMLBASE,
we no longer need to use this.

Closes: https://github.com/grml/grml/issues/82

initramfs xz-compress: use default xz compression level

Quoting from the bug report:

| How many threads are used also depends on the compression level. At -6,
| I've seen it use 3-4 threads, which speeds up initramfs compression a lot.
| With -8, it always only uses one thread (although maybe it also depends on
| the amount of data being compressed; I don't know).

The default compression preset level is -6, so there's no need to specify
it.

This also matches the behavior of initramfs-tools >=0.119:

| commit cf9691da3847a6bfadb4a5c9e0f6213bd7d10fdc
| Author: Ben Hutchings <ben@decadent.org.uk>
| Date:   Thu Oct 16 15:34:54 2014 +0200
|
|     mkinitramfs: Use default xz compression level rather than -8
|
|     xz -8 wants 370 MB VM for compression, but Debian tries to support
|     systems with less physical memory than that.
|
|     The benchmark results given in commit bedf1e3c0882 ('Use -8 for
|     compression with xz.') show only a 1% increase in size when changing
|     to -6, but VM usage will be reduced by 75%.
|
|     Closes: #697335
|     Signed-off-by: Ben Hutchings <ben@decadent.org.uk>
|
| diff --git mkinitramfs mkinitramfs
| index 07190ed..25932c1 100755
| --- mkinitramfs
| +++ mkinitramfs
| @@ -146,7 +146,7 @@ if dpkg --compare-versions "${version}" lt "2.6.38" 2>/dev/null; then
|  fi
|
|  [ "${compress}" = lzop ] && compress="lzop -9"
| -[ "${compress}" = xz ] && compress="xz -8 --check=crc32"
| +[ "${compress}" = xz ] && compress="xz --check=crc32"
|
|  if [ -d "${outfile}" ]; then
|         echo "${outfile} is a directory" >&2

Let's keep the xz wrapper though, to force its usage independent of the
initramfs-tools version being used and have it available, if we decide to
add further custom options in the future.

Thanks: Dr. András Korn
Closes: https://github.com/grml/grml-live/issues/48

scripts/GRMLBASE/50-lvm: unconditionally clear 69-lvm-metad.rules file

If /lib/udev/rules.d/69-lvm-metad.rules was removed by a prior run of the unpatched script,
the patched script will fail to create the placeholder file.

Thanks: Dr. András Korn
Closes: https://github.com/grml/grml-live/issues/47

DEBIAN_STABLE: use buster-backports instead of stretch-backports

Debian/buster is the current stable release, there's no point in
enabling stretch-backports there.

FTR: we could set it to 'stable-backports' instead, though then
apt/apt-get/... will complain about it:

| W: Conflicting distribution: http://ftp.debian.org/debian stable-backports InRelease (expected stable-backports but got buster-backports)