Default to C.UTF-8 locale and deprecate /etc/debootstrap/locale.gen, DEFAULT_LOCALES, LOCALES + DEFAULT_LANGUAGE (WIP)

Closes: #125

travis: ignore SC2001 which doesn't work for $CHROOT_VARIABLES handling

SC2181 = See if you can use ${variable//search/replace} instead

This doesn't work for the $CHROOT_VARIABLES which includes
variables with strings like "/", so we can't rely on the
${variable//search/replace} approach. Quoting from
https://github.com/koalaman/shellcheck/wiki/SC2001:

| Utilizing some of the more complex capabilities of sed is
| required occasionally and it is safe to ignore SC2001.

packer: update to grml64-full 2018.12

packer: make buster the new default Debian release

Use new security.debian.org repository layout for bullseye and newer

Quoting from https://lists.debian.org/debian-devel-announce/2019/07/msg00004.html:

| over the last years we had people getting confused over <suite>-updates
| (recommended updates) and <suite>/updates (security updates).  Starting
| with Debian 11 "bullseye" we have therefore renamed the suite including
| the security updates to <suite>-security.
|
| An entry in sources.list should look like
|
|   deb http://security.debian.org/debian-security bullseye-security main
|
| For previous releases the name will not change.

packer: support Debian 10.0 in tests

Debian/buster is version "10.0".

packer: Update VBoxGuestAdditions to v5.2.24

Release new version 0.89

Ensure /etc/network exists before setting up /etc/network/interfaces

When grml-debootstrap is invoked with `--debopt --variant=minbase`, our
handling of /etc/network/interfaces fails, as the directory
/etc/network/ doesn't necessarily exist yet in the essential/minbase
variants (unless you explicitly install ifupdown/netbase).

Closes: #930468

Fix detection of predictable network interface names

E.g. virtio drivers might have the properties ID_NET_NAME_PATH=enp0s18
and ID_NET_NAME_SLOT=ens18. If we check only for ID_NET_NAME_PATH, then
we end up with a network configuration for enp0s18, while the actual
network interface name will be ens18.

So instead look at all present network devices, iterate over them
(ignoring the virtual interfaces like bridges + vboxnet) and
check for present ID_NET_NAME_* settings, using the following precedence
(as defined in link_config_apply() of systemd/src/udev/net/link-config.c):

* ID_NET_NAME_FROM_DATABASE
* ID_NET_NAME_ONBOARD
* ID_NET_NAME_SLOT
* ID_NET_NAME_PATH
* ID_NET_NAME_MAC

Closes: #929810

Release new version 0.88

docs: fix typo

sshcopyid option: exit if `ssh-add -L` fails to execute

If a user requested the --sshcopyid option then it's supposed
to be run successfully, otherwise it might leave an inaccessible
system, so exit with error if execution of `ssh-add -L` fails.

While at it:

* simplify code (no need for $RC)
* don't fail if directory /root/.ssh exists already
* append keys to possibly existing /root/.ssh/authorized_keys
  file, instead of overwriting it

Merge remote-tracking branch 'origin/pr/129'

Merge remote-tracking branch 'origin/pr/127'

Add option --sshcopyid to authorise root login

Use locally available public keys to authorise root login on the target
system.

Similar to ssh-copy-id(1) (without the -i option) it checks if `ssh-add
-L` provides any output, and if so those keys are appended to
`/root/.ssh/authorized_keys`.

Closes: grml/grml-debootstrap#128

Add DHCP setting for Predictable Network Interface Names

Predictable Network Interface Names were missing the default
/etc/network/interfaces file when using the --defaultinterfaces option.

Added a Networking-Section in the man page to clarify how the network is
configured in the target system and fixed the documentation for the
options --vmfile and --vm. Both options automatically enable the
--defaultinterface option and not the --nointerfaces option.

Closes: grml/grml-debootstrap#126

Update bug report instructions

Closes: https://github.com/grml/grml-debootstrap/pull/122
Thanks: Patrick Schleizer

Release new version 0.87

docs: add further and improve existing usage examples

There's no reason to say "use /dev/sda1 as system partition"
all the time, when we already mention that we "Install Debian on /dev/sda1".

Provide usage examples for mmdebstrap and LVM devices.

The --iso option also accepts mountpoint without any file: syntax,
which is more human-friendly.

debian/rules: support nocheck in DEB_BUILD_OPTIONS

Spotted by lintian (see tag override_dh_auto_test-does-not-check-DEB_BUILD_OPTIONS)

zsh-completion: improve wording and list of available options to better match reality

The --mntpoint option is quite unimportant, whereas --grub, --password
and --bootappend all require an argument. Instead the --hostname is
quite important. Adjust accordingly.

Add related debian/post* scripts for proper dpkg-maintscript-helper
rm_conffile support.

Install zsh-completion in /usr/share/zsh/vendor-completions

Since Zsh version v4.3.12-1 in Debian completions should
go to /usr/share/zsh/vendor-completions and are supported
there out-of-the-box.

grml-debootstrap man page: point users towards github instead of private mail

Replace http with https where possible

Drop no longer relevant releasetable-man.txt

Support mmdebstrap via DEBOOTSTRAP=mmdebstrap

The only known incompatibility so far is the --iso ... option.
Therefore abort grml-debootstrap if DEBOOTSTRAP=mmdebstrap
and --iso ... option are used at the same time.

Closes: https://github.com/grml/grml-debootstrap/issues/120

Makefile: use https version of website as man.base.url.for.relative.links

Merge remote-tracking branch 'origin/pr/118'

Release new version 0.86

Bind-mount /run/udev in target system as workaround for lvm2 issue #918590

Installation takes ages with lvm 2.03.02-1 if /run/udev isn't
available in the target system, causing messages like:

| WARNING: Device /dev/[...] not initialized in udev database even after waiting 10000000 microseconds.

Especially when grub package gets installed (which invokes
vgs and related tools) this takes forever and looks like a
failing installation.

This /run/udev bind-mount is a workaround required for Debian/buster's
lvm2, at least until #918590 is resolved.

Add Debian/buster to release-table in man page

Release new version 0.85

Bump Standards-Version to 4.3.0

No further changes needed

Add preliminary support for Debian/bullseye (AKA Debian v11.0)

The "bullseye" release doesn't exist on the Debian repositories
as such yet, though it's supposed to appear at least once buster
(AKA Debian v10.0) is stable.

Support and default to Debian/buster release, update docs accordingly

On 2019-02-12 there's the soft-freeze starting for the Buster release.
Accordingly default to buster as new default within grml-debootstrap.

Closes: grml/grml-debootstrap#117

Rework backports.debian.org usage (`--backportrepos` option)

In September 2018 the backports service was migrated from backports.org
to an official service within the Debian project and repositories (see
https://www.debian.org/News/2010/20100905).

This means http://backports.debian.org/debian-backports no longer exists
as such. Accordingly update the URL to point to the Debian repositories
(using ${RELEASE}-backports).

Release new version 0.84

packer: Update VirtualBox Guest Additions to 5.2.22

VirtualBox 5.2.22 is available in current stretch-backports, testing
(buster) and unstable. The URL for VBoxGuestAdditions_5.2.1-118918.iso
no longer works (results in 404).

Merge remote-tracking branch 'origin/pr/116'

Do not create target directory in /dev

grml-debootstrap used to happily create a target directory in /dev if
for instance one forgot to partition sda. To avoid such a mistake it
feels better to abort the installation.

Closes: grml/grml-debootstrap#99

Release new version 0.83

Merge remote-tracking branch 'remotes/origin/pr/113'

Report "Device-mapper support missing in kernel." as error message

Fix typo in comment, while at it

Merge remote-tracking branch 'origin/pr/111'

Merge remote-tracking branch 'origin/pr/112'

Makefile: drop functions directory, no longer being relevant

With the integration of cmdlinesopts.clp into the main script
this directory is no longer relevant.

Improve cleanup of loop devices

kpartx (sometimes) does not cleanup the loop devices when deleting the
partition devmappings. This is a known bug, see Debian Bug #891077.

This is change is a possible workaround for that issue.

Now aborting grml-debootstrap is possible without leaving unneded loop
devices behind.

code style; einfo GRUB_INSTALL; document GRUB_INSTALL

support skipping installation of grub using GRUB_INSTALL='no'

split finalize_vm into grub_install and umount_target

Ensure /etc/timezone also includes the TIMEZONE setting

Quoting from the bug report:

| The timezone is currently setup in chroot-script:timezone(), but
| that function only sets up /etc/localtime but not /etc/timezone.
| The problem is that you end up with one set to Europe/Vienna and
| the other set to Etc/UTC.
|
| This can greatly confuse the system, due to some libraries/tools
| parsing the former, and other the latter.
|
| So that function should probably also update /etc/timezone, with
| the TIMEZONE value.

So write the $TIMEZONE setting to /etc/timezone.

Closes: #904607
Thanks: Guillem Jover <gjover@sipwise.com>

travis: run tests from inside VM + support test execution outside of Travis CI

This is a big improvement, because we can now communicate with
the running VM, including executing processes inside the VM, like
running goss directly from inside the VM.

While at it also adjust travis/execute.sh to be able to run it
*locally* as well. We now don't have to necessarily push to Travis
CI, which also serves to be useful when developing new features.

Thanks: Christian Hofstaedtler <zeha@debian.org> for helping me with the serial console handling

Simplify module loading

This works fine on stretch.

Initial VM test builds on TravisCI

We're starting a Docker container with Debian/stretch, installing
the Debian package build result (generated via travis.debian.net)
of grml-debootstrap inside it. Then execute grml-debootstrap,
installing to a VM file. Finally boot the generated VM file via
qemu.

We use stdio of qemu's serial console to check for the boot prompt
of the installed Debian system, using goss for running the actual
checks.

Improve checks to make sure loop and dm-mod module are present

This fix was triggered because running --vmfile to create a virtual
machine image file caused the following error:

| device-mapper: reload ioctl on loop1p1p1 failed: Device or resource busy
| create/reload failed on loop1p1p1

This was caused because kpartx was run twice. The first run was used to test if
the Device-mapper was ready and the second run was actually add the partition
mappings. This used to fail under some circumstances.

Use travis.debian.net for travis builds

While at it drop irrelevant stuff from .travis.yml.

Thanks Chris Lamb <lamby@debian.org> for https://travis.debian.net/ \o/

Switch default mirror from httpredir.debian.org to deb.debian.org

httpredir.debian.org forwards to deb.debian.org
nowadays, provided by Fastly and Amazon CloudFront.

Drop cmdlineopts.sh references from build system

Also drop tests/test_cmdlineopts.sh, it reports
success even though it can't even source the file…

Further fixes for shellcheck v0.5.0

Fix issues not yet found with shellcheck v0.4.4

Add missing vim folding markers

Integrate cmdlineopts.clp into grml-debootstrap

This makes our life easier with shellcheck

Fix shellcode issues

Would be nice to avoid the shellcheck ignores overall, though I
don't want to break backwards compatibility with existing
configurations, so be as conservative as possible by ignoring
known incompatibilities (see esp. disable=SC2086).

Initial travis integration, running shellcheck

Suppress message if /boot/efi isn't considered a mountpoint

Avoid the misleading error message if efi support isn't present,
by redirecting stderr to /dev/null as well.

Release new version 0.82

Bump Standards-Version to 4.1.4

Sort packages files

Merge remote-tracking branch 'remotes/origin/pr/97'

Release new version 0.81

Bump Standards-Version to 4.1.3

Add e2fsprogs to Depends

Debian wants to make removing e2fsprogs from installations
possible.  Once e2fsprogs drops the "Essential: yes" flag
e2fsprogs's mkfs.ext4 binary won't necessarily be available any
longer, while we default to usage of mkfs.ext4 in
grml-debootstrap.

Thanks: Helmut Grohne <helmut@subdivi.de> for the bugreport
Closes: #887224

Release new version 0.80

Bump Standards-Version to 4.1.2

Identify UUID of target system even if it's SWRAID or a mountpoint

The `blkid -o udev` doesn't work for mountpoints.
Also we can't rely on setting the TARGET_UUID within
mkfs, as this might not even get executed.

Closes #100
Thanks: hex2a for reporting and testing

packer: use latest VirtualBox Guest Additions ISO

Using the default local Virtualbox Guest Additions ISO will result
in different builds depending on the system being used.
My Debian jessie system with Virtualbox 5.1.8-dfsg-6~bpo8+2
from jessie-backports/contrib is actually too old to build
stretch and newer as the kernel module can't be compiled.
So instead use a specific VBoxGuestAdditions ISO, currently
being the one recommended by upstream on https://www.virtualbox.org/

While at it:

* increase VM memory size from 512MB to 1GB during build, otherwise
  we can't even use a temporary apt cache directory and will fail with OOM

* check for build errors in virtualbox logs

* /var/log/VBoxGuestAdditions.log doesn't necessarily exist,
  so instead display the last 10 lines of the according log files
  that actually exist

packer: use current Grml release 2017.05 for building

packer: add support for building Debian/buster

Fix a bunch of typos

s/the the/the/
s/compability/compatibility/
s/formated/formatted/
s/addional/additional/

Release new version 0.79

Bump Standards-Version to 4.0.1

Depend on fdisk | util-linux (<< 2.29.2-3~)

As recently announced on debian-devel-announce
(https://lists.debian.org/debian-devel-announce/2017/08/msg00005.html)
packages who need any of sfdisk, cfdisk or fdisk will need to add
a dependency on the new fdisk package.

Closes: #872219
Thanks: Andreas Henriksson <andreas@fatal.se>

Add documentation for --defaultinterfaces command line option

Closes: grml/grml-debootstrap#103

Update /dev and /dev/pts mount from --bind to proper fs type

one package per line

Release new version 0.78

Debian stretch is the new default release

Update documentation accordingly, also related to squeeze EOL

Don't generate rootfs entry in /etc/fstab if we don't know its UUID [Closes: issue2182]

With a command line like:

  grml-debootstrap --grub /dev/sda -t /media/sda1 ...

the resulting fstab gets:

  /media/sda1 /  auto    defaults,errors=remount-ro 0   1

which is for sure unwanted. So don't such an entry in the fstab
if we lack details about the underlying rootfs and instead warn
the user that this *might* be a problem.

Drop sysfsutils from default software package list [Closes: issue2240]

sysfsutils was reported to take 2.5 seconds during system
startup.  Also the package is maintained by the Debian QA Group
and isn't useful and relevant enough to justify being part of the
default software selection.

Thanks to PaulePanter for the hint on IRC.

diff --git a/packages b/packages
index c4b7806..72433b6 100644
--- a/packages
+++ b/packages
@@ -1,7 +1,7 @@
 locales console-data console-common
 initramfs-tools mdadm lvm2
 grub-pc os-prober
-bzip2 file less lsof most pciutils resolvconf screen ssh strace sysfsutils usbutils vim w3m zsh
+bzip2 file less lsof most pciutils resolvconf screen ssh strace usbutils vim w3m zsh
 rsync
 postfix
 lsb-release

don't fiddle around with /etc/hosts

netbase generates a nice /etc/hosts for us since squeeze.
for the weird case it did not (ohai lenny!), deploy the version
netbase in stretch has.

Fixes: #94

Release new version 0.77

Honor GRUB_DISABLE_LINUX_UUID=true for all Debian releases

There's no point in having a release specific check when
checking configuration setting for GRUB_DISABLE_LINUX_UUID.
So if GRUB_DISABLE_LINUX_UUID is set to "true" then always
honor it.

Thanks: hex2a for the initial patch (see PR #96)
Closes grml/grml-debootstrap#87

Forbid xsltproc to use network for building

Bump debhelper compat level to 10

Update my email address

Export TARGET_HOSTNAME before running post-scripts

Export $HOSTNAME in TARGET_HOSTNAME so one is able to do customize things based upon the hostname of the installed machine (eg. to populate /e/n/interfaces by doing a external database lookup).

Release new version 0.76

Bump Standards-Version to 3.9.8

Switch Homepage + Vcs-Browser fields to https

Ignore packer/packer_cache during dpkg-source generation

Otherwise if packer/packer_cache contains the cached ISO files
the generated grml-debootstrap_*.tar.xz contains all the cache
files which is clearly unwanted.

Thanks: Guillem Jover for the hint

Disable ^metadata_csum' feature when creating ext fs for releases <= jessie [Closes: issue2178]

Otherwise fsck complains about:

| /dev/mapper/.... has unsupported feature(s): metadata_csum
| e2fsck: Get a newer version of e2fsck!
| fsck failed with error code 8.