Provide Secure Boot support
[grml2usb.git] / grml2usb
index d09e510..5108b9f 100755 (executable)
--- a/grml2usb
+++ b/grml2usb
@@ -103,18 +103,20 @@ parser.add_option("--quiet", dest="quiet", action="store_true",
                   help="do not output anything but just errors on console")
 parser.add_option("--remove-bootoption", dest="removeoption", action="append",
                   help="regex for removing existing bootoptions")
+parser.add_option("--rw-blockdev", dest="rwblockdev", action="store_true",
+                  help="enforce read-write mode on involved block devices")
 parser.add_option("--skip-addons", dest="skipaddons", action="store_true",
                   help="do not install /boot/addons/ files")
 parser.add_option("--skip-bootflag", dest="skipbootflag", action="store_true",
                   help="do not try to check whether the destination has the bootflag set")
-parser.add_option("--skip-usb-check", dest="skipusbcheck", action="store_true",
-                  help="skip check to verify whether given device is removable")
 parser.add_option("--skip-grub-config", dest="skipgrubconfig", action="store_true",
                   help="skip generation of grub configuration files")
 parser.add_option("--skip-mbr", dest="skipmbr", action="store_true",
                   help="do not install a master boot record (MBR) on the device")
 parser.add_option("--skip-syslinux-config", dest="skipsyslinuxconfig", action="store_true",
                   help="skip generation of syslinux configuration files")
+parser.add_option("--skip-usb-check", dest="skipusbcheck", action="store_true",
+                  help="skip check to verify whether given device is removable")
 parser.add_option("--syslinux", dest="syslinux", action="callback", default=True,
                   callback=syslinux_warning,
                   help="install syslinux bootloader (deprecated as it's the default)")
@@ -134,6 +136,12 @@ if not os.path.isdir(GRML2USB_BASE):
     GRML2USB_BASE = os.path.dirname(os.path.realpath(__file__))
 
 
+class HodorException(Exception):
+    """Throw exception if the exact error is not known and not fatal.
+
+    @Exception: message"""
+
+
 class CriticalException(Exception):
     """Throw critical exception if the exact error is not known but fatal.
 
@@ -246,6 +254,17 @@ def get_function_name(obj):
     return obj.__module__ + '.' + obj.__name__
 
 
+def set_rw(device):
+    if not options.rwblockdev:
+        return
+
+    logging.debug("executing: blockdev --setrw %s", device)
+    proc = subprocess.Popen(["blockdev", "--setrw", device])
+    proc.wait()
+    if proc.returncode != 0:
+        raise Exception("error executing blockdev on %s" % device)
+
+
 def execute(f, *exec_arguments):
     """Wrapper for executing a command. Either really executes
     the command (default) or when using --dry-run commandline option
@@ -289,8 +308,7 @@ def get_defaults_file(iso_mount, flavour, name):
     """
     bootloader_dirs = ['/boot/isolinux/', '/boot/syslinux/']
     for directory in bootloader_dirs:
-        for name in name, \
-        "%s_%s" % (get_flavour_filename(flavour), name):
+        for name in name, "%s_%s" % (get_flavour_filename(flavour), name):
             if os.path.isfile(iso_mount + directory + name):
                 return (directory, name)
     return ('', '')
@@ -356,9 +374,13 @@ def check_boot_flag(device):
     try:
         import parted
         part = get_partition_for_path(device)
+        if part is None:
+            raise HodorException("parted could not find partition")
         if part.getFlag(parted.PARTITION_BOOT):
             logging.debug("bootflag is enabled on %s" % device)
             return
+    except HodorException, e:
+        logging.info("%s, falling back to old bootflag detection", e)
     except ImportError, e:
         logging.debug("could not import parted, falling back to old bootflag detection")
 
@@ -480,8 +502,6 @@ def install_grub(device):
         device_mountpoint = tempfile.mkdtemp(prefix="grml2usb")
         register_tmpfile(device_mountpoint)
         try:
-            mount(device, device_mountpoint, "")
-
             # If using --grub-mbr then make sure we install grub in MBR instead of PBR
             if options.grubmbr:
                 logging.debug("Using option --grub-mbr ...")
@@ -489,12 +509,19 @@ def install_grub(device):
             else:
                 grub_device = device
 
+            set_rw(device)
+            mount(device, device_mountpoint, "")
+
             logging.info("Installing grub as bootloader")
-            for opt in ["", "--force"]:
-                logging.debug("grub-install --recheck %s --no-floppy --root-directory=%s %s",
-                              opt, device_mountpoint, grub_device)
-                proc = subprocess.Popen([GRUB_INSTALL, "--recheck", opt, "--no-floppy",
-                                         "--root-directory=%s" % device_mountpoint, grub_device],
+            for opt in ["--", "--force"]:
+                set_rw(device)
+                set_rw(grub_device)
+                logging.debug("%s --recheck --no-floppy --target=i386-pc --root-directory=%s %s %s",
+                              GRUB_INSTALL, device_mountpoint, opt, grub_device)
+                proc = subprocess.Popen([GRUB_INSTALL, "--recheck",
+                                         "--no-floppy", "--target=i386-pc",
+                                         "--root-directory=%s" % device_mountpoint,
+                                         opt, grub_device],
                                         stdout=file(os.devnull, "r+"))
                 proc.wait()
                 if proc.returncode == 0:
@@ -502,10 +529,10 @@ def install_grub(device):
 
             if proc.returncode != 0:
                 # raise Exception("error executing grub-install")
-                logging.critical("Fatal: error executing grub-install "
-                                 "(please check the grml2usb FAQ or drop the --grub option)")
-                logging.critical("Note:  if using grub2 consider using "
-                                 "the --grub-mbr option as grub considers PBR problematic.")
+                logging.critical("Fatal: error executing grub-install " +
+                                 "(please check the grml2usb FAQ or drop the --grub option)")
+                logging.critical("Note:  if using grub2 consider using " +
+                                 "the --grub-mbr option as grub considers PBR problematic.")
                 cleanup()
                 sys.exit(1)
         except CriticalException as error:
@@ -527,6 +554,8 @@ def install_syslinux(device):
         logging.info("Would install syslinux as bootloader on %s", device)
         return 0
 
+    set_rw(device)
+
     # syslinux -d boot/isolinux /dev/sdb1
     logging.info("Installing syslinux as bootloader")
     logging.debug("syslinux -d boot/syslinux %s", device)
@@ -637,6 +666,8 @@ def install_mbr(mbrtemplate, device, partition, ismirbsdmbr=True):
     tmpf.file.write(mbrcode)
     tmpf.file.close()
 
+    set_rw(device)
+
     logging.debug("executing: dd if='%s' of='%s' bs=512 count=1 conv=notrunc", tmpf.name, device)
     proc = subprocess.Popen(["dd", "if=%s" % tmpf.name, "of=%s" % device, "bs=512", "count=1",
                              "conv=notrunc"], stderr=file(os.devnull, "r+"))
@@ -645,6 +676,12 @@ def install_mbr(mbrtemplate, device, partition, ismirbsdmbr=True):
         raise Exception("error executing dd (third run)")
     del tmpf
 
+    # make sure we sync filesystems before returning
+    proc = subprocess.Popen(["sync"])
+    proc.wait()
+
+    set_rw(device)
+
 
 def is_writeable(device):
     """Check if the device is writeable for the current user
@@ -653,7 +690,6 @@ def is_writeable(device):
 
     if not device:
         return False
-        #raise Exception("no device for checking write permissions")
 
     if not os.path.exists(device):
         return False
@@ -673,8 +709,8 @@ def mount(source, target, mount_options):
 
     for x in file('/proc/mounts').readlines():
         if x.startswith(source):
-            raise CriticalException("Error executing mount: %s already mounted - " % source
-                                    "please unmount before invoking grml2usb")
+            raise CriticalException("Error executing mount: %s already mounted - " % source +
+                                    "please unmount before invoking grml2usb")
 
     if os.path.isdir(source):
         logging.debug("Source %s is not a device, therefore not mounting.", source)
@@ -993,6 +1029,9 @@ def copy_addons(iso_mount, target):
     # ipxe.lkrn
     handle_addon_copy('ipxe.lkrn', addons, iso_mount)
 
+    # netboot.xyz
+    handle_addon_copy('netboot.xyz.lkrn', addons, iso_mount)
+
 
 def build_loopbackcfg(target):
     """Generate GRUB's loopback.cfg based on existing config files.
@@ -1080,6 +1119,7 @@ def copy_bootloader_files(iso_mount, target, grml_flavour):
     if efi_img:
         mkdir(target + '/boot/')
         exec_rsync(efi_img, target + '/boot/efi.img')
+        handle_secure_boot(target, efi_img)
 
     for ffile in ['f%d' % number for number in range(1, 11)]:
         search_and_copy(ffile, iso_mount, syslinux_target + ffile)
@@ -1102,9 +1142,9 @@ def copy_bootloader_files(iso_mount, target, grml_flavour):
         logging.warning("Warning: Grml releases older than 2011.12 support only one flavour in grub.")
 
     for expr in name, 'distri.cfg', \
-        defaults_file, 'grml.png', 'hd.cfg', 'isolinux.cfg', 'isolinux.bin', \
-        'isoprompt.cfg', 'options.cfg', \
-        'prompt.cfg', 'vesamenu.cfg', 'grml.png', '*.c32':
+      defaults_file, 'grml.png', 'hd.cfg', 'isolinux.cfg', 'isolinux.bin', \
+      'isoprompt.cfg', 'options.cfg', \
+      'prompt.cfg', 'vesamenu.cfg', 'grml.png', '*.c32':
         glob_and_copy(iso_mount + source_dir + expr, syslinux_target)
 
     for filename in glob.glob1(syslinux_target, "*.c32"):
@@ -1236,6 +1276,7 @@ def handle_grub_config(grml_flavour, device, target):
     logging.debug("Updating grub configuration")
 
     grub_target = target + '/boot/grub/'
+    secureboot_target = target + '/EFI/ubuntu/'
 
     bootid_re = re.compile("bootid=[\w_-]+")
     live_media_path_re = re.compile("live-media-path=[\w_/-]+")
@@ -1250,7 +1291,7 @@ def handle_grub_config(grml_flavour, device, target):
             remove_regexes.append(re.compile(regex))
 
     shortname = get_shortname(grml_flavour)
-    for filename in glob.glob(grub_target + '*.cfg'):
+    for filename in glob.glob(grub_target + '*.cfg') + glob.glob(secureboot_target + '*.cfg'):
         for line in fileinput.input(filename, inplace=1):
             line = line.rstrip("\r\n")
             if option_re.search(line):
@@ -1287,7 +1328,7 @@ def initial_syslinux_config(target):
 def add_entry_if_not_present(filename, entry):
     """Write entry into filename if entry is not already in the file
 
-    @filanme: name of the file
+    @filename: name of the file
     @entry: data to write to the file
     """
     data = open(filename, "a+")
@@ -1470,6 +1511,51 @@ def handle_syslinux_config(grml_flavour, target):
     add_syslinux_entry("%s/additional.cfg" % syslinux_target, flavour_filename)
 
 
+def handle_secure_boot(target, efi_img):
+    """Provide secure boot support by extracting files from /boot/efi.img
+
+    @target: path where grml's main files should be copied to
+    @efi_img: path to the efi.img file that includes the files for secure boot
+    """
+
+    mkdir(target + '/efi/boot/')
+    efi_mountpoint = tempfile.mkdtemp(prefix="grml2usb", dir=os.path.abspath(options.tmpdir))
+    logging.debug("efi_mountpoint = %s" % efi_mountpoint)
+    register_tmpfile(efi_mountpoint)
+
+    try:
+        logging.debug("mount(%s, %s, ['-o', 'ro', '-t', 'vfat']" % (efi_img, efi_mountpoint))
+        mount(efi_img, efi_mountpoint, ['-o', 'ro', '-t', 'vfat'])
+    except CriticalException as error:
+        logging.critical("Fatal: %s", error)
+        sys.exit(1)
+
+    ubuntu_cfg = search_file('grub.cfg', efi_mountpoint + '/EFI/ubuntu')
+    logging.debug("ubuntu_cfg = %s" % ubuntu_cfg)
+    if not ubuntu_cfg:
+        logging.info("No /EFI/ubuntu/grub.cfg found inside EFI image, looks like Secure Boot support is missing.")
+    else:
+        mkdir(target + '/efi/ubuntu')
+        logging.debug("exec_rsync(%s, %s + '/efi/ubuntu/grub.cfg')" % (ubuntu_cfg, target))
+        exec_rsync(ubuntu_cfg, target + '/efi/ubuntu/grub.cfg')
+
+        logging.debug("exec_rsync(%s + '/EFI/BOOT/grubx64.efi', %s + '/efi/boot/grubx64.efi')'" % (efi_mountpoint, target))
+        exec_rsync(efi_mountpoint + '/EFI/BOOT/grubx64.efi', target + '/efi/boot/grubx64.efi')
+
+        # NOTE - we're overwriting /efi/boot/bootx64.efi from copy_bootloader_files here
+        logging.debug("exec_rsync(%s + '/EFI/BOOT/bootx64.efi', %s + '/efi/boot/bootx64.efi')'" % (efi_mountpoint, target))
+        exec_rsync(efi_mountpoint + '/EFI/BOOT/bootx64.efi', target + '/efi/boot/bootx64.efi')
+
+    try:
+        unmount(efi_mountpoint, "")
+        logging.debug('Unmounted %s' % efi_mountpoint)
+        os.rmdir(efi_mountpoint)
+        logging.debug('Removed directory %s' % efi_mountpoint)
+    except StandardError:
+        logging.critical('RuntimeError while umount %s' % efi_mountpoint)
+        sys.exit(1)
+
+
 def handle_bootloader_config(grml_flavour, device, target):
     """Main handler for generating bootloader's configuration
 
@@ -1556,6 +1642,8 @@ def install_grml(mountpoint, device):
             check_for_fat(device)
             if not options.skipbootflag:
                 check_boot_flag(device)
+
+            set_rw(device)
             mount(device, device_mountpoint, ['-o', 'utf8,iocharset=iso8859-1'])
         except CriticalException as error:
             mount(device, device_mountpoint, "")
@@ -1668,6 +1756,7 @@ def handle_vfat(device):
             sys.exit(1)
 
     if options.skipusbcheck:
+        logging.info("Not checking for removable USB device as requested via option --skip-usb-check.")
         return
 
     if not os.path.isdir(device) and not check_for_usbdevice(device) and not options.force:
@@ -1731,6 +1820,9 @@ def check_options(opts):
     if opts.grubmbr and not opts.grub:
         raise CriticalException("--grub-mbr requires --grub option.")
 
+    if opts.copyonly and opts.grub:
+        raise CriticalException("Cannot use --copy-only and --grub at the same time.")
+
 
 def check_programs():
     """check if all needed programs are installed"""
@@ -1738,14 +1830,14 @@ def check_programs():
         global GRUB_INSTALL
         GRUB_INSTALL = which("grub-install") or which("grub2-install")
         if not GRUB_INSTALL:
-            logging.critical("Fatal: grub-install not available (please install the "
-                             "grub package or drop the --grub option)")
+            logging.critical("Fatal: grub-install not available (please install the " +
+                             "grub package or drop the --grub option)")
             sys.exit(1)
 
     if options.syslinux:
         if not which("syslinux"):
-            logging.critical("Fatal: syslinux not available (please install the "
-                             "syslinux package or use the --grub option)")
+            logging.critical("Fatal: syslinux not available (please install the " +
+                             "syslinux package or use the --grub option)")
             sys.exit(1)
 
     if not which("rsync"):
@@ -1799,8 +1891,7 @@ def main():
         if not os.path.isdir(device):
             if device[-1:].isdigit():
                 if int(device[-1:]) > 4 or device[-2:].isdigit():
-                    logging.critical("Fatal: installation on partition number >4 not supported. (BIOS won't support it.)")
-                    sys.exit(1)
+                    logging.warn("Warning: installing on partition number >4, booting *might* fail depending on your system.")
 
         # provide upgrade path
         handle_compat_warning(device)
@@ -1842,5 +1933,5 @@ if __name__ == "__main__":
         logging.info("Received KeyboardInterrupt")
         cleanup()
 
-## END OF FILE #################################################################
+# END OF FILE ##################################################################
 # vim:foldmethod=indent expandtab ai ft=python tw=120 fileencoding=utf-8