Skip check for bootflag if a GPT header is present
[grml2usb.git] / grml2usb
index 80c5160..8e530d9 100755 (executable)
--- a/grml2usb
+++ b/grml2usb
@@ -40,7 +40,11 @@ GRML_FLAVOURS = set()  # which flavours are being installed?
 GRML_DEFAULT = None
 UUID = None
 SYSLINUX_LIBS = "/usr/lib/syslinux/"
+GPT_HEADER = "\x55\xaa\x45\x46\x49\x20\x50\x41\x52\x54" # original GPT header
 
+RE_PARTITION = re.compile(r'([a-z/]*?)(\d+)$')
+RE_P_PARTITION = re.compile(r'(.*?\d+)p(\d+)$')
+RE_LOOP_DEVICE = re.compile(r'/dev/loop\d+$')
 
 def syslinux_warning(option, opt, value, opt_parser):
     """A helper function for printing a warning about deprecated option
@@ -60,10 +64,10 @@ def grub_option(option, opt, value, opt_parser):
     setattr(opt_parser.values, 'syslinux', False)
 
 # cmdline parsing
-USAGE = "Usage: %prog [options] <[ISO[s] | /live/image]> </dev/sdX#>\n\
+USAGE = "Usage: %prog [options] <[ISO[s] | /lib/live/mount/medium]> </dev/sdX#>\n\
 \n\
-%prog installs grml ISO[s] to an USB device to be able to boot from it.\n\
-Make sure you have at least one grml ISO or a running grml system (/live/image),\n\
+%prog installs Grml ISO[s] to an USB device to be able to boot from it.\n\
+Make sure you have at least one Grml ISO or a running Grml system (/lib/live/mount/medium),\n\
 grub or syslinux and root access.\n\
 \n\
 Run %prog --help for usage hints, further information via: man grml2usb"
@@ -108,6 +112,8 @@ parser.add_option("--syslinux", dest="syslinux", action="callback", default=True
                   help="install syslinux bootloader (deprecated as it's the default)")
 parser.add_option("--syslinux-mbr", dest="syslinuxmbr", action="store_true",
                   help="install syslinux master boot record (MBR) instead of default")
+parser.add_option("--tmpdir", dest="tmpdir", default="/tmp",
+                  help="directory to be used for temporary files")
 parser.add_option("--verbose", dest="verbose", action="store_true",
                   help="enable verbose mode")
 parser.add_option("-v", "--version", dest="version", action="store_true",
@@ -121,7 +127,13 @@ if not os.path.isdir(GRML2USB_BASE):
 
 
 class CriticalException(Exception):
-    """Throw critical exception if the exact error is not known but fatal."
+    """Throw critical exception if the exact error is not known but fatal.
+
+    @Exception: message"""
+    pass
+
+class VerifyException(Exception):
+    """Throw critical exception if there is an fatal error when verifying something.
 
     @Exception: message"""
     pass
@@ -159,7 +171,7 @@ def cleanup():
             os.unlink(tmpfile)
     # ignore: RuntimeError: Set changed size during iteration
     except RuntimeError:
-        logging.debug('caught expection RuntimeError, ignoring')
+        logging.debug('caught exception RuntimeError, ignoring')
 
 
 def register_tmpfile(path):
@@ -260,14 +272,15 @@ def get_defaults_file(iso_mount, flavour, name):
     return ('', '')
 
 
-def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin'):
+def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin', lst_return=False):
     """Given a search path, find file
 
     @filename: name of file to search for
-    @search_path: path where searching for the specified filename"""
-    file_found = 0
+    @search_path: path where searching for the specified filename
+    @lst_return: return list of matching files instead one file"""
     paths = search_path.split(os.pathsep)
     current_dir = ''  # make pylint happy :)
+    retval = []
 
     def match_file(cwd):
         """Helper function ffor testing if specified file exists in cwd
@@ -279,15 +292,19 @@ def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin'):
     for path in paths:
         current_dir = path
         if match_file(current_dir):
-            file_found = 1
-            break
+            retval.append(os.path.abspath(os.path.join(current_dir, filename)))
+            if not lst_return:
+                break
         # pylint: disable-msg=W0612
         for current_dir, directories, files in os.walk(path):
             if match_file(current_dir):
-                file_found = 1
-                break
-    if file_found:
-        return os.path.abspath(os.path.join(current_dir, filename))
+                retval.append(os.path.abspath(os.path.join(current_dir, filename)))
+                if not lst_return:
+                    break
+    if lst_return:
+        return retval
+    elif retval:
+        return retval[0]
     else:
         return None
 
@@ -295,7 +312,25 @@ def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin'):
 def check_uid_root():
     """Check for root permissions"""
     if not os.geteuid() == 0:
-        sys.exit("Error: please run this script with uid 0 (root).")
+        raise CriticalException("please run this script with uid 0 (root).")
+
+
+def check_boot_flag(device):
+    boot_dev, x = get_device_from_partition(device)
+
+    with open(boot_dev, 'r') as image:
+        data = image.read(520)
+        bootcode = data[440:]
+        gpt_data = bootcode[70:80]
+
+        if gpt_data == GPT_HEADER:
+            logging.info("GPT detected, skipping bootflag check")
+        elif bootcode[6] == '\x80':
+            logging.debug("bootflag is enabled")
+        else:
+            logging.debug("bootflag is NOT enabled")
+            raise VerifyException("Device %s does not have the bootflag set. "
+                "Please enable it to be able to boot." % boot_dev)
 
 
 def mkfs_fat16(device):
@@ -407,10 +442,7 @@ def install_grub(device):
                 # If using --grub-mbr then make sure we install grub in MBR instead of PBR
                 if options.grubmbr:
                     logging.debug("Using option --grub-mbr ...")
-                    if device[-1:].isdigit():
-                        grub_device = re.match(r'(.*?)\d*$', device).group(1)
-                    else:
-                        grub_device = device
+                    grub_device, x = get_device_from_partition(device)
                 else:
                     grub_device = device
 
@@ -511,11 +543,12 @@ def install_mbr(mbrtemplate, device, partition, ismirbsdmbr=True):
     logging.info("Installing default MBR")
 
     if not os.path.isfile(mbrtemplate):
-        logging.critical("Error: %s can not be read.", mbrtemplate)
-        raise CriticalException("Error installing MBR (either try --syslinux-mbr or install missing file \"%s\"?)" % mbrtemplate)
+        logging.error('Error installing MBR (either try --syslinux-mbr or '
+            'install missing file "%s"?)', mbrtemplate)
+        raise CriticalException("%s can not be read." % mbrtemplate)
 
     if partition is not None and ((partition < 0) or (partition > 3)):
-        logging.warn("Cannot activate partition %d" % partition)
+        logging.warn("Cannot activate partition %d", partition)
         partition = None
 
     if ismirbsdmbr:
@@ -767,9 +800,9 @@ def copy_system_files(grml_flavour, iso_mount, target):
 
     squashfs = search_file(grml_flavour + '.squashfs', iso_mount)
     if squashfs is None:
-        logging.critical("Fatal: squashfs file not found"
-        ", please check that your iso is not corrupt")
-        raise CriticalException("error locating squashfs file")
+        logging.error("error locating squashfs file")
+        raise CriticalException("squashfs file not found"
+            ", please check that your iso is not corrupt")
     else:
         squashfs_target = target + '/live/' + grml_flavour + '/'
         execute(mkdir, squashfs_target)
@@ -780,8 +813,8 @@ def copy_system_files(grml_flavour, iso_mount, target):
         if filesystem_module:
             break
     if filesystem_module is None:
-        logging.critical("Fatal: filesystem.module not found")
-        raise CriticalException("error locating filesystem.module file")
+        logging.error("error locating filesystem.module file")
+        raise CriticalException("filesystem.module not found")
     else:
         exec_rsync(filesystem_module, squashfs_target + 'filesystem.module')
 
@@ -795,8 +828,8 @@ def copy_system_files(grml_flavour, iso_mount, target):
             kernel = search_file('linux26', iso_mount)
 
         if kernel is None:
-            logging.critical("Fatal: kernel not found")
-            raise CriticalException("error locating kernel file")
+            logging.error("error locating kernel file")
+            raise CriticalException("Kernel not found")
 
         source = os.path.dirname(kernel) + '/'
         dest = target + '/' + os.path.dirname(kernel).replace(iso_mount, '') + '/'
@@ -897,22 +930,15 @@ def copy_addons(iso_mount, target):
     # grub all-in-one image
     handle_addon_copy('allinone.img', addons, iso_mount)
 
-    # bsd imag
+    # bsd image
     handle_addon_copy('bsd4grml', addons, iso_mount)
 
+    # DOS image
     handle_addon_copy('balder10.imz', addons, iso_mount)
 
-    # install hdt and pci.ids only when using syslinux (grub doesn't support it)
-    if options.syslinux:
-        # hdt (hardware detection tool) image
-        hdtimg = search_file('hdt.c32', iso_mount)
-        if hdtimg:
-            exec_rsync(hdtimg, addons + '/hdt.c32')
-
-        # pci.ids file
-        picids = search_file('pci.ids', iso_mount)
-        if picids:
-            exec_rsync(picids, addons + '/pci.ids')
+    # syslinux + pci.ids for hdt
+    for expr in '*.c32', 'pci.ids':
+        glob_and_copy(iso_mount + '/boot/addons/' + expr, addons)
 
     # memdisk image
     handle_addon_copy('memdisk', addons, iso_mount)
@@ -1026,10 +1052,10 @@ def copy_bootloader_files(iso_mount, target, grml_flavour):
     (source_dir, defaults_file) = get_defaults_file(iso_mount, grml_flavour, "grml.cfg")
 
     if not source_dir:
-        logging.critical("Fatal: file default.cfg could not be found.")
-        logging.critical("Note:  this grml2usb version requires an ISO generated by grml-live >=0.9.24 ...")
-        logging.critical("       ... either use grml releases >=2009.10 or switch to an older grml2usb version.")
-        raise
+        raise CriticalException(
+            "file default.cfg could not be found.\n"
+            "Note:  this grml2usb version requires an ISO generated by grml-live >=0.9.24 ...\n"
+            "       ... either use grml releases >=2009.10 or switch to an older grml2usb version.")
 
     if not os.path.exists(iso_mount + '/boot/grub/footer.cfg'):
         logging.warning("Warning: Grml releases older than 2011.12 support only one flavour in grub.")
@@ -1093,6 +1119,19 @@ def install_iso_files(grml_flavour, iso_mount, device, target):
     proc.wait()
 
 
+def get_device_from_partition(partition):
+    device = partition
+    partition_number = None
+    if partition[-1].isdigit() and not RE_LOOP_DEVICE.match(partition):
+        m = RE_P_PARTITION.match(partition)
+        if not m:
+            m = RE_PARTITION.match(partition)
+        if m:
+            device = m.group(1)
+            partition_number = int(m.group(2)) - 1
+    return (device, partition_number)
+
+
 def get_flavour(flavour_str):
     """Returns the flavour of a grml version string
     """
@@ -1105,26 +1144,35 @@ def identify_grml_flavour(mountpath):
     @mountpath: path where the grml ISO is mounted to
     @return: name of grml-flavour"""
 
-    version_file = search_file('grml-version', mountpath)
+    version_files = search_file('grml-version', mountpath, lst_return=True)
 
-    if version_file == "":
-        logging.critical("Error: could not find grml-version file.")
-        raise
+    if not version_files:
+        if mountpath.startswith("/lib/live/mount/medium"):
+            logging.critical("Error: could not find grml-version file.")
+            logging.critical("Looks like your system is running from RAM but required files are not available.")
+            logging.critical("Please either boot without toram=... or use boot option toram instead of toram=...")
+            cleanup()
+            sys.exit(1)
+        else:
+            logging.critical("Error: could not find grml-version file.")
+            cleanup()
+            sys.exit(1)
 
     flavours = []
-    tmpfile = None
-    try:
-        tmpfile = open(version_file, 'r')
-        for line in tmpfile.readlines():
-            flavours.append(get_flavour(line))
-    except TypeError, e:
-        raise
-    except Exception, e:
-        logging.critical("Unexpected error: %s", e)
-        raise
-    finally:
-        if tmpfile:
-            tmpfile.close()
+    logging.debug("version_files = %s", version_files)
+    for version_file in version_files:
+        tmpfile = None
+        try:
+            tmpfile = open(version_file, 'r')
+            for line in tmpfile.readlines():
+                flavours.append(get_flavour(line))
+        except TypeError, e:
+            raise
+        except Exception, e:
+            raise
+        finally:
+            if tmpfile:
+                tmpfile.close()
 
     return flavours
 
@@ -1429,7 +1477,7 @@ def install(image, device):
         logging.info("Using %s as install base", image)
     else:
         logging.info("Using ISO %s", image)
-        iso_mountpoint = tempfile.mkdtemp(prefix="grml2usb")
+        iso_mountpoint = tempfile.mkdtemp(prefix="grml2usb", dir=os.path.abspath(options.tmpdir))
         register_tmpfile(iso_mountpoint)
         remove_image_mountpoint = True
         try:
@@ -1445,19 +1493,19 @@ def install(image, device):
             try:
                 remove_mountpoint(iso_mountpoint)
             except CriticalException, error:
-                logging.critical("Fatal: %s", error)
                 cleanup()
+                raise
 
 
 def install_grml(mountpoint, device):
     """Main logic for copying files of the currently running grml system.
 
-    @mountpoin: directory where currently running live system resides (usually /live/image)
+    @mountpoint: directory where currently running live system resides (usually /lib/live/mount/medium)
     @device: partition where the specified ISO should be installed to"""
 
     device_mountpoint = device
     if os.path.isdir(device):
-        logging.info("Specified device is not a directory, therefore not mounting.")
+        logging.info("Specified device is a directory, therefore not mounting.")
         remove_device_mountpoint = False
     else:
         device_mountpoint = tempfile.mkdtemp(prefix="grml2usb")
@@ -1465,13 +1513,12 @@ def install_grml(mountpoint, device):
         remove_device_mountpoint = True
         try:
             check_for_fat(device)
+            check_boot_flag(device)
             mount(device, device_mountpoint, ['-o', 'utf8,iocharset=iso8859-1'])
+        except VerifyException, error:
+            raise
         except CriticalException, error:
-            try:
-                mount(device, device_mountpoint, "")
-            except CriticalException, error:
-                logging.critical("Fatal: %s", error)
-                raise
+            mount(device, device_mountpoint, "")
     try:
         grml_flavours = identify_grml_flavour(mountpoint)
         for flavour in set(grml_flavours):
@@ -1486,7 +1533,7 @@ def install_grml(mountpoint, device):
 
 
 def remove_mountpoint(mountpoint):
-    """remove a registred mountpoint
+    """remove a registered mountpoint
     """
 
     try:
@@ -1495,8 +1542,8 @@ def remove_mountpoint(mountpoint):
             os.rmdir(mountpoint)
             unregister_tmpfile(mountpoint)
     except CriticalException, error:
-        logging.critical("Fatal: %s", error)
         cleanup()
+        raise
 
 
 def handle_mbr(device):
@@ -1508,12 +1555,9 @@ def handle_mbr(device):
         logging.info("Would install MBR")
         return 0
 
-    if device[-1:].isdigit():
-        mbr_device = re.match(r'(.*?)\d*$', device).group(1)
-        partition_number = int(device[-1:]) - 1
-    else:
+    mbr_device, partition_number = get_device_from_partition(device)
+    if partition_number is None:
         logging.warn("Could not detect partition number, not activating partition")
-        partition_number = None
 
     # if we get e.g. /dev/loop1 as device we don't want to put the MBR
     # into /dev/loop of course, therefore use /dev/loop1 as mbr_device
@@ -1605,14 +1649,13 @@ def handle_logging():
     if options.verbose and options.quiet:
         parser.error("please use either verbose (--verbose) or quiet (--quiet) option")
 
+    FORMAT = "%(message)s"
     if options.verbose:
-        FORMAT = "Debug: %(asctime)-15s %(message)s"
+        FORMAT = "%(asctime)-15s %(message)s"
         logging.basicConfig(level=logging.DEBUG, format=FORMAT)
     elif options.quiet:
-        FORMAT = "Critical: %(message)s"
         logging.basicConfig(level=logging.CRITICAL, format=FORMAT)
     else:
-        FORMAT = "%(message)s"
         logging.basicConfig(level=logging.INFO, format=FORMAT)
 
 
@@ -1636,8 +1679,7 @@ def check_options(opts):
     @opts option dict from OptionParser
     """
     if opts.grubmbr and not opts.grub:
-        logging.critical("Error: --grub-mbr requires --grub option.")
-        sys.exit(1)
+        raise CriticalException("--grub-mbr requires --grub option.")
 
 
 def check_programs():
@@ -1661,6 +1703,11 @@ def check_programs():
 
 def load_loop():
     """Runs modprobe loop and throws away it's output"""
+    if not which("modprobe"):
+        logging.critical("Fatal: modprobe not available, can not continue - sorry.")
+        logging.critical("Hint: is /sbin missing in PATH?")
+        sys.exit(1)
+
     proc = subprocess.Popen(["modprobe", "loop"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
     proc.wait()
 
@@ -1668,67 +1715,72 @@ def load_loop():
 def main():
     """Main function [make pylint happy :)]"""
 
-    if options.version:
-        print os.path.basename(sys.argv[0]) + " " + PROG_VERSION
-        sys.exit(0)
+    try:
+        if options.version:
+            print os.path.basename(sys.argv[0]) + " " + PROG_VERSION
+            sys.exit(0)
+
+        if len(args) < 2:
+            parser.error("invalid usage")
 
-    if len(args) < 2:
-        parser.error("invalid usage")
+        # log handling
+        handle_logging()
 
-    # log handling
-    handle_logging()
+        # make sure we have the appropriate permissions
+        check_uid_root()
 
-    # make sure we have the appropriate permissions
-    check_uid_root()
+        check_options(options)
 
-    check_options(options)
+        load_loop()
 
-    load_loop()
+        logging.info("Executing grml2usb version %s", PROG_VERSION)
 
-    logging.info("Executing grml2usb version %s", PROG_VERSION)
+        if options.dryrun:
+            logging.info("Running in simulation mode as requested via option dry-run.")
 
-    if options.dryrun:
-        logging.info("Running in simulation mode as requested via option dry-run.")
+        check_programs()
 
-    check_programs()
+        # specified arguments
+        device = os.path.realpath(args[len(args) - 1])
+        isos = args[0:len(args) - 1]
 
-    # specified arguments
-    device = os.path.realpath(args[len(args) - 1])
-    isos = args[0:len(args) - 1]
+        if not os.path.isdir(device):
+            if device[-1:].isdigit():
+                if int(device[-1:]) > 4 or device[-2:].isdigit():
+                    logging.critical("Fatal: installation on partition number >4 not supported. (BIOS won't support it.)")
+                    sys.exit(1)
 
-    if not os.path.isdir(device):
-        if device[-1:].isdigit():
-            if int(device[-1:]) > 4 or device[-2:].isdigit():
-                logging.critical("Fatal: installation on partition number >4 not supported. (BIOS won't support it.)")
-                sys.exit(1)
+        # provide upgrade path
+        handle_compat_warning(device)
 
-    # provide upgrade path
-    handle_compat_warning(device)
+        # check for vfat partition
+        handle_vfat(device)
 
-    # check for vfat partition
-    handle_vfat(device)
+        # main operation (like installing files)
+        for iso in isos:
+            install(iso, device)
 
-    # main operation (like installing files)
-    for iso in isos:
-        install(iso, device)
+        # install mbr
+        is_superfloppy = not device[-1:].isdigit()
+        if is_superfloppy:
+            logging.info("Detected superfloppy format - not installing MBR")
 
-    # install mbr
-    is_superfloppy = not device[-1:].isdigit()
-    if is_superfloppy:
-        logging.info("Detected superfloppy format - not installing MBR")
+        if not options.skipmbr and not os.path.isdir(device) and not is_superfloppy:
+            handle_mbr(device)
 
-    if not options.skipmbr and not os.path.isdir(device) and not is_superfloppy:
-        handle_mbr(device)
+        handle_bootloader(device)
 
-    handle_bootloader(device)
+        logging.info("Note: grml flavour %s was installed as the default booting system.", GRML_DEFAULT)
 
-    logging.info("Note: grml flavour %s was installed as the default booting system.", GRML_DEFAULT)
+        for flavour in GRML_FLAVOURS:
+            logging.info("Note: you can boot flavour %s using '%s' on the commandline.", flavour, flavour)
 
-    for flavour in GRML_FLAVOURS:
-        logging.info("Note: you can boot flavour %s using '%s' on the commandline.", flavour, flavour)
+        # finally be politely :)
+        logging.info("Finished execution of grml2usb (%s). Have fun with your grml system.", PROG_VERSION)
 
-    # finally be politely :)
-    logging.info("Finished execution of grml2usb (%s). Have fun with your grml system.", PROG_VERSION)
+    except Exception, error:
+        logging.critical("Fatal: %s", str(error))
+        sys.exit(1)
 
 
 if __name__ == "__main__":