Silent error for StandardError, not RuntimeError
[grml2usb.git] / grml2usb
index e2cffe8..cdbb3e8 100755 (executable)
--- a/grml2usb
+++ b/grml2usb
@@ -28,6 +28,7 @@ import sys
 import tempfile
 import time
 import uuid
+import shutil
 
 # The line following this line is patched by debian/rules and tarball.sh.
 PROG_VERSION = '***UNRELEASED***'
@@ -40,11 +41,13 @@ GRML_FLAVOURS = set()  # which flavours are being installed?
 GRML_DEFAULT = None
 UUID = None
 SYSLINUX_LIBS = "/usr/lib/syslinux/"
+GPT_HEADER = "\x55\xaa\x45\x46\x49\x20\x50\x41\x52\x54"  # original GPT header
 
 RE_PARTITION = re.compile(r'([a-z/]*?)(\d+)$')
 RE_P_PARTITION = re.compile(r'(.*?\d+)p(\d+)$')
 RE_LOOP_DEVICE = re.compile(r'/dev/loop\d+$')
 
+
 def syslinux_warning(option, opt, value, opt_parser):
     """A helper function for printing a warning about deprecated option
     """
@@ -131,6 +134,7 @@ class CriticalException(Exception):
     @Exception: message"""
     pass
 
+
 class VerifyException(Exception):
     """Throw critical exception if there is an fatal error when verifying something.
 
@@ -158,19 +162,36 @@ def string2array(s):
 def cleanup():
     """Cleanup function to make sure there aren't any mounted devices left behind.
     """
+    def del_failed(fn, filepath, exc):
+        msg = "Deletion of %s failed in temporary folder %s"
+        logging.warn(msg % (filepath, path))
 
     logging.info("Cleaning up before exiting...")
     proc = subprocess.Popen(["sync"])
     proc.wait()
 
-    try:
-        for device in MOUNTED:
+    for device in MOUNTED.copy():
+        try:
             unmount(device, "")
-        for tmpfile in TMPFILES:
-            os.unlink(tmpfile)
-    # ignore: RuntimeError: Set changed size during iteration
-    except RuntimeError:
-        logging.debug('caught expection RuntimeError, ignoring')
+            logging.debug('Unmounted %s' % device)
+        except StandardError:
+            logging.debug('RuntimeError while umount %s, ignoring' % device)
+
+    for tmppath in TMPFILES.copy():
+        try:
+            if os.path.isdir(tmppath) and not os.path.islink(tmppath):
+                # symbolic links to directories are ignored
+                # without the check it will throw an OSError
+                shutil.rmtree(tmppath, onerror=del_failed)
+                logging.debug('temporary directory %s deleted' % tmppath)
+                unregister_tmpfile(tmppath)
+            elif os.path.isfile:
+                os.unlink(tmppath)
+                logging.debug('temporary file %s deleted' % tmppath)
+                unregister_tmpfile(tmppath)
+        except StandardError:
+            msg = 'RuntimeError while removing temporary %s, ignoring'
+            logging.debug(msg % tmppath)
 
 
 def register_tmpfile(path):
@@ -286,7 +307,7 @@ def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin', lst_retu
 
         @cwd: current working directory
         """
-        return  os.path.exists(os.path.join(cwd, filename))
+        return os.path.exists(os.path.join(cwd, filename))
 
     for path in paths:
         current_dir = path
@@ -311,16 +332,20 @@ def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin', lst_retu
 def check_uid_root():
     """Check for root permissions"""
     if not os.geteuid() == 0:
-        sys.exit("Error: please run this script with uid 0 (root).")
+        raise CriticalException("please run this script with uid 0 (root).")
 
 
 def check_boot_flag(device):
     boot_dev, x = get_device_from_partition(device)
 
     with open(boot_dev, 'r') as image:
-        data = image.read(512)
+        data = image.read(520)
         bootcode = data[440:]
-        if bootcode[6] == '\x80':
+        gpt_data = bootcode[70:80]
+
+        if gpt_data == GPT_HEADER:
+            logging.info("GPT detected, skipping bootflag check")
+        elif bootcode[6] == '\x80':
             logging.debug("bootflag is enabled")
         else:
             logging.debug("bootflag is NOT enabled")
@@ -538,11 +563,12 @@ def install_mbr(mbrtemplate, device, partition, ismirbsdmbr=True):
     logging.info("Installing default MBR")
 
     if not os.path.isfile(mbrtemplate):
-        logging.critical("Error: %s can not be read.", mbrtemplate)
-        raise CriticalException("Error installing MBR (either try --syslinux-mbr or install missing file \"%s\"?)" % mbrtemplate)
+        logging.error('Error installing MBR (either try --syslinux-mbr or '
+            'install missing file "%s"?)', mbrtemplate)
+        raise CriticalException("%s can not be read." % mbrtemplate)
 
     if partition is not None and ((partition < 0) or (partition > 3)):
-        logging.warn("Cannot activate partition %d" % partition)
+        logging.warn("Cannot activate partition %d", partition)
         partition = None
 
     if ismirbsdmbr:
@@ -794,9 +820,8 @@ def copy_system_files(grml_flavour, iso_mount, target):
 
     squashfs = search_file(grml_flavour + '.squashfs', iso_mount)
     if squashfs is None:
-        logging.critical("Fatal: squashfs file not found"
-        ", please check that your iso is not corrupt")
-        raise CriticalException("error locating squashfs file")
+        logging.error("error locating squashfs file")
+        raise CriticalException("squashfs file not found, please check that your iso is not corrupt")
     else:
         squashfs_target = target + '/live/' + grml_flavour + '/'
         execute(mkdir, squashfs_target)
@@ -807,8 +832,8 @@ def copy_system_files(grml_flavour, iso_mount, target):
         if filesystem_module:
             break
     if filesystem_module is None:
-        logging.critical("Fatal: filesystem.module not found")
-        raise CriticalException("error locating filesystem.module file")
+        logging.error("error locating filesystem.module file")
+        raise CriticalException("filesystem.module not found")
     else:
         exec_rsync(filesystem_module, squashfs_target + 'filesystem.module')
 
@@ -822,8 +847,8 @@ def copy_system_files(grml_flavour, iso_mount, target):
             kernel = search_file('linux26', iso_mount)
 
         if kernel is None:
-            logging.critical("Fatal: kernel not found")
-            raise CriticalException("error locating kernel file")
+            logging.error("error locating kernel file")
+            raise CriticalException("Kernel not found")
 
         source = os.path.dirname(kernel) + '/'
         dest = target + '/' + os.path.dirname(kernel).replace(iso_mount, '') + '/'
@@ -971,7 +996,7 @@ def build_loopbackcfg(target):
         logging.debug("Found source file" + sourcefile)
         os.path.isfile(ops) and f.write("source " + sourcefile + "\n")
 
-    f.write("source /boot/grub/adddons.cfg\n")
+    f.write("source /boot/grub/addons.cfg\n")
     f.write("source /boot/grub/footer.cfg\n")
     f.close()
 
@@ -1046,10 +1071,10 @@ def copy_bootloader_files(iso_mount, target, grml_flavour):
     (source_dir, defaults_file) = get_defaults_file(iso_mount, grml_flavour, "grml.cfg")
 
     if not source_dir:
-        logging.critical("Fatal: file default.cfg could not be found.")
-        logging.critical("Note:  this grml2usb version requires an ISO generated by grml-live >=0.9.24 ...")
-        logging.critical("       ... either use grml releases >=2009.10 or switch to an older grml2usb version.")
-        raise
+        raise CriticalException(
+            "file default.cfg could not be found.\n"
+            "Note:  this grml2usb version requires an ISO generated by grml-live >=0.9.24 ...\n"
+            "       ... either use grml releases >=2009.10 or switch to an older grml2usb version.")
 
     if not os.path.exists(iso_mount + '/boot/grub/footer.cfg'):
         logging.warning("Warning: Grml releases older than 2011.12 support only one flavour in grub.")
@@ -1163,7 +1188,6 @@ def identify_grml_flavour(mountpath):
         except TypeError, e:
             raise
         except Exception, e:
-            logging.critical("Unexpected error: %s", e)
             raise
         finally:
             if tmpfile:
@@ -1379,7 +1403,7 @@ def handle_syslinux_config(grml_flavour, target):
 
     # install main configuration only *once*, no matter how many ISOs we have:
     syslinux_config_file = open(syslinux_cfg, 'w')
-    syslinux_config_file.write("TIMEOUT 300\n")
+    syslinux_config_file.write("timeout 300\n")
     syslinux_config_file.write("include vesamenu.cfg\n")
     syslinux_config_file.close()
 
@@ -1469,7 +1493,15 @@ def install(image, device):
     iso_mountpoint = image
     remove_image_mountpoint = False
     if os.path.isdir(image):
-        logging.info("Using %s as install base", image)
+        if options.force or os.path.exists(os.path.join(image, 'live')):
+            logging.info("Using %s as install base", image)
+        else:
+            q = raw_input("%s does not look like a grml system. "
+                "Do you really want to use this image? y/N " % image)
+            if q.lower() == 'y':
+                logging.info("Using %s as install base", image)
+            else:
+                logging.info("Skipping install base %s", image)
     else:
         logging.info("Using ISO %s", image)
         iso_mountpoint = tempfile.mkdtemp(prefix="grml2usb", dir=os.path.abspath(options.tmpdir))
@@ -1488,8 +1520,8 @@ def install(image, device):
             try:
                 remove_mountpoint(iso_mountpoint)
             except CriticalException, error:
-                logging.critical("Fatal: %s", error)
                 cleanup()
+                raise
 
 
 def install_grml(mountpoint, device):
@@ -1511,14 +1543,9 @@ def install_grml(mountpoint, device):
             check_boot_flag(device)
             mount(device, device_mountpoint, ['-o', 'utf8,iocharset=iso8859-1'])
         except VerifyException, error:
-            logging.critical("Fatal: %s", error)
             raise
         except CriticalException, error:
-            try:
-                mount(device, device_mountpoint, "")
-            except CriticalException, error:
-                logging.critical("Fatal: %s", error)
-                raise
+            mount(device, device_mountpoint, "")
     try:
         grml_flavours = identify_grml_flavour(mountpoint)
         for flavour in set(grml_flavours):
@@ -1533,7 +1560,7 @@ def install_grml(mountpoint, device):
 
 
 def remove_mountpoint(mountpoint):
-    """remove a registred mountpoint
+    """remove a registered mountpoint
     """
 
     try:
@@ -1542,8 +1569,8 @@ def remove_mountpoint(mountpoint):
             os.rmdir(mountpoint)
             unregister_tmpfile(mountpoint)
     except CriticalException, error:
-        logging.critical("Fatal: %s", error)
         cleanup()
+        raise
 
 
 def handle_mbr(device):
@@ -1556,7 +1583,7 @@ def handle_mbr(device):
         return 0
 
     mbr_device, partition_number = get_device_from_partition(device)
-    if not partition_number:
+    if partition_number is None:
         logging.warn("Could not detect partition number, not activating partition")
 
     # if we get e.g. /dev/loop1 as device we don't want to put the MBR
@@ -1567,7 +1594,20 @@ def handle_mbr(device):
 
     mbrcode = GRML2USB_BASE + '/mbr/mbrldr'
     if options.syslinuxmbr:
-        mbrcode = '/usr/lib/syslinux/mbr.bin'
+        mbrcode = ""
+        mbr_locations = ('/usr/lib/syslinux/mbr.bin',
+                         '/usr/share/syslinux/mbr.bin')
+        for mbrpath in mbr_locations:
+            if os.path.isfile(mbrpath):
+                mbrcode = mbrpath
+                break
+
+        if mbrcode is "":
+            str_locations = " or ".join(['"%s"' % l for l in mbr_locations])
+            logging.error('Cannot find syslinux MBR, install it at %s)',
+                          str_locations)
+            raise CriticalException("syslinux MBR  can not be found at %s."
+                                    % str_locations)
     elif options.mbrmenu:
         mbrcode = GRML2USB_BASE + '/mbr/mbrldr'
 
@@ -1649,14 +1689,13 @@ def handle_logging():
     if options.verbose and options.quiet:
         parser.error("please use either verbose (--verbose) or quiet (--quiet) option")
 
+    FORMAT = "%(message)s"
     if options.verbose:
-        FORMAT = "Debug: %(asctime)-15s %(message)s"
+        FORMAT = "%(asctime)-15s %(message)s"
         logging.basicConfig(level=logging.DEBUG, format=FORMAT)
     elif options.quiet:
-        FORMAT = "Critical: %(message)s"
         logging.basicConfig(level=logging.CRITICAL, format=FORMAT)
     else:
-        FORMAT = "%(message)s"
         logging.basicConfig(level=logging.INFO, format=FORMAT)
 
 
@@ -1680,8 +1719,7 @@ def check_options(opts):
     @opts option dict from OptionParser
     """
     if opts.grubmbr and not opts.grub:
-        logging.critical("Error: --grub-mbr requires --grub option.")
-        sys.exit(1)
+        raise CriticalException("--grub-mbr requires --grub option.")
 
 
 def check_programs():
@@ -1717,67 +1755,72 @@ def load_loop():
 def main():
     """Main function [make pylint happy :)]"""
 
-    if options.version:
-        print os.path.basename(sys.argv[0]) + " " + PROG_VERSION
-        sys.exit(0)
+    try:
+        if options.version:
+            print os.path.basename(sys.argv[0]) + " " + PROG_VERSION
+            sys.exit(0)
 
-    if len(args) < 2:
-        parser.error("invalid usage")
+        if len(args) < 2:
+            parser.error("invalid usage")
 
-    # log handling
-    handle_logging()
+        # log handling
+        handle_logging()
 
-    # make sure we have the appropriate permissions
-    check_uid_root()
+        # make sure we have the appropriate permissions
+        check_uid_root()
 
-    check_options(options)
+        check_options(options)
 
-    load_loop()
+        load_loop()
 
-    logging.info("Executing grml2usb version %s", PROG_VERSION)
+        logging.info("Executing grml2usb version %s", PROG_VERSION)
 
-    if options.dryrun:
-        logging.info("Running in simulation mode as requested via option dry-run.")
+        if options.dryrun:
+            logging.info("Running in simulation mode as requested via option dry-run.")
 
-    check_programs()
+        check_programs()
 
-    # specified arguments
-    device = os.path.realpath(args[len(args) - 1])
-    isos = args[0:len(args) - 1]
+        # specified arguments
+        device = os.path.realpath(args[len(args) - 1])
+        isos = args[0:len(args) - 1]
 
-    if not os.path.isdir(device):
-        if device[-1:].isdigit():
-            if int(device[-1:]) > 4 or device[-2:].isdigit():
-                logging.critical("Fatal: installation on partition number >4 not supported. (BIOS won't support it.)")
-                sys.exit(1)
+        if not os.path.isdir(device):
+            if device[-1:].isdigit():
+                if int(device[-1:]) > 4 or device[-2:].isdigit():
+                    logging.critical("Fatal: installation on partition number >4 not supported. (BIOS won't support it.)")
+                    sys.exit(1)
 
-    # provide upgrade path
-    handle_compat_warning(device)
+        # provide upgrade path
+        handle_compat_warning(device)
 
-    # check for vfat partition
-    handle_vfat(device)
+        # check for vfat partition
+        handle_vfat(device)
 
-    # main operation (like installing files)
-    for iso in isos:
-        install(iso, device)
+        # main operation (like installing files)
+        for iso in isos:
+            install(iso, device)
 
-    # install mbr
-    is_superfloppy = not device[-1:].isdigit()
-    if is_superfloppy:
-        logging.info("Detected superfloppy format - not installing MBR")
+        # install mbr
+        is_superfloppy = not device[-1:].isdigit()
+        if is_superfloppy:
+            logging.info("Detected superfloppy format - not installing MBR")
 
-    if not options.skipmbr and not os.path.isdir(device) and not is_superfloppy:
-        handle_mbr(device)
+        if not options.skipmbr and not os.path.isdir(device) and not is_superfloppy:
+            handle_mbr(device)
 
-    handle_bootloader(device)
+        handle_bootloader(device)
 
-    logging.info("Note: grml flavour %s was installed as the default booting system.", GRML_DEFAULT)
+        logging.info("Note: grml flavour %s was installed as the default booting system.", GRML_DEFAULT)
 
-    for flavour in GRML_FLAVOURS:
-        logging.info("Note: you can boot flavour %s using '%s' on the commandline.", flavour, flavour)
+        for flavour in GRML_FLAVOURS:
+            logging.info("Note: you can boot flavour %s using '%s' on the commandline.", flavour, flavour)
 
-    # finally be politely :)
-    logging.info("Finished execution of grml2usb (%s). Have fun with your grml system.", PROG_VERSION)
+        # finally be polite :)
+        logging.info("Finished execution of grml2usb (%s). Have fun with your grml system.", PROG_VERSION)
+
+    except Exception, error:
+        logging.critical("Fatal: %s", str(error))
+        sys.exit(1)
 
 
 if __name__ == "__main__":