Add support for Python 3
[grml2usb.git] / grml2usb
index bef2dc2..b7f1207 100755 (executable)
--- a/grml2usb
+++ b/grml2usb
@@ -5,7 +5,7 @@
 grml2usb
 ~~~~~~~~
 
-This script installs a grml system (either a running system or ISO[s]) to a USB device
+This script installs a Grml system (either a running system or ISO[s]) to a USB device
 
 :copyright: (c) 2009, 2010, 2011 by Michael Prokop <mika@grml.org>
 :license: GPL v2 or any later version
@@ -13,6 +13,7 @@ This script installs a grml system (either a running system or ISO[s]) to a USB
 
 """
 
+from __future__ import print_function
 from optparse import OptionParser
 from inspect import isroutine, isclass
 import datetime
@@ -28,6 +29,7 @@ import sys
 import tempfile
 import time
 import uuid
+import shutil
 
 # The line following this line is patched by debian/rules and tarball.sh.
 PROG_VERSION = '***UNRELEASED***'
@@ -40,11 +42,14 @@ GRML_FLAVOURS = set()  # which flavours are being installed?
 GRML_DEFAULT = None
 UUID = None
 SYSLINUX_LIBS = "/usr/lib/syslinux/"
+GPT_HEADER = "\x55\xaa\x45\x46\x49\x20\x50\x41\x52\x54"  # original GPT header
+GRUB_INSTALL = None
 
 RE_PARTITION = re.compile(r'([a-z/]*?)(\d+)$')
 RE_P_PARTITION = re.compile(r'(.*?\d+)p(\d+)$')
 RE_LOOP_DEVICE = re.compile(r'/dev/loop\d+$')
 
+
 def syslinux_warning(option, opt, value, opt_parser):
     """A helper function for printing a warning about deprecated option
     """
@@ -131,6 +136,7 @@ class CriticalException(Exception):
     @Exception: message"""
     pass
 
+
 class VerifyException(Exception):
     """Throw critical exception if there is an fatal error when verifying something.
 
@@ -158,19 +164,36 @@ def string2array(s):
 def cleanup():
     """Cleanup function to make sure there aren't any mounted devices left behind.
     """
+    def del_failed(fn, filepath, exc):
+        msg = "Deletion of %s failed in temporary folder %s"
+        logging.warn(msg % (filepath, path))
 
     logging.info("Cleaning up before exiting...")
     proc = subprocess.Popen(["sync"])
     proc.wait()
 
-    try:
-        for device in MOUNTED:
+    for device in MOUNTED.copy():
+        try:
             unmount(device, "")
-        for tmpfile in TMPFILES:
-            os.unlink(tmpfile)
-    # ignore: RuntimeError: Set changed size during iteration
-    except RuntimeError:
-        logging.debug('caught exception RuntimeError, ignoring')
+            logging.debug('Unmounted %s' % device)
+        except StandardError:
+            logging.debug('RuntimeError while umount %s, ignoring' % device)
+
+    for tmppath in TMPFILES.copy():
+        try:
+            if os.path.isdir(tmppath) and not os.path.islink(tmppath):
+                # symbolic links to directories are ignored
+                # without the check it will throw an OSError
+                shutil.rmtree(tmppath, onerror=del_failed)
+                logging.debug('temporary directory %s deleted' % tmppath)
+                unregister_tmpfile(tmppath)
+            elif os.path.isfile:
+                os.unlink(tmppath)
+                logging.debug('temporary file %s deleted' % tmppath)
+                unregister_tmpfile(tmppath)
+        except StandardError:
+            msg = 'RuntimeError while removing temporary %s, ignoring'
+            logging.debug(msg % tmppath)
 
 
 def register_tmpfile(path):
@@ -286,7 +309,7 @@ def search_file(filename, search_path='/bin' + os.pathsep + '/usr/bin', lst_retu
 
         @cwd: current working directory
         """
-        return  os.path.exists(os.path.join(cwd, filename))
+        return os.path.exists(os.path.join(cwd, filename))
 
     for path in paths:
         current_dir = path
@@ -318,9 +341,13 @@ def check_boot_flag(device):
     boot_dev, x = get_device_from_partition(device)
 
     with open(boot_dev, 'r') as image:
-        data = image.read(512)
+        data = image.read(520)
         bootcode = data[440:]
-        if bootcode[6] == '\x80':
+        gpt_data = bootcode[70:80]
+
+        if gpt_data == GPT_HEADER:
+            logging.info("GPT detected, skipping bootflag check")
+        elif bootcode[6] == '\x80':
             logging.debug("bootflag is enabled")
         else:
             logging.debug("bootflag is NOT enabled")
@@ -445,7 +472,7 @@ def install_grub(device):
                 for opt in ["", "--force"]:
                     logging.debug("grub-install --recheck %s --no-floppy --root-directory=%s %s",
                                   opt, device_mountpoint, grub_device)
-                    proc = subprocess.Popen(["grub-install", "--recheck", opt, "--no-floppy",
+                    proc = subprocess.Popen([GRUB_INSTALL, "--recheck", opt, "--no-floppy",
                                              "--root-directory=%s" % device_mountpoint, grub_device],
                                             stdout=file(os.devnull, "r+"))
                     proc.wait()
@@ -460,7 +487,7 @@ def install_grub(device):
                                      + "the --grub-mbr option as grub considers PBR problematic.")
                     cleanup()
                     sys.exit(1)
-            except CriticalException, error:
+            except CriticalException as error:
                 logging.critical("Fatal: %s", error)
                 cleanup()
                 sys.exit(1)
@@ -498,14 +525,14 @@ def install_bootloader(device):
     if options.grub:
         try:
             install_grub(device)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Fatal: %s", error)
             cleanup()
             sys.exit(1)
     else:
         try:
             install_syslinux(device)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Fatal: %s", error)
             cleanup()
             sys.exit(1)
@@ -796,8 +823,7 @@ def copy_system_files(grml_flavour, iso_mount, target):
     squashfs = search_file(grml_flavour + '.squashfs', iso_mount)
     if squashfs is None:
         logging.error("error locating squashfs file")
-        raise CriticalException("squashfs file not found"
-            ", please check that your iso is not corrupt")
+        raise CriticalException("squashfs file not found, please check that your iso is not corrupt")
     else:
         squashfs_target = target + '/live/' + grml_flavour + '/'
         execute(mkdir, squashfs_target)
@@ -858,9 +884,9 @@ def update_grml_versions(iso_mount, target):
             for line in fileinput.input([target_grml_version_file], inplace=1):
                 flavour = get_flavour(line)
                 if flavour in iso_versions.keys():
-                    print iso_versions.pop(flavour)
+                    print(iso_versions.pop(flavour))
                 else:
-                    print line.strip()
+                    print(line.strip())
             fileinput.close()
 
             target_file = open(target_grml_version_file, 'a')
@@ -972,7 +998,7 @@ def build_loopbackcfg(target):
         logging.debug("Found source file" + sourcefile)
         os.path.isfile(ops) and f.write("source " + sourcefile + "\n")
 
-    f.write("source /boot/grub/adddons.cfg\n")
+    f.write("source /boot/grub/addons.cfg\n")
     f.write("source /boot/grub/footer.cfg\n")
     f.close()
 
@@ -1093,7 +1119,7 @@ def install_iso_files(grml_flavour, iso_mount, device, target):
         try:
             copy_system_files(grml_flavour, iso_mount, target)
             copy_grml_files(grml_flavour, iso_mount, target)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Execution failed: %s", error)
             sys.exit(1)
 
@@ -1161,9 +1187,9 @@ def identify_grml_flavour(mountpath):
             tmpfile = open(version_file, 'r')
             for line in tmpfile.readlines():
                 flavours.append(get_flavour(line))
-        except TypeError, e:
+        except TypeError as e:
             raise
-        except Exception, e:
+        except Exception as e:
             raise
         finally:
             if tmpfile:
@@ -1223,7 +1249,7 @@ def handle_grub_config(grml_flavour, device, target):
                 line = line.rstrip() + r' bootid=%s %s ' % (UUID, bootopt)
                 for regex in remove_regexes:
                     line = regex.sub(' ', line)
-            print line
+            print(line)
         fileinput.close()
 
 
@@ -1379,7 +1405,7 @@ def handle_syslinux_config(grml_flavour, target):
 
     # install main configuration only *once*, no matter how many ISOs we have:
     syslinux_config_file = open(syslinux_cfg, 'w')
-    syslinux_config_file.write("TIMEOUT 300\n")
+    syslinux_config_file.write("timeout 300\n")
     syslinux_config_file.write("include vesamenu.cfg\n")
     syslinux_config_file.close()
 
@@ -1446,7 +1472,7 @@ def handle_bootloader_config(grml_flavour, device, target):
     else:
         try:
             handle_syslinux_config(grml_flavour, target)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Fatal: %s", error)
             sys.exit(1)
 
@@ -1455,7 +1481,7 @@ def handle_bootloader_config(grml_flavour, device, target):
     else:
         try:
             handle_grub_config(grml_flavour, device, target)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Fatal: %s", error)
             sys.exit(1)
 
@@ -1469,7 +1495,15 @@ def install(image, device):
     iso_mountpoint = image
     remove_image_mountpoint = False
     if os.path.isdir(image):
-        logging.info("Using %s as install base", image)
+        if options.force or os.path.exists(os.path.join(image, 'live')):
+            logging.info("Using %s as install base", image)
+        else:
+            q = raw_input("%s does not look like a Grml system. "
+                "Do you really want to use this image? y/N " % image)
+            if q.lower() == 'y':
+                logging.info("Using %s as install base", image)
+            else:
+                logging.info("Skipping install base %s", image)
     else:
         logging.info("Using ISO %s", image)
         iso_mountpoint = tempfile.mkdtemp(prefix="grml2usb", dir=os.path.abspath(options.tmpdir))
@@ -1477,7 +1511,7 @@ def install(image, device):
         remove_image_mountpoint = True
         try:
             mount(image, iso_mountpoint, ["-o", "loop,ro", "-t", "iso9660"])
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Fatal: %s", error)
             sys.exit(1)
 
@@ -1487,13 +1521,13 @@ def install(image, device):
         if remove_image_mountpoint:
             try:
                 remove_mountpoint(iso_mountpoint)
-            except CriticalException, error:
+            except CriticalException as error:
                 cleanup()
                 raise
 
 
 def install_grml(mountpoint, device):
-    """Main logic for copying files of the currently running grml system.
+    """Main logic for copying files of the currently running Grml system.
 
     @mountpoint: directory where currently running live system resides (usually /lib/live/mount/medium)
     @device: partition where the specified ISO should be installed to"""
@@ -1510,9 +1544,9 @@ def install_grml(mountpoint, device):
             check_for_fat(device)
             check_boot_flag(device)
             mount(device, device_mountpoint, ['-o', 'utf8,iocharset=iso8859-1'])
-        except VerifyException, error:
+        except VerifyException as error:
             raise
-        except CriticalException, error:
+        except CriticalException as error:
             mount(device, device_mountpoint, "")
     try:
         grml_flavours = identify_grml_flavour(mountpoint)
@@ -1536,7 +1570,7 @@ def remove_mountpoint(mountpoint):
         if os.path.isdir(mountpoint):
             os.rmdir(mountpoint)
             unregister_tmpfile(mountpoint)
-    except CriticalException, error:
+    except CriticalException as error:
         cleanup()
         raise
 
@@ -1562,16 +1596,29 @@ def handle_mbr(device):
 
     mbrcode = GRML2USB_BASE + '/mbr/mbrldr'
     if options.syslinuxmbr:
-        mbrcode = '/usr/lib/syslinux/mbr.bin'
+        mbrcode = ""
+        mbr_locations = ('/usr/lib/syslinux/mbr.bin',
+                         '/usr/share/syslinux/mbr.bin')
+        for mbrpath in mbr_locations:
+            if os.path.isfile(mbrpath):
+                mbrcode = mbrpath
+                break
+
+        if mbrcode is "":
+            str_locations = " or ".join(['"%s"' % l for l in mbr_locations])
+            logging.error('Cannot find syslinux MBR, install it at %s)',
+                          str_locations)
+            raise CriticalException("syslinux MBR  can not be found at %s."
+                                    % str_locations)
     elif options.mbrmenu:
         mbrcode = GRML2USB_BASE + '/mbr/mbrldr'
 
     try:
         install_mbr(mbrcode, mbr_device, partition_number, True)
-    except IOError, error:
+    except IOError as error:
         logging.critical("Execution failed: %s", error)
         sys.exit(1)
-    except Exception, error:
+    except Exception as error:
         logging.critical("Execution failed: %s", error)
         sys.exit(1)
 
@@ -1589,7 +1636,7 @@ def handle_vfat(device):
             sys.exit(1)
 
         if options.force:
-            print "Forcing mkfs.fat16 on %s as requested via option --force." % device
+            print("Forcing mkfs.fat16 on %s as requested via option --force." % device)
         else:
             # make sure the user is aware of what he is doing
             f = raw_input("Are you sure you want to format the specified partition with fat16? y/N ")
@@ -1599,7 +1646,7 @@ def handle_vfat(device):
                 sys.exit(1)
         try:
             mkfs_fat16(device)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Execution failed: %s", error)
             sys.exit(1)
 
@@ -1607,12 +1654,12 @@ def handle_vfat(device):
     if device is not None and not os.path.isdir(device) and options.syslinux:
         try:
             check_for_fat(device)
-        except CriticalException, error:
+        except CriticalException as error:
             logging.critical("Execution failed: %s", error)
             sys.exit(1)
 
     if not os.path.isdir(device) and not check_for_usbdevice(device) and not options.force:
-        print "Warning: the specified device %s does not look like a removable usb device." % device
+        print("Warning: the specified device %s does not look like a removable usb device." % device)
         f = raw_input("Do you really want to continue? y/N ")
         if f == "y" or f == "Y":
             pass
@@ -1627,10 +1674,10 @@ def handle_compat_warning(device):
 
     # make sure we can replace old grml2usb script and warn user when using old way of life:
     if device.startswith("/mnt/external") or device.startswith("/mnt/usb") and not options.force:
-        print "Warning: the semantics of grml2usb has changed."
-        print "Instead of using grml2usb /path/to/iso %s you might" % device
-        print "want to use grml2usb /path/to/iso /dev/... instead."
-        print "Please check out the grml2usb manpage for details."
+        print("Warning: the semantics of grml2usb has changed.")
+        print("Instead of using grml2usb /path/to/iso %s you might" % device)
+        print("want to use grml2usb /path/to/iso /dev/... instead.")
+        print("Please check out the grml2usb manpage for details.")
         f = raw_input("Do you really want to continue? y/N ")
         if f == "y" or f == "Y":
             pass
@@ -1680,7 +1727,8 @@ def check_options(opts):
 def check_programs():
     """check if all needed programs are installed"""
     if options.grub:
-        if not which("grub-install"):
+        GRUB_INSTALL = which("grub-install") or which("grub2-install")
+        if not GRUB_INSTALL:
             logging.critical("Fatal: grub-install not available (please install the "
                              + "grub package or drop the --grub option)")
             sys.exit(1)
@@ -1712,7 +1760,7 @@ def main():
 
     try:
         if options.version:
-            print os.path.basename(sys.argv[0]) + " " + PROG_VERSION
+            print(os.path.basename(sys.argv[0]) + " " + PROG_VERSION)
             sys.exit(0)
 
         if len(args) < 2:
@@ -1770,10 +1818,10 @@ def main():
         for flavour in GRML_FLAVOURS:
             logging.info("Note: you can boot flavour %s using '%s' on the commandline.", flavour, flavour)
 
-        # finally be politely :)
-        logging.info("Finished execution of grml2usb (%s). Have fun with your grml system.", PROG_VERSION)
+        # finally be polite :)
+        logging.info("Finished execution of grml2usb (%s). Have fun with your Grml system.", PROG_VERSION)
 
-    except Exception, error:
+    except Exception as error:
         logging.critical("Fatal: %s", str(error))
         sys.exit(1)