update.rb

   1 #!/usr/bin/env ruby
   2 require 'git'
   3 require 'erb'
   4 require 'yaml'
   5 require 'net/http'
   6 require 'uri'
   7 require 'zlib'
   8 require 'yaml'
   9
  10 DEBUG = false
  11
  12 def build_used_package_list(source_uri)
  13   source_uri.map do |source_uri|
  14     fetch_file(source_uri).split("\n").reject do |l|
  15       l.strip.start_with?('#') or l.strip == ""
  16     end
  17   end.flatten
  18 end
  19
  20 def parse_debian_sources(data)
  21   data.split("\n").push('').inject({}) do |pkgs, l|
  22     l.rstrip!
  23     pkg = pkgs[:_tmp] || {}
  24     if pkg[:_tmp]
  25       if l[0..0] == ' '
  26         pkg[:_tmp][:data] << l.strip
  27       else
  28         pkg[pkg[:_tmp][:hdr]] = pkg[:_tmp][:data].compact
  29         pkg.delete :_tmp
  30       end
  31     end
  32     unless pkg[:_tmp]
  33       if l == '':
  34         pkgs[pkg['Package'][0]] = pkg
  35         pkg = nil
  36       else
  37         hdr, data = l.strip.split(':', 2)
  38         data.strip! unless data.nil?
  39         pkg[:_tmp] = {:hdr => hdr, :data => [data]}
  40       end
  41     end
  42     if pkg.nil?
  43       pkgs.delete :_tmp
  44     else
  45       pkgs[:_tmp] = pkg
  46     end
  47     pkgs
  48   end
  49 end
  50
  51 def build_package_list(repos, used, sources)
  52   data = {}
  53   repos.each do |pkg, path|
  54     g = Git.bare(working_dir = path)
  55     tree = g.ls_tree('HEAD')["tree"]
  56     if pkg == 'grml-kernel'
  57       tree = g.ls_tree(g.ls_tree("HEAD")["tree"]["linux-3"][:sha])["tree"]
  58     end
  59     next if not tree.keys.include?("debian")
  60
  61     current_head = g.gcommit('HEAD')
  62     next if not current_head.parent
  63
  64     p = {
  65       :head_is_tagged => false,
  66       :used => {},
  67       :name => pkg,
  68       :git_version => nil,
  69       :has_tags => false,
  70       :repo_version => nil,
  71       :git_browser => "http://git.grml.org/?p=%s.git;a=summary" % pkg,
  72       :git_anon => "git://git.grml.org/%s.git" % pkg,
  73       :repo_url => "http://deb.grml.org/pool/main/%s/%s/" % [pkg[0..0], pkg],
  74     }
  75     used.each do |dist,l|
  76       p[:used][dist] = l.include?(pkg)
  77     end
  78     if sources[pkg]
  79       p[:repo_version] = sources[pkg]['Version'][0]
  80       p[:source_name] = sources[pkg]['Package'][0]
  81     end
  82
  83     for tag in g.tags.reverse
  84       p[:has_tags] = true
  85       t = g.gcommit(tag.name)
  86       next if not t.parent
  87       #$stderr.puts "#{pkg}: Checking tag #{tag.name}: tag parent: #{t.parent.sha} HEAD: #{current_head.parent.sha}"
  88       if t.parent.sha === current_head.parent.sha
  89         p[:head_is_tagged] = true
  90         p[:git_version] = tag.name
  91         break
  92       end
  93     end
  94
  95     data[pkg] = p
  96   end
  97   data
  98 end
  99
 100 def fetch_file(uri)
 101   response = Net::HTTP.get_response(URI.parse(uri))
 102   body = response.body
 103   if uri.match(/\.gz$/)
 104     body = Zlib::GzipReader.new(StringIO.new(body.to_s)).read
 105   end
 106   body
 107 end
 108
 109 def update_git_repos(git_repos)
 110   git_repos.each do |name, path|
 111     out = %x{cd #{path} && git remote update --prune 2>&1}
 112     puts "#{name}: " + out if DEBUG
 113   end
 114 end
 115
 116 template = ERB.new <<-EOF
 117 <!doctype html>
 118 <head>
 119   <meta charset="utf-8">
 120   <title>Grml.org Package Index</title>
 121   <link rel="stylesheet" href="style.css">
 122 </head>
 123 <body>
 124   <header>
 125   <h1>All Grml packages</h1>
 126   </header>
 127   <div id="main">
 128   <table>
 129   <tr>
 130   <th>Package</th><th>Git</th><th>Download</th><th>Git Version</th><th>grml-testing</th><th>In FULL?</th>
 131   </tr>
 132   <% packages.keys.sort.each do |pn|
 133   p = packages[pn]
 134   %>
 135   <tr>
 136   <td><%= p[:name] %></td>
 137   <td class="git"><a href="<%= p[:git_browser] %>">Git</a></td>
 138   <td class="download">
 139     <% if p[:has_tags] %>
 140     <a href="<%= p[:repo_url] %>">Download</a>
 141     <% end %>
 142   </td>
 143   <% if p[:head_is_tagged] %>
 144   <td class="ok">Version <%= p[:git_version] %></td>
 145   <% else %>
 146   <td class="error <% if p[:used][:full] %>important<% end %>">Untagged changes</td>
 147   <% end %>
 148   <td><%= p[:repo_version] || "" %></td>
 149   <td class="installed"><%= p[:used][:full] ? "Yes" : "No" %></td>
 150   </tr>
 151   <% end %>
 152   </table>
 153   </div>
 154   <div>
 155   Other packages: <%= other_packages.join(" ") %>
 156   </div>
 157   <footer>
 158   <p>Last update: <%= Time.now.to_s %></p>
 159   </footer>
 160 </body>
 161 </html>
 162 EOF
 163
 164 used_packages = {
 165   :full => build_used_package_list([
 166                                     'http://git.grml.org/?p=grml-live.git;a=blob_plain;f=etc/grml/fai/config/package_config/GRMLBASE',
 167                                     'http://git.grml.org/?p=grml-live.git;a=blob_plain;f=etc/grml/fai/config/package_config/GRML_FULL',
 168                                    ]),
 169 }
 170 sources = {}
 171 parse_debian_sources(fetch_file('http://deb.grml.org/dists/grml-testing/main/source/Sources.gz')).each do |k,v|
 172   if v['Vcs-Git'] and v['Vcs-Git'][0]
 173     m = v['Vcs-Git'][0].match 'git.grml.org\/(.*).git$'
 174     k = m[1] if m
 175   end
 176   sources[k] = v
 177 end
 178
 179 git_repos = Hash[*(Dir.glob('git/*.git').map do |p| [File.basename(p, '.git'), p] end.flatten)]
 180
 181 update_git_repos git_repos
 182
 183 packages = build_package_list(git_repos, used_packages, sources)
 184 other_packages = (sources.keys - git_repos.keys)
 185
 186 File.open('index.html.new','w') do |f|
 187   f.write template.result(binding)
 188 end
 189 File.open('packages.yaml.new','w') do |f|
 190   f.write packages.to_yaml
 191 end
 192
 193 FileUtils.mv 'index.html.new', 'index.html'
 194 FileUtils.mv 'packages.yaml.new', 'packages.yaml'
 195