Merge branch 'stable'
[stgit] / stgit / commands / mail.py
index 2230d2a..46e4b55 100644 (file)
@@ -17,27 +17,30 @@ Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
 
 import sys, os, re, time, datetime, socket, smtplib, getpass
 import email, email.Utils, email.Header
-from optparse import OptionParser, make_option
-
+from stgit.argparse import opt
 from stgit.commands.common import *
 from stgit.utils import *
 from stgit.out import *
-from stgit import stack, git, version, templates
+from stgit import argparse, stack, git, version, templates
 from stgit.config import config
+from stgit.run import Run
+from stgit.lib import git as gitlib
 
-
-help = 'send a patch or series of patches by e-mail'
-usage = """%prog [options] [<patch1>] [<patch2>] [<patch3>..<patch4>]
-
+help = 'Send a patch or series of patches by e-mail'
+kind = 'patch'
+usage = [' [options] [<patch1>] [<patch2>] [<patch3>..<patch4>]']
+description = r"""
 Send a patch or a range of patches by e-mail using the SMTP server
 specified by the 'stgit.smtpserver' configuration option, or the
-'--smtp-server' command line option. The From address and the e-mail
-format are generated from the template file passed as argument to
-'--template' (defaulting to '.git/patchmail.tmpl' or
-'~/.stgit/templates/patchmail.tmpl' or
+'--smtp-server' command line option. This option can also be an
+absolute path to 'sendmail' followed by command line arguments.
+
+The From address and the e-mail format are generated from the template
+file passed as argument to '--template' (defaulting to
+'.git/patchmail.tmpl' or '~/.stgit/templates/patchmail.tmpl' or
 '/usr/share/stgit/templates/patchmail.tmpl'). A patch can be sent as
-attachment using the --attach option in which case the 'mailattch.tmpl'
-template will be used instead of 'patchmail.tmpl'.
+attachment using the --attach option in which case the
+'mailattch.tmpl' template will be used instead of 'patchmail.tmpl'.
 
 The To/Cc/Bcc addresses can either be added to the template file or
 passed via the corresponding command line options. They can be e-mail
@@ -84,72 +87,63 @@ the following:
   %(commemail)s    - committer's e-mail
   %(commname)s     - committer's name
   %(diff)s         - unified diff of the patch
-  %(fromauth)s     - 'From: author\\n\\n' if different from sender
+  %(fromauth)s     - 'From: author\n\n' if different from sender
   %(longdescr)s    - the rest of the patch description, after the first line
   %(patch)s        - patch name
   %(prefix)s       - 'prefix ' string passed on the command line
   %(shortdescr)s   - the first line of the patch description"""
 
-directory = DirectoryHasRepository()
-options = [make_option('-a', '--all',
-                       help = 'e-mail all the applied patches',
-                       action = 'store_true'),
-           make_option('--to',
-                       help = 'add TO to the To: list',
-                       action = 'append'),
-           make_option('--cc',
-                       help = 'add CC to the Cc: list',
-                       action = 'append'),
-           make_option('--bcc',
-                       help = 'add BCC to the Bcc: list',
-                       action = 'append'),
-           make_option('--auto',
-                       help = 'automatically cc the patch signers',
-                       action = 'store_true'),
-           make_option('--noreply',
-                       help = 'do not send subsequent messages as replies',
-                       action = 'store_true'),
-           make_option('--unrelated',
-                       help = 'send patches without sequence numbering',
-                       action = 'store_true'),
-           make_option('--attach',
-                       help = 'send a patch as attachment',
-                       action = 'store_true'),
-           make_option('-v', '--version', metavar = 'VERSION',
-                       help = 'add VERSION to the [PATCH ...] prefix'),
-           make_option('--prefix', metavar = 'PREFIX',
-                       help = 'add PREFIX to the [... PATCH ...] prefix'),
-           make_option('-t', '--template', metavar = 'FILE',
-                       help = 'use FILE as the message template'),
-           make_option('-c', '--cover', metavar = 'FILE',
-                       help = 'send FILE as the cover message'),
-           make_option('-e', '--edit-cover',
-                       help = 'edit the cover message before sending',
-                       action = 'store_true'),
-           make_option('-E', '--edit-patches',
-                       help = 'edit each patch before sending',
-                       action = 'store_true'),
-           make_option('-s', '--sleep', type = 'int', metavar = 'SECONDS',
-                       help = 'sleep for SECONDS between e-mails sending'),
-           make_option('--refid',
-                       help = 'use REFID as the reference id'),
-           make_option('--smtp-server', metavar = 'HOST[:PORT]',
-                       help = 'SMTP server to use for sending mail'),
-           make_option('-u', '--smtp-user', metavar = 'USER',
-                       help = 'username for SMTP authentication'),
-           make_option('-p', '--smtp-password', metavar = 'PASSWORD',
-                       help = 'username for SMTP authentication'),
-           make_option('-T', '--smtp-tls',
-                       help = 'use SMTP with TLS encryption',
-                       action = 'store_true'),
-           make_option('-b', '--branch',
-                       help = 'use BRANCH instead of the default one'),
-           make_option('-O', '--diff-opts',
-                       help = 'options to pass to git diff'),
-           make_option('-m', '--mbox',
-                       help = 'generate an mbox file instead of sending',
-                       action = 'store_true')]
-
+args = [argparse.patch_range(argparse.applied_patches,
+                             argparse.unapplied_patches,
+                             argparse.hidden_patches)]
+options = [
+    opt('-a', '--all', action = 'store_true',
+        short = 'E-mail all the applied patches'),
+    opt('--to', action = 'append',
+        short = 'Add TO to the To: list'),
+    opt('--cc', action = 'append',
+        short = 'Add CC to the Cc: list'),
+    opt('--bcc', action = 'append',
+        short = 'Add BCC to the Bcc: list'),
+    opt('--auto', action = 'store_true',
+        short = 'Automatically cc the patch signers'),
+    opt('--noreply', action = 'store_true',
+        short = 'Do not send subsequent messages as replies'),
+    opt('--unrelated', action = 'store_true',
+        short = 'Send patches without sequence numbering'),
+    opt('--attach', action = 'store_true',
+        short = 'Send a patch as attachment'),
+    opt('-v', '--version', metavar = 'VERSION',
+        short = 'Add VERSION to the [PATCH ...] prefix'),
+    opt('--prefix', metavar = 'PREFIX',
+        short = 'Add PREFIX to the [... PATCH ...] prefix'),
+    opt('-t', '--template', metavar = 'FILE',
+        short = 'Use FILE as the message template'),
+    opt('-c', '--cover', metavar = 'FILE',
+        short = 'Send FILE as the cover message'),
+    opt('-e', '--edit-cover', action = 'store_true',
+        short = 'Edit the cover message before sending'),
+    opt('-E', '--edit-patches', action = 'store_true',
+        short = 'Edit each patch before sending'),
+    opt('-s', '--sleep', type = 'int', metavar = 'SECONDS',
+        short = 'Sleep for SECONDS between e-mails sending'),
+    opt('--refid',
+        short = 'Use REFID as the reference id'),
+    opt('--smtp-server', metavar = 'HOST[:PORT] or "/path/to/sendmail -t -i"',
+        short = 'SMTP server or command to use for sending mail'),
+    opt('-u', '--smtp-user', metavar = 'USER',
+        short = 'Username for SMTP authentication'),
+    opt('-p', '--smtp-password', metavar = 'PASSWORD',
+        short = 'Password for SMTP authentication'),
+    opt('-T', '--smtp-tls', action = 'store_true',
+        short = 'Use SMTP with TLS encryption'),
+    opt('-b', '--branch', args = [argparse.stg_branches],
+        short = 'Use BRANCH instead of the default branch'),
+    opt('-m', '--mbox', action = 'store_true',
+        short = 'Generate an mbox file instead of sending')
+    ] + argparse.diff_opts_option()
+
+directory = DirectoryHasRepository(log = False)
 
 def __get_sender():
     """Return the 'authname <authemail>' string as read from the
@@ -160,20 +154,25 @@ def __get_sender():
         try:
             sender = str(git.user())
         except git.GitException:
-            sender = str(git.author())
-
+            try:
+                sender = str(git.author())
+            except git.GitException:
+                pass
     if not sender:
-        raise CmdException, 'unknown sender details'
+        raise CmdException, ('Unknown sender name and e-mail; you should'
+                             ' for example set git config user.name and'
+                             ' user.email')
+    sender = email.Utils.parseaddr(sender)
+
+    return email.Utils.formataddr(address_or_alias(sender))
 
-    return address_or_alias(sender)
+def __addr_list(msg, header):
+    return [addr for name, addr in
+            email.Utils.getaddresses(msg.get_all(header, []))]
 
 def __parse_addresses(msg):
     """Return a two elements tuple: (from, [to])
     """
-    def __addr_list(msg, header):
-        return [name_addr[1] for name_addr in
-                email.Utils.getaddresses(msg.get_all(header, []))]
-
     from_addr_list = __addr_list(msg, 'From')
     if len(from_addr_list) == 0:
         raise CmdException, 'No "From" address'
@@ -183,10 +182,16 @@ def __parse_addresses(msg):
     if len(to_addr_list) == 0:
         raise CmdException, 'No "To/Cc/Bcc" addresses'
 
-    return (from_addr_list[0], to_addr_list)
+    return (from_addr_list[0], set(to_addr_list))
+
+def __send_message_sendmail(sendmail, msg):
+    """Send the message using the sendmail command.
+    """
+    cmd = sendmail.split()
+    Run(*cmd).raw_input(msg).discard_output()
 
-def __send_message(smtpserver, from_addr, to_addr_list, msg, sleep,
-                   smtpuser, smtppassword, use_tls):
+def __send_message_smtp(smtpserver, from_addr, to_addr_list, msg,
+                        smtpuser, smtppassword, use_tls):
     """Send the message using the given SMTP server
     """
     try:
@@ -208,29 +213,47 @@ def __send_message(smtpserver, from_addr, to_addr_list, msg, sleep,
         result = s.sendmail(from_addr, to_addr_list, msg)
         if len(result):
             print "mail server refused delivery for the following recipients: %s" % result
-        # give recipients a chance of receiving patches in the correct order
-        time.sleep(sleep)
     except Exception, err:
         raise CmdException, str(err)
 
     s.quit()
 
+def __send_message(smtpserver, from_addr, to_addr_list, msg,
+                   sleep, smtpuser, smtppassword, use_tls):
+    """Message sending dispatcher.
+    """
+    if smtpserver.startswith('/'):
+        # Use the sendmail tool
+        __send_message_sendmail(smtpserver, msg)
+    else:
+        # Use the SMTP server (we have host and port information)
+        __send_message_smtp(smtpserver, from_addr, to_addr_list, msg,
+                            smtpuser, smtppassword, use_tls)
+    # give recipients a chance of receiving patches in the correct order
+    time.sleep(sleep)
+
 def __build_address_headers(msg, options, extra_cc = []):
     """Build the address headers and check existing headers in the
     template.
     """
-    def __replace_header(header, addr):
-        if addr:
-            crt_addr = msg[header]
-            del msg[header]
-
-            if crt_addr:
-                msg[header] = address_or_alias(', '.join([crt_addr, addr]))
-            else:
-                msg[header] = address_or_alias(addr)
+    def __addr_pairs(msg, header, extra):
+        pairs = email.Utils.getaddresses(msg.get_all(header, []) + extra)
+        # remove pairs without an address and resolve the aliases
+        return [address_or_alias(p) for p in pairs if p[1]]
+
+    def __update_header(header, addr = '', ignore = ()):
+        addr_pairs = __addr_pairs(msg, header, [addr])
+        del msg[header]
+        # remove the duplicates and filter the addresses
+        addr_dict = dict((addr, email.Utils.formataddr((name, addr)))
+                         for name, addr in addr_pairs if addr not in ignore)
+        if addr_dict:
+            msg[header] = ', '.join(addr_dict.itervalues())
+        return set(addr_dict.iterkeys())
 
     to_addr = ''
     cc_addr = ''
+    extra_cc_addr = ''
     bcc_addr = ''
 
     autobcc = config.get('stgit.autobcc') or ''
@@ -238,26 +261,44 @@ def __build_address_headers(msg, options, extra_cc = []):
     if options.to:
         to_addr = ', '.join(options.to)
     if options.cc:
-        cc_addr = ', '.join(options.cc + extra_cc)
-        cc_addr = ', '.join(options.cc + extra_cc)
-    elif extra_cc:
-        cc_addr = ', '.join(extra_cc)
+        cc_addr = ', '.join(options.cc)
+    if extra_cc:
+        extra_cc_addr = ', '.join(extra_cc)
     if options.bcc:
         bcc_addr = ', '.join(options.bcc + [autobcc])
     elif autobcc:
         bcc_addr = autobcc
 
-    __replace_header('To', to_addr)
-    __replace_header('Cc', cc_addr)
-    __replace_header('Bcc', bcc_addr)
+    # if an address is on a header, ignore it from the rest
+    to_set = __update_header('To', to_addr)
+    cc_set = __update_header('Cc', cc_addr, to_set)
+    bcc_set = __update_header('Bcc', bcc_addr, to_set.union(cc_set))
+
+    # --auto generated addresses, don't include the sender
+    from_set = __update_header('From')
+    __update_header('Cc', extra_cc_addr, to_set.union(bcc_set).union(from_set))
+
+    # update other address headers
+    __update_header('Reply-To')
+    __update_header('Mail-Reply-To')
+    __update_header('Mail-Followup-To')
 
 def __get_signers_list(msg):
     """Return the address list generated from signed-off-by and
     acked-by lines in the message.
     """
     addr_list = []
-
-    r = re.compile('^(signed-off-by|acked-by|cc):\s+(.+)$', re.I)
+    tags = '%s|%s|%s|%s|%s|%s|%s' % (
+            'signed-off-by',
+            'acked-by',
+            'cc',
+            'reviewed-by',
+            'reported-by',
+            'tested-by',
+            'reported-and-tested-by')
+    regex = '^(%s):\s+(.+)$' % tags
+
+    r = re.compile(regex, re.I)
     for line in msg.split('\n'):
         m = r.match(line)
         if m:
@@ -276,7 +317,7 @@ def __build_extra_headers(msg, msg_id, ref_id = None):
         ref_id = '<%s>' % ref_id.strip(' \t\n<>')
         msg['In-Reply-To'] = ref_id
         msg['References'] = ref_id
-    msg['User-Agent'] = 'StGIT/%s' % version.version
+    msg['User-Agent'] = 'StGit/%s' % version.version
 
 def __encode_message(msg):
     # 7 or 8 bit encoding
@@ -347,11 +388,6 @@ def __build_cover(tmpl, patches, msg_id, options):
     else:
         number_str = ''
 
-    if options.diff_opts:
-        diff_flags = options.diff_opts.split()
-    else:
-        diff_flags = []
-
     tmpl_dict = {'sender':       sender,
                  # for backward template compatibility
                  'maintainer':   sender,
@@ -366,10 +402,10 @@ def __build_cover(tmpl, patches, msg_id, options):
                  'number':       number_str,
                  'shortlog':     stack.shortlog(crt_series.get_patch(p)
                                                 for p in patches),
-                 'diffstat':     git.diffstat(
-                     rev1 = git_id(crt_series, '%s//bottom' % patches[0]),
-                     rev2 = git_id(crt_series, '%s//top' % patches[-1]),
-                     diff_flags = diff_flags)}
+                 'diffstat':     gitlib.diffstat(git.diff(
+                     rev1 = git_id(crt_series, '%s^' % patches[0]),
+                     rev2 = git_id(crt_series, '%s' % patches[-1]),
+                     diff_flags = options.diff_flags))}
 
     try:
         msg_string = tmpl % tmpl_dict
@@ -408,8 +444,8 @@ def __build_message(tmpl, patch, patch_nr, total_nr, msg_id, ref_id, options):
         options.edit_patches = True
 
     descr_lines = descr.split('\n')
-    short_descr = descr_lines[0].rstrip()
-    long_descr = '\n'.join(descr_lines[1:]).lstrip()
+    short_descr = descr_lines[0].strip()
+    long_descr = '\n'.join(l.rstrip() for l in descr_lines[1:]).lstrip('\n')
 
     authname = p.get_authname();
     authemail = p.get_authemail();
@@ -437,11 +473,6 @@ def __build_message(tmpl, patch, patch_nr, total_nr, msg_id, ref_id, options):
             prefix_str = confprefix + ' '
         else:
             prefix_str = ''
-        
-    if options.diff_opts:
-        diff_flags = options.diff_opts.split()
-    else:
-        diff_flags = []
 
     total_nr_str = str(total_nr)
     patch_nr_str = str(patch_nr).zfill(len(total_nr_str))
@@ -450,6 +481,9 @@ def __build_message(tmpl, patch, patch_nr, total_nr, msg_id, ref_id, options):
     else:
         number_str = ''
 
+    diff = git.diff(rev1 = git_id(crt_series, '%s^' % patch),
+                    rev2 = git_id(crt_series, '%s' % patch),
+                    diff_flags = options.diff_flags)
     tmpl_dict = {'patch':        patch,
                  'sender':       sender,
                  # for backward template compatibility
@@ -458,14 +492,8 @@ def __build_message(tmpl, patch, patch_nr, total_nr, msg_id, ref_id, options):
                  'longdescr':    long_descr,
                  # for backward template compatibility
                  'endofheaders': '',
-                 'diff':         git.diff(
-                     rev1 = git_id(crt_series, '%s//bottom' % patch),
-                     rev2 = git_id(crt_series, '%s//top' % patch),
-                     diff_flags = diff_flags),
-                 'diffstat':     git.diffstat(
-                     rev1 = git_id(crt_series, '%s//bottom'%patch),
-                     rev2 = git_id(crt_series, '%s//top' % patch),
-                     diff_flags = diff_flags),
+                 'diff':         diff,
+                 'diffstat':     gitlib.diffstat(diff),
                  # for backward template compatibility
                  'date':         '',
                  'version':      version_str,
@@ -529,6 +557,9 @@ def func(parser, options, args):
     else:
         raise CmdException, 'Incorrect options. Unknown patches to send'
 
+    # early test for sender identity
+    __get_sender()
+
     out.start('Checking the validity of the patches')
     for p in patches:
         if crt_series.empty_patch(p):