Fix the reset command to set HEAD to a proper id
[stgit] / stgit / git.py
index e4aacd5..a3488ff 100644 (file)
@@ -18,7 +18,7 @@ along with this program; if not, write to the Free Software
 Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
 """
 
-import sys, os, glob, popen2
+import sys, os, popen2
 
 from stgit.utils import *
 
@@ -27,13 +27,6 @@ class GitException(Exception):
     pass
 
 
-# Different start-up variables read from the environment
-if 'GIT_DIR' in os.environ:
-    base_dir = os.environ['GIT_DIR']
-else:
-    base_dir = '.git'
-
-head_link = os.path.join(base_dir, 'HEAD')
 
 #
 # Classes
@@ -45,6 +38,7 @@ class Commit:
         self.__id_hash = id_hash
 
         lines = _output_lines('git-cat-file commit %s' % id_hash)
+        self.__parents = []
         for i in range(len(lines)):
             line = lines[i]
             if line == '\n':
@@ -53,12 +47,12 @@ class Commit:
             if field[0] == 'tree':
                 self.__tree = field[1]
             elif field[0] == 'parent':
-                self.__parent = field[1]
+                self.__parents.append(field[1])
             if field[0] == 'author':
                 self.__author = field[1]
-            if field[0] == 'comitter':
+            if field[0] == 'committer':
                 self.__committer = field[1]
-        self.__log = ''.join(lines[i:])
+        self.__log = ''.join(lines[i+1:])
 
     def get_id_hash(self):
         return self.__id_hash
@@ -67,7 +61,10 @@ class Commit:
         return self.__tree
 
     def get_parent(self):
-        return self.__parent
+        return self.__parents[0]
+
+    def get_parents(self):
+        return self.__parents
 
     def get_author(self):
         return self.__author
@@ -75,16 +72,30 @@ class Commit:
     def get_committer(self):
         return self.__committer
 
+    def get_log(self):
+        return self.__log
+
 # dictionary of Commit objects, used to avoid multiple calls to git
 __commits = dict()
 
 #
 # Functions
 #
+
+def get_base_dir():
+    """Different start-up variables read from the environment
+    """
+    if 'GIT_DIR' in os.environ:
+        return os.environ['GIT_DIR']
+    else:
+        return _output_one_line('git-rev-parse --git-dir')
+
 def get_commit(id_hash):
     """Commit objects factory. Save/look-up them in the __commits
     dictionary
     """
+    global __commits
+
     if id_hash in __commits:
         return __commits[id_hash]
     else:
@@ -95,7 +106,7 @@ def get_commit(id_hash):
 def get_conflicts():
     """Return the list of file conflicts
     """
-    conflicts_file = os.path.join(base_dir, 'conflicts')
+    conflicts_file = os.path.join(get_base_dir(), 'conflicts')
     if os.path.isfile(conflicts_file):
         f = file(conflicts_file)
         names = [line.strip() for line in f.readlines()]
@@ -105,29 +116,36 @@ def get_conflicts():
         return None
 
 def _input(cmd, file_desc):
-    p = popen2.Popen3(cmd)
-    for line in file_desc:
+    p = popen2.Popen3(cmd, True)
+    while True:
+        line = file_desc.readline()
+        if not line:
+            break
         p.tochild.write(line)
     p.tochild.close()
     if p.wait():
         raise GitException, '%s failed' % str(cmd)
 
 def _output(cmd):
-    p=popen2.Popen3(cmd)
-    string = p.fromchild.read()
+    p=popen2.Popen3(cmd, True)
+    output = p.fromchild.read()
     if p.wait():
         raise GitException, '%s failed' % str(cmd)
-    return string
-
-def _output_one_line(cmd):
-    p=popen2.Popen3(cmd)
-    string = p.fromchild.readline().strip()
+    return output
+
+def _output_one_line(cmd, file_desc = None):
+    p=popen2.Popen3(cmd, True)
+    if file_desc != None:
+        for line in file_desc:
+            p.tochild.write(line)
+        p.tochild.close()
+    output = p.fromchild.readline().strip()
     if p.wait():
         raise GitException, '%s failed' % str(cmd)
-    return string
+    return output
 
 def _output_lines(cmd):
-    p=popen2.Popen3(cmd)
+    p=popen2.Popen3(cmd, True)
     lines = p.fromchild.readlines()
     if p.wait():
         raise GitException, '%s failed' % str(cmd)
@@ -152,26 +170,25 @@ def __run(cmd, args=None):
         return r
     return 0
 
-def __check_base_dir():
-    return os.path.isdir(base_dir)
-
-def __tree_status(files = [], tree_id = 'HEAD', unknown = False,
+def __tree_status(files = None, tree_id = 'HEAD', unknown = False,
                   noexclude = True):
     """Returns a list of pairs - [status, filename]
     """
-    os.system('git-update-cache --refresh > /dev/null')
+    refresh_index()
 
+    if not files:
+        files = []
     cache_files = []
 
     # unknown files
     if unknown:
-        exclude_file = os.path.join(base_dir, 'info', 'exclude')
+        exclude_file = os.path.join(get_base_dir(), 'info', 'exclude')
         base_exclude = ['--exclude=%s' % s for s in
                         ['*.[ao]', '*.pyc', '.*', '*~', '#*', 'TAGS', 'tags']]
         base_exclude.append('--exclude-per-directory=.gitignore')
 
         if os.path.exists(exclude_file):
-            extra_exclude = '--exclude-from=%s' % exclude_file
+            extra_exclude = ['--exclude-from=%s' % exclude_file]
         else:
             extra_exclude = []
         if noexclude:
@@ -188,7 +205,7 @@ def __tree_status(files = [], tree_id = 'HEAD', unknown = False,
     cache_files += [('C', filename) for filename in conflicts]
 
     # the rest
-    for line in _output_lines(['git-diff-cache', '-r', tree_id] + files):
+    for line in _output_lines(['git-diff-index', tree_id] + files):
         fs = tuple(line.rstrip().split(' ',4)[-1].split('\t',1))
         if fs[1] not in conflicts:
             cache_files.append(fs)
@@ -200,24 +217,133 @@ def local_changes():
     """
     return len(__tree_status()) != 0
 
+# HEAD value cached
+__head = None
+
 def get_head():
-    """Returns a string representing the HEAD
+    """Verifies the HEAD and returns the SHA1 id that represents it
     """
-    return read_string(head_link)
+    global __head
+
+    if not __head:
+        __head = rev_parse('HEAD')
+    return __head
 
 def get_head_file():
     """Returns the name of the file pointed to by the HEAD link
     """
-    # valid link
-    if os.path.islink(head_link) and os.path.isfile(head_link):
-        return os.path.basename(os.readlink(head_link))
-    else:
-        raise GitException, 'Invalid .git/HEAD link. Git tree not initialised?'
+    return os.path.basename(_output_one_line('git-symbolic-ref HEAD'))
+
+def set_head_file(ref):
+    """Resets HEAD to point to a new ref
+    """
+    # head cache flushing is needed since we might have a different value
+    # in the new head
+    __clear_head_cache()
+    if __run('git-symbolic-ref HEAD', [ref]) != 0:
+        raise GitException, 'Could not set head to "%s"' % ref
 
 def __set_head(val):
     """Sets the HEAD value
     """
-    write_string(head_link, val)
+    global __head
+
+    if not __head or __head != val:
+        if __run('git-update-ref HEAD', [val]) != 0:
+            raise GitException, 'Could not update HEAD to "%s".' % val
+        __head = val
+
+    # only allow SHA1 hashes
+    assert(len(__head) == 40)
+
+def __clear_head_cache():
+    """Sets the __head to None so that a re-read is forced
+    """
+    global __head
+
+    __head = None
+
+def refresh_index():
+    """Refresh index with stat() information from the working directory.
+    """
+    __run('git-update-index -q --unmerged --refresh')
+
+def rev_parse(git_id):
+    """Parse the string and return a verified SHA1 id
+    """
+    try:
+        return _output_one_line(['git-rev-parse', '--verify', git_id])
+    except GitException:
+        raise GitException, 'Unknown revision: %s' % git_id
+
+def branch_exists(branch):
+    """Existence check for the named branch
+    """
+    for line in _output_lines(['git-rev-parse', '--symbolic', '--all']):
+        if line.strip() == branch:
+            return True
+    return False
+
+def create_branch(new_branch, tree_id = None):
+    """Create a new branch in the git repository
+    """
+    new_head = os.path.join('refs', 'heads', new_branch)
+    if branch_exists(new_head):
+        raise GitException, 'Branch "%s" already exists' % new_branch
+
+    current_head = get_head()
+    set_head_file(new_head)
+    __set_head(current_head)
+
+    # a checkout isn't needed if new branch points to the current head
+    if tree_id:
+        switch(tree_id)
+
+    if os.path.isfile(os.path.join(get_base_dir(), 'MERGE_HEAD')):
+        os.remove(os.path.join(get_base_dir(), 'MERGE_HEAD'))
+
+def switch_branch(name):
+    """Switch to a git branch
+    """
+    global __head
+
+    new_head = os.path.join('refs', 'heads', name)
+    if not branch_exists(new_head):
+        raise GitException, 'Branch "%s" does not exist' % name
+
+    tree_id = rev_parse(new_head + '^{commit}')
+    if tree_id != get_head():
+        refresh_index()
+        if __run('git-read-tree -u -m', [get_head(), tree_id]) != 0:
+            raise GitException, 'git-read-tree failed (local changes maybe?)'
+        __head = tree_id
+    set_head_file(new_head)
+
+    if os.path.isfile(os.path.join(get_base_dir(), 'MERGE_HEAD')):
+        os.remove(os.path.join(get_base_dir(), 'MERGE_HEAD'))
+
+def delete_branch(name):
+    """Delete a git branch
+    """
+    branch_head = os.path.join('refs', 'heads', name)
+    if not branch_exists(branch_head):
+        raise GitException, 'Branch "%s" does not exist' % name
+    os.remove(os.path.join(get_base_dir(), branch_head))
+
+def rename_branch(from_name, to_name):
+    """Rename a git branch
+    """
+    from_head = os.path.join('refs', 'heads', from_name)
+    if not branch_exists(from_head):
+        raise GitException, 'Branch "%s" does not exist' % from_name
+    to_head = os.path.join('refs', 'heads', to_name)
+    if branch_exists(to_head):
+        raise GitException, 'Branch "%s" already exists' % to_name
+
+    if get_head_file() == from_name:
+        set_head_file(to_head)
+    os.rename(os.path.join(get_base_dir(), from_head), \
+              os.path.join(get_base_dir(), to_head))
 
 def add(names):
     """Add the files or recursively add the directory contents
@@ -240,30 +366,28 @@ def add(names):
             raise GitException, '%s is not a file or directory' % i
 
     if files:
-        if __run('git-update-cache --add --', files):
+        if __run('git-update-index --add --', files):
             raise GitException, 'Unable to add file'
 
 def rm(files, force = False):
     """Remove a file from the repository
     """
-    if force:
-        git_opt = '--force-remove'
-    else:
-        git_opt = '--remove'
-
     if not force:
         for f in files:
             if os.path.exists(f):
                 raise GitException, '%s exists. Remove it first' %f
         if files:
-            __run('git-update-cache --remove --', files)
+            __run('git-update-index --remove --', files)
     else:
         if files:
-            __run('git-update-cache --force-remove --', files)
+            __run('git-update-index --force-remove --', files)
 
-def update_cache(files = [], force = False):
+def update_cache(files = None, force = False):
     """Update the cache information for the given files
     """
+    if not files:
+        files = []
+
     cache_files = __tree_status(files)
 
     # everything is up-to-date
@@ -280,21 +404,26 @@ def update_cache(files = [], force = False):
     rm_files =  [x[1] for x in cache_files if x[0] in ['D']]
     m_files =   [x[1] for x in cache_files if x[0] in ['M']]
 
-    if add_files and __run('git-update-cache --add --', add_files) != 0:
-        raise GitException, 'Failed git-update-cache --add'
-    if rm_files and __run('git-update-cache --force-remove --', rm_files) != 0:
-        raise GitException, 'Failed git-update-cache --rm'
-    if m_files and __run('git-update-cache --', m_files) != 0:
-        raise GitException, 'Failed git-update-cache'
+    if add_files and __run('git-update-index --add --', add_files) != 0:
+        raise GitException, 'Failed git-update-index --add'
+    if rm_files and __run('git-update-index --force-remove --', rm_files) != 0:
+        raise GitException, 'Failed git-update-index --rm'
+    if m_files and __run('git-update-index --', m_files) != 0:
+        raise GitException, 'Failed git-update-index'
 
     return True
 
-def commit(message, files = [], parents = [], allowempty = False,
-           cache_update = True,
+def commit(message, files = None, parents = None, allowempty = False,
+           cache_update = True, tree_id = None,
            author_name = None, author_email = None, author_date = None,
            committer_name = None, committer_email = None):
     """Commit the current tree to repository
     """
+    if not files:
+        files = []
+    if not parents:
+        parents = []
+
     # Get the tree status
     if cache_update and parents != []:
         changes = update_cache(files)
@@ -302,15 +431,15 @@ def commit(message, files = [], parents = [], allowempty = False,
             raise GitException, 'No changes to commit'
 
     # get the commit message
-    f = file('.commitmsg', 'w+')
-    if message[-1:] == '\n':
-        f.write(message)
-    else:
-        print >> f, message
-    f.close()
+    if message[-1:] != '\n':
+        message += '\n'
 
+    must_switch = True
     # write the index to repository
-    tree_id = _output_one_line('git-write-tree')
+    if tree_id == None:
+        tree_id = _output_one_line('git-write-tree')
+    else:
+        must_switch = False
 
     # the commit
     cmd = ''
@@ -330,29 +459,40 @@ def commit(message, files = [], parents = [], allowempty = False,
     for p in parents:
         cmd += ' -p %s' % p
 
-    cmd += ' < .commitmsg'
-
-    commit_id = _output_one_line(cmd)
-    __set_head(commit_id)
-    os.remove('.commitmsg')
+    commit_id = _output_one_line(cmd, message)
+    if must_switch:
+        __set_head(commit_id)
 
     return commit_id
 
+def apply_diff(rev1, rev2):
+    """Apply the diff between rev1 and rev2 onto the current
+    index. This function doesn't need to raise an exception since it
+    is only used for fast-pushing a patch. If this operation fails,
+    the pushing would fall back to the three-way merge.
+    """
+    return os.system('git-diff-tree -p %s %s | git-apply --index 2> /dev/null'
+                     % (rev1, rev2)) == 0
+
 def merge(base, head1, head2):
     """Perform a 3-way merge between base, head1 and head2 into the
     local tree
     """
+    refresh_index()
     if __run('git-read-tree -u -m', [base, head1, head2]) != 0:
         raise GitException, 'git-read-tree failed (local changes maybe?)'
 
     # this can fail if there are conflicts
-    if os.system('git-merge-cache -o gitmergeonefile.py -a') != 0:
-        raise GitException, 'git-merge-cache failed (possible conflicts)'
+    if __run('git-merge-index -o -q gitmergeonefile.py -a') != 0:
+        raise GitException, 'git-merge-index failed (possible conflicts)'
 
-def status(files = [], modified = False, new = False, deleted = False,
+def status(files = None, modified = False, new = False, deleted = False,
            conflict = False, unknown = False, noexclude = False):
     """Show the tree status
     """
+    if not files:
+        files = []
+
     cache_files = __tree_status(files, unknown = True, noexclude = noexclude)
     all = not (modified or new or deleted or conflict or unknown)
 
@@ -377,52 +517,72 @@ def status(files = [], modified = False, new = False, deleted = False,
         else:
             print '%s' % fs[1]
 
-def diff(files = [], rev1 = 'HEAD', rev2 = None, out_fd = None):
+def diff(files = None, rev1 = 'HEAD', rev2 = None, out_fd = None):
     """Show the diff between rev1 and rev2
     """
-    os.system('git-update-cache --refresh > /dev/null')
+    if not files:
+        files = []
 
-    if rev2:
+    if rev1 and rev2:
         diff_str = _output(['git-diff-tree', '-p', rev1, rev2] + files)
+    elif rev1 or rev2:
+        refresh_index()
+        if rev2:
+            diff_str = _output(['git-diff-index', '-p', '-R', rev2] + files)
+        else:
+            diff_str = _output(['git-diff-index', '-p', rev1] + files)
     else:
-        diff_str = _output(['git-diff-cache', '-p', rev1] + files)
+        diff_str = ''
 
     if out_fd:
         out_fd.write(diff_str)
     else:
         return diff_str
 
-def diffstat(files = [], rev1 = 'HEAD', rev2 = None):
+def diffstat(files = None, rev1 = 'HEAD', rev2 = None):
     """Return the diffstat between rev1 and rev2
     """
+    if not files:
+        files = []
 
-    os.system('git-update-cache --refresh > /dev/null')
     p=popen2.Popen3('git-apply --stat')
     diff(files, rev1, rev2, p.tochild)
     p.tochild.close()
-    str = p.fromchild.read().rstrip()
+    diff_str = p.fromchild.read().rstrip()
     if p.wait():
         raise GitException, 'git.diffstat failed'
-    return str
+    return diff_str
 
 def files(rev1, rev2):
     """Return the files modified between rev1 and rev2
     """
-    os.system('git-update-cache --refresh > /dev/null')
 
-    str = ''
+    result = ''
+    for line in _output_lines('git-diff-tree -r %s %s' % (rev1, rev2)):
+        result += '%s %s\n' % tuple(line.rstrip().split(' ',4)[-1].split('\t',1))
+
+    return result.rstrip()
+
+def barefiles(rev1, rev2):
+    """Return the files modified between rev1 and rev2, without status info
+    """
+
+    result = ''
     for line in _output_lines('git-diff-tree -r %s %s' % (rev1, rev2)):
-        str += '%s %s\n' % tuple(line.rstrip().split(' ',4)[-1].split('\t',1))
+        result += '%s\n' % line.rstrip().split(' ',4)[-1].split('\t',1)[-1]
 
-    return str.rstrip()
+    return result.rstrip()
 
-def checkout(files = [], tree_id = None, force = False):
+def checkout(files = None, tree_id = None, force = False):
     """Check out the given or all files
     """
+    if not files:
+        files = []
+
     if tree_id and __run('git-read-tree -m', [tree_id]) != 0:
         raise GitException, 'Failed git-read-tree -m %s' % tree_id
 
-    checkout_cmd = 'git-checkout-cache -q -u'
+    checkout_cmd = 'git-checkout-index -q -u'
     if force:
         checkout_cmd += ' -f'
     if len(files) == 0:
@@ -431,36 +591,37 @@ def checkout(files = [], tree_id = None, force = False):
         checkout_cmd += ' --'
 
     if __run(checkout_cmd, files) != 0:
-        raise GitException, 'Failed git-checkout-cache'
+        raise GitException, 'Failed git-checkout-index'
 
 def switch(tree_id):
     """Switch the tree to the given id
     """
+    refresh_index()
     if __run('git-read-tree -u -m', [get_head(), tree_id]) != 0:
         raise GitException, 'git-read-tree failed (local changes maybe?)'
 
     __set_head(tree_id)
 
-def reset(tree_id = None):
+def reset(files = None, tree_id = None):
     """Revert the tree changes relative to the given tree_id. It removes
     any local changes
     """
     if not tree_id:
         tree_id = get_head()
 
-    cache_files = __tree_status(tree_id = tree_id)
-    rm_files =  [x[1] for x in cache_files if x[0] in ['D']]
-
-    checkout(tree_id = tree_id, force = True)
-    __set_head(tree_id)
+    checkout(files, tree_id, True)
 
-    # checkout doesn't remove files
-    map(os.remove, rm_files)
+    # if the reset refers to the whole tree, switch the HEAD as well
+    if not files:
+        __set_head(tree_id)
 
 def pull(repository = 'origin', refspec = None):
     """Pull changes from the remote repository. At the moment, just
     use the 'git pull' command
     """
+    # 'git pull' updates the HEAD
+    __clear_head_cache()
+
     args = [repository]
     if refspec:
         args.append(refspec)
@@ -468,17 +629,35 @@ def pull(repository = 'origin', refspec = None):
     if __run('git pull', args) != 0:
         raise GitException, 'Failed "git pull %s"' % repository
 
-def apply_patch(filename = None):
-    """Apply a patch onto the current index. There must not be any
-    local changes in the tree, otherwise the command fails
+def apply_patch(filename = None, base = None):
+    """Apply a patch onto the current or given index. There must not
+    be any local changes in the tree, otherwise the command fails
     """
-    os.system('git-update-cache --refresh > /dev/null')
-
-    if filename:
-        if __run('git-apply --index', [filename]) != 0:
-            raise GitException, 'Patch does not apply cleanly'
+    def __apply_patch():
+        if filename:
+            return __run('git-apply --index', [filename]) == 0
+        else:
+            try:
+                _input('git-apply --index', sys.stdin)
+            except GitException:
+                return False
+            return True
+
+    if base:
+        orig_head = get_head()
+        switch(base)
     else:
-        _input('git-apply --index', sys.stdin)
+        refresh_index()         # needed since __apply_patch() doesn't do it
+
+    if not __apply_patch():
+        if base:
+            switch(orig_head)
+        raise GitException, 'Patch does not apply cleanly'
+    elif base:
+        top = commit(message = 'temporary commit used for applying a patch',
+                     parents = [base])
+        switch(orig_head)
+        merge(base, orig_head, top)
 
 def clone(repository, local_dir):
     """Clone a remote repository. At the moment, just use the
@@ -487,3 +666,11 @@ def clone(repository, local_dir):
     if __run('git clone', [repository, local_dir]) != 0:
         raise GitException, 'Failed "git clone %s %s"' \
               % (repository, local_dir)
+
+def modifying_revs(files, base_rev):
+    """Return the revisions from the list modifying the given files
+    """
+    cmd = ['git-rev-list', '%s..' % base_rev, '--']
+    revs = [line.strip() for line in _output_lines(cmd + files)]
+
+    return revs