catacomb/pwsafe.py: Hack around the difference in octal literal syntax.

Python 2.5 wants `0DIGITS', while Python 3 insists on `0oDIGITS'.  The
latter is prettier, but the difference is annoying.  We only need these
for Unix permissions, so just set up the ones we want in advance using
an explicit conversion from strings.

catacomb/__init__.py: Implement `rich' comparisons on rationals.

These are the only kind in Python 3, and they work everywhere.

catacomb/__init__.py: Don't try to convert text strings to `ByteString'.

This won't work in Python 3, so get used to the idea.

Fortunately, this only matters for the empty string, so use
`ByteString.zero(0)' instead.

catacomb/__init__.py: Hack because Python 3 `hex' builtin works differently.

In Python 3, the `hex' builtin function converts its operand to an
integer (using the new `__index__' special method) and then converts
that to hex, rather than calling a special method directly.  The new
`bytes' type offers a `hex' method for conversion to hex, so we do the
same here.

catacomb/__init__.py: Hack because Python 3 won't destructure arguments.

Why?!

*.py: Hack around the mapping change from `itervalues' to just `values', etc.

This change is only about accessing existing mappings.  We'll have to
set up our own mappings the hard way.

*.py: Add explicit conversions between binary and text strings.

This doesn't do anything right now, but it'll be an important hook for
porting to Python 3.

*.py: Add parentheses around `print' arguments.

For `print >>FILE', just switch to `FILE.write(...)' instead, with an
explicit newline.

*.py: Hack around Python exception-catching syntax mismatch.

There's no common syntax to capture the current exception value between
Python 2.5 and 3: the former wants

try: ...
except EXCCLS, VAR: ...

while the latter wants

try: ...
except EXCCLS as VAR: ...

Give up and dig the exception value out of `sys.exc_info()' instead.

*.py: Upgrade old-fashioned `raise' syntax.

catacomb/pwsafe.py: Add missing `.errno' projection.

mp.c: Fix misformatting.

algorithms.c: Delete a spurious blank line.

mp.c: Use newer names for the internal `long' representation parameters.

In Python 2.6, the `SHIFT' and `MASK' constants grew `PyLong_' prefixes,
but the old names were retained for compatibility; in Python 3, the old
names are gone.  Use the new names, defining them as necessary.

mp.c: Assert about the Python limb size statically.

Python extensions build with assertions off, so this was much less
helpful than it looked.

*.c: Separate string function calls according to text/binary usage.

Don't use the `PyString_...' functions directly.  Instead, define two
collections of macros `TEXT_...' and `BIN_...', which can be used on
text and binary strings respectively.  The two sets are slightly
different, because they've been designed to adapt to Python 3's
different interfaces.

There are no `PyString...' calls remaining outside of these macros.

*.c: Introduce a new input conversion for binary strings.

One of the major differences in Python 3 is that it firmly distinguishes
between binary and text strings: the former consist of small integers,
while the latter consist of Unicode scalars.  The Python 3 `s#'
conversion's main purpose is to accept text strings, and though it will
also accept binary strings it's not really ideal for the purpose.
Python 3 introduces a new conversion `y#' specifically for binary
strings, though this isn't quite what we want because, for some reason,
it /doesn't/ work with bufferish objects which require explicit release.

The best answer seems to be to introduce our own custom conversion for
binary strings, so we do this here, replacing all of the binary-input
argument conversions.  While we're at it, replace all of the by-steam
argument conversions using `PyObject_AsReadBuffer' too.

*.c: Use the new `Py_hash_t' type.

*.c: Use `PyVarObject_HEAD_INIT' to initialize type object headers.

Define a suitable version if the Python headers don't do it for us.

*.c: Use the new `Py_TYPE' and `Py_SIZE' macros; define them if necessary.

Python 2.6 introduced macros to access object header fields, which is
handy because Python 3 changes the way object headers are
structured.  (I think the binary layout is unchanged, but the C-level
structuring is definitely different.)

This is the start of Python 3 porting work.

*.c: Publish algorithm and crypto-group tables as `mapping' objects.

Previously, the algorithm tables were published as plain Python
dictionaries, and the group tables were published in a complicated way
through a read-only mapping object implemented in Python.

With the richer Python 3 mapping protocol, maintaining a separate custom
mapping object in Python seems much less attractive.  Also, the group
tables were read-only while the algorithm tables were mutable, which was
a rather unfortunate inconsistency.

Fix this mess by implementing a new simple mapping object, based on
Pyke's generic mapping machinery, and populating instances of it with
the necessary data.

pyke/mapping.c, key.c: Make the mapping code more intrusive and complete.

Previously, mapping classes would implement a minimum of Python-level
operations, such as iterating over keys and mapping lookups, and the
generic mapping code would just synthesize missing operations in terms
of these.

Instead, introduce a mapping-specific vtable pointer in object
structures which describes the mapping operations in a form similar to
mLib's `sym' interface, which is rather more efficient in terms of hash
probes, and have the generic mapping code synthesize all of the Python-
level operations from these.

Needless to say, this is very messy.  Sorry.

pyke/mapping.c: Introduce macro for unconstifying common keyword list.

pyke/pyke.c (newtype): Explicitly clear `ht_slots'.

This makes things go very badly wrong in Python 3.  I'm not sure why it
doesn't go wrong in Python 2...

*.c: Split the constant definitions into the various submodules.

pyke/pyke.[ch]: Make type skeleton structures be read-only.

We couldn't do this before because `INITTYPE_META' would write the
direct superclass to the `tp_base' slot in the skeleton before calling
`inittype'.  To make this work, then, we adjust `inittype' to take the
direct superclass as an extra argument and plug it into the newly
created heap-type; and `INITTYPE_META' needs adjusting to pass this
argument rather than trying to write to the skeleton directly.

Of course, then we need to actually mark the type skeletons as `const'.

algorithms.c, ec.c, field.c: Replace properties by member access.

algorithms.c: Fix longstanding ugly hack with new `MEMRNM' macro.

pyke/pyke.h: Add a `MEMBER' variant with explicit member name.

*.c: Use Python `METH_NOARGS' methods where applicable.

Rather than rolling our own.  We need a little extra machinery to insert
the table entries, especially for the generic mapping support, but this
still saves 95 lines of code.

The `CONVERT_CAREFULLY' macro recently added will check that we haven't
messed things up too badly.

*.c: Use Python's facilities for defining class and static methods.

These weren't available when this library was first written, but the
workaround is rather ugly and no longer necessary.

*.c: Rearrange and reformat the class methods.

This is preparation for using Python's built-in facilities for marking
static and and class methods (which weren't around when this project
started out, which is why things are the rather strange way that they
are).

*.c: Make all of the type-definition tables read-only.

The hard part is a new collection of macros which strip the `const'
qualifier from the actual table definitions, after checking that they
actually have the correct type.

And then there's the slog of actually changing all of the definitions
and using the new macros.

catacomb-python.h (GEN): Remove `const' from input table type carefully.

We have this new machinery, so we should use it.

pyke/pyke.c: Check conversions hidden inside `KWLIST' and `KWMETH'.

Introduce a new macro `CONVERT_CAREFULLY' which checks (via a rather
sleazy hack) that its operand is of the expected type before converting
it to some other type.  This is protected by an `#ifdef' guard because
I'm thinking about adding it to a version of mLib, but I want to keep
the Pyke core independent of mLib.

Use this new macro to build better versions of `KWLIST' and `KWMETH',
which have casts hidden inside them, so that we can now be certain that
the method table entries match up with the functions.  (Spoiler: they
didn't, quite, and commit 19bff42f99d41cd9b8953ff61edfe35380b54d88,
backported onto the 1.1.x branch, fixes the bug that was found by this
change.)

pyke/pyke.h, key.c: Rename `INDEXERR' to `MAPERR'.

The name `INDEXERR' was pointlessly confusing, given the existing
`IXERR' which actually raises Python's `IndexError'.  It's important,
though, that `KEYERR' be reserved for Catacomb's `KeyError' exception,
which really is an error about (cryptographic) keys.  So `MAPERR' it is.

Splice 'pyke/' prehistory from commit 'c1756f78cbf3007438b3eb2fbfbd632d070be6ca'

git-subtree-dir: pyke
git-subtree-mainline: 10e6f88a407ce04807b6ad76a81be553f8d7abaa
git-subtree-split: c1756f78cbf3007438b3eb2fbfbd632d070be6ca

(This commit was built by hand to splice the synthetic prehistory onto
the `pyke/' subtree history.)

* pyke-prehistory.head: (83 commits)
  pyke/, ...: Extract utilities into a sort-of reusable library.
  (Pruned history of `catacomb-python' begins here.)
  catacomb-python.h: Delete a stray trailing `\'.
  catacomb-python.h: Add a macro to declare module init functions.
  util.c: Replace mLib `DISCARD' with a plain `(void)' cast.
  util.c: Rewrite `addmethods' to remove dependency on <mLib/darray.h>.
  catacomb.c: Use a less awful version comparison.
  catacomb.c, util.c: Export `modname' and set it in main entry point.
  *.c: Use `Py_XDECREF' where applicable.
  *.c: Reformat docstrings.
  catacomb-python.h: Give up on Python versions prior to 2.5.
  *.c: Use Python macros rather than functions where possible.
  catacomb-python.h, *.c: Move definitions back into implementation files.
  Merge branch '1.3.x'
  Merge branch '1.2.x' into 1.3.x
  *.c: Be more careful about `PySequence_Size'.
  catacomb-python.h: Add a macro for raising `OverflowError'.
  util.c (mkexc): Populate dictionary before constructing exception class.
  catacomb.c, util.c: Publish negative constants correctly.
  field.c: Delete the completely unused `getfe' function.
  catacomb.c: Publish `RAND_IBITS' constant.
  ...

pyke/, ...: Extract utilities into a sort-of reusable library.

This commit changes no code, but it moves a lot of it about.  Tidying up
will come later.

(Pruned history of `catacomb-python' begins here.)

The code which is now the `Pyke' library used to be part of the Catacomb
Python bindings.  Beginning here is a pruned version of that history,
limited to the files which actually contributed to the `Pyke' codebase.
It was constructed from the original history, starting at revision
10e6f88a407ce04807b6ad76a81be553f8d7abaa, by running

git filter-branch --prune-empty --index-filter '
git ls-files -s | {
  mode=old
  keep=
  while read m h s f; do
    case $mode,$f in
      old,util.c | old,catacomb.c | old,catacomb-python.h)
keep="$keep $m,$h,$f" ;;
      old,pyke/*)
keep="$m,$h,${f#*/}" mode=new ;;
      new,pyke/*)
keep="$keep $m,$h,${f#*/}" ;;
    esac
    git update-index --force-remove $f
  done
  for i in $keep; do
    git update-index --add --cacheinfo $i
  done
}
' pyke-prehistory.head -- pyke/ util.c catacomb.c catacomb-python.h

and the tucking this empty commit beneath the head which actually
introduces the `pyke/' directory.  (This subterfuge is, unfortunately,
necessary for `git subtree' to construct the right history.)

pyke/, ...: Extract utilities into a sort-of reusable library.

This commit changes no code, but it moves a lot of it about.  Tidying up
will come later.

catacomb-python.h: Delete a stray trailing `\'.

This doesn't actually hurt anything because of the following blank line,
but, umm, ...

catacomb-python.h: Delete a stray trailing `\'.

This doesn't actually hurt anything because of the following blank line,
but, umm, ...

catacomb-python.h: Add a macro to declare module init functions.

catacomb-python.h: Add a macro to declare module init functions.

util.c: Replace mLib `DISCARD' with a plain `(void)' cast.

util.c: Replace mLib `DISCARD' with a plain `(void)' cast.

util.c: Rewrite `addmethods' to remove dependency on <mLib/darray.h>.

util.c: Rewrite `addmethods' to remove dependency on <mLib/darray.h>.

catacomb.c: Use a less awful version comparison.

catacomb.c: Use a less awful version comparison.

catacomb.c, util.c: Export `modname' and set it in main entry point.

This is preliminary work in splitting out the Catacomb-independent
utilities so that they can be used by other projects.

catacomb.c, util.c: Export `modname' and set it in main entry point.

This is preliminary work in splitting out the Catacomb-independent
utilities so that they can be used by other projects.

*.c: Use `Py_XDECREF' where applicable.

The Python 2.5 version of `Py_DECREF' isn't properly braced, so `if (x)
Py_DECREF(x);' provokes a dangling-`else' warning from the compiler.

*.c: Use `Py_XDECREF' where applicable.

The Python 2.5 version of `Py_DECREF' isn't properly braced, so `if (x)
Py_DECREF(x);' provokes a dangling-`else' warning from the compiler.

*.c: Reformat docstrings.

No functional changes here: just changing how the strings are
represented in the source.

*.c: Reformat docstrings.

No functional changes here: just changing how the strings are
represented in the source.

catacomb-python.h: Give up on Python versions prior to 2.5.

mp.c: Improve docstring.

*.c: Use Python macros rather than functions where possible.

pgen.c: Write a `pgen' status code as `PGST' consistently in docstrings.

catacomb-python.h, *.c: Move definitions back into implementation files.

The header was chock full of implementation details which weren't
needed by anything.  Move things which aren't needed further afield back
into their home files, and delete things like conversion functions which
aren't actually being used.

Also, some light reordering of the things that are left.

(This patch turns out to be remarkably commutative through the enormous
pile of changes coming up.)

key.c: Delete the `barf' function.

What even?

I think this must have been ancient debugging code, but it should never
have seen release.

bytestring.c: Delete unused buffer methods on `C.ByteString'.

I think this was needed in some ancient Python in order to inherit the
buffer methods from `str', but Python 2.5 certainly works fine without.

buffer.c: Give `BufferError' a text message.

catacomb-python.h: Give up on Python versions prior to 2.5.

field.c: Push field-polynomial property into binary-field base class.

Using the same code as for prime fields was a mistake, but sharing the
same code between polynomial- and normal-basis fields works just fine;
but there's no point in duplicating the property-table entry when
there's a perfectly good superclass to hang the property off -- and it
already has a property table!

*.c: Use Python macros rather than functions where possible.

catacomb-python.h, *.c: Move definitions back into implementation files.

The header was chock full of implementation details which weren't
needed by anything.  Move things which aren't needed further afield back
into their home files, and delete things like conversion functions which
aren't actually being used.

Also, some light reordering of the things that are left.

(This patch turns out to be remarkably commutative through the enormous
pile of changes coming up.)

.gitignore: Reorder the patterns and make them more specific.

Place recursively applicable patterns at the top (just `*.pyc' for
now).  Prefix others with `/' to keep them local.  Suffix directory
names with `/' for clarity's sake.

.gitignore: Delete some obsolete things.

I think `dist' and `deb-build' were from old private workflow that
shouldn't have leaked into the master repository.  I have a vague
recollection that `build-stamp' was from CDBS, which we no longer use.
I honestly have no idea what `py' and `test.py' were, but they've been
there from the beginning.

catacomb/.gitignore: Delete obsolete file.

I think this was only created because Subversion ignore patterns didn't
affect subdirectories.

.gdbinit: Delete this obsolete file.

It's set up for my particular development environment, using a Python
version that's not even supported any more.  And project-specific
`.gdbinit' files really don't work very well as things to distribute,
for vaguely obvious security reasons.

Merge branch '1.3.x' into HEAD

* 1.3.x:
  t/t-rand.py: Set the correct refernce seed value for `dsarand'.
  rand.c: More `Py_ssize_t' fixes.

t/t-rand.py: Set the correct refernce seed value for `dsarand'.

The number of steps taken is different on 32- and 64-bit platforms, with
no especially easy way to calculate it in a principled way.  Just use a
stupid case analysis to get the right answer.

Merge branch '1.2.x' into 1.3.x

* 1.2.x:
  rand.c: More `Py_ssize_t' fixes.

rand.c: More `Py_ssize_t' fixes.

Merge branch '1.3.x'

* 1.3.x:
  ec.c: Fix length type which should have been `Py_ssize_t'.

Merge branch '1.2.x' into 1.3.x

* 1.2.x:
  ec.c: Fix length type which should have been `Py_ssize_t'.

ec.c: Fix length type which should have been `Py_ssize_t'.

Merge branch '1.3.x'

* 1.3.x: (101 commits)
  rand.c: Show keyword argument as optional.
  mp.c: Fix punctuation error in docstrings.
  t/t-*.py: Use the `WriteBuffer.contents' property.
  t/t-bytes.py: Check that indexing, slicing, etc. return `C.ByteString'.
  t/t-algorithms.py: Add a simple test for `Keccak1600.copy'.
  t/t-algorithms.py: Add tests for other HSalsa20 and HChaCha key sizes.
  t/t-algorithms.py: Add AEAD tests.
  t/t-algorithms.py: Add tests for the new `KeySZ.pad' method.
  catacomb/__init__.py (KeySZRange.pad): Return correct value.
  algorithms.c: Propagate `AEADF_NOAAD' to `aad' objects.
  algorithms.c (AEADAAD.copy): Propagate the hashed length to the copy.
  t/: Add a test suite.
  ec.c: Don't lose error status when constructing points from a sequence.
  ec.c: Free partially constructed points coordinatewise.
  *.c: Be more careful about `PySequence_Size'.
  key.c: Reformat the rest of the `KeyError' constructor.
  key.c: Parse `KeyError' constructor arguments by hand.
  catacomb-python.h: Add a macro for raising `OverflowError'.
  key.c: Collect `KeyError' argument count as a separate step.
  key.c: Use tuple functions on `KeyError' argument tuple.
  ...

Merge branch '1.3.x'

* 1.3.x: (101 commits)
  rand.c: Show keyword argument as optional.
  mp.c: Fix punctuation error in docstrings.
  t/t-*.py: Use the `WriteBuffer.contents' property.
  t/t-bytes.py: Check that indexing, slicing, etc. return `C.ByteString'.
  t/t-algorithms.py: Add a simple test for `Keccak1600.copy'.
  t/t-algorithms.py: Add tests for other HSalsa20 and HChaCha key sizes.
  t/t-algorithms.py: Add AEAD tests.
  t/t-algorithms.py: Add tests for the new `KeySZ.pad' method.
  catacomb/__init__.py (KeySZRange.pad): Return correct value.
  algorithms.c: Propagate `AEADF_NOAAD' to `aad' objects.
  algorithms.c (AEADAAD.copy): Propagate the hashed length to the copy.
  t/: Add a test suite.
  ec.c: Don't lose error status when constructing points from a sequence.
  ec.c: Free partially constructed points coordinatewise.
  *.c: Be more careful about `PySequence_Size'.
  key.c: Reformat the rest of the `KeyError' constructor.
  key.c: Parse `KeyError' constructor arguments by hand.
  catacomb-python.h: Add a macro for raising `OverflowError'.
  key.c: Collect `KeyError' argument count as a separate step.
  key.c: Use tuple functions on `KeyError' argument tuple.
  ...

rand.c: Show keyword argument as optional.

mp.c: Fix punctuation error in docstrings.

t/t-*.py: Use the `WriteBuffer.contents' property.

t/t-bytes.py: Check that indexing, slicing, etc. return `C.ByteString'.

t/t-algorithms.py: Add a simple test for `Keccak1600.copy'.

t/t-algorithms.py: Add tests for other HSalsa20 and HChaCha key sizes.

t/t-algorithms.py: Add AEAD tests.

t/t-algorithms.py: Add tests for the new `KeySZ.pad' method.

catacomb/__init__.py (KeySZRange.pad): Return correct value.

If the input is already a multiple of the modulus, then don't round up
to the next one.

algorithms.c: Propagate `AEADF_NOAAD' to `aad' objects.

algorithms.c (AEADAAD.copy): Propagate the hashed length to the copy.

Merge branch '1.2.x' into 1.3.x

* 1.2.x: (89 commits)
  t/: Add a test suite.
  ec.c: Don't lose error status when constructing points from a sequence.
  ec.c: Free partially constructed points coordinatewise.
  *.c: Be more careful about `PySequence_Size'.
  key.c: Reformat the rest of the `KeyError' constructor.
  key.c: Parse `KeyError' constructor arguments by hand.
  catacomb-python.h: Add a macro for raising `OverflowError'.
  key.c: Collect `KeyError' argument count as a separate step.
  key.c: Use tuple functions on `KeyError' argument tuple.
  key.c: Rename sad-path label to `end'.
  key.c: Delete duplicate setting of `errstring'.
  util.c (mkexc): Populate dictionary before constructing exception class.
  key.c: Only set the error code.
  catacomb.c, util.c: Publish negative constants correctly.
  field.c: Delete the completely unused `getfe' function.
  key.c (convfilter): Fix sense of error tests.
  buffer.c, ec.c: Fix required size for EC `buffer' encoding.
  algorithms.c: Fix `max' property name in docstrings.
  catacomb/__init__.py (_HashBase): Check that integers are within bounds.
  debian/rules: Build using the provided Makefile.
  ...

Merge branch '1.2.x' into 1.3.x

* 1.2.x: (89 commits)
  t/: Add a test suite.
  ec.c: Don't lose error status when constructing points from a sequence.
  ec.c: Free partially constructed points coordinatewise.
  *.c: Be more careful about `PySequence_Size'.
  key.c: Reformat the rest of the `KeyError' constructor.
  key.c: Parse `KeyError' constructor arguments by hand.
  catacomb-python.h: Add a macro for raising `OverflowError'.
  key.c: Collect `KeyError' argument count as a separate step.
  key.c: Use tuple functions on `KeyError' argument tuple.
  key.c: Rename sad-path label to `end'.
  key.c: Delete duplicate setting of `errstring'.
  util.c (mkexc): Populate dictionary before constructing exception class.
  key.c: Only set the error code.
  catacomb.c, util.c: Publish negative constants correctly.
  field.c: Delete the completely unused `getfe' function.
  key.c (convfilter): Fix sense of error tests.
  buffer.c, ec.c: Fix required size for EC `buffer' encoding.
  algorithms.c: Fix `max' property name in docstrings.
  catacomb/__init__.py (_HashBase): Check that integers are within bounds.
  debian/rules: Build using the provided Makefile.
  ...

t/: Add a test suite.

It's fairly substantial, but far from complete.  It's also a little
strange in places because it's been sent backwards in time from the
future.

When building the Debian package, run the tests verbosely, so that if
the test crashes I stand a chance of figuring out where.

*.c: Be more careful about `PySequence_Size'.

This can be implemented by Python, so it can throw exceptions.
Fortunately, Python checks that the result is nonnegative, so we don't
have to worry about that.

ec.c: Don't lose error status when constructing points from a sequence.

The code would call `ecptxl_2' or `ecptxl_3' as appropriate, stash the
error status in `rc', and then fall out of the `if/else if' ladder to
`ok' -- which clobbers `rc', losing the error.  This is unfortunate if
the point has been partially filled in.

The right fix is to go unconditionally to `end'.  We already have `rc'
set appropriately, so `ok' isn't necessary; `ecptxl_2' has already
converted the point to internal form, and `ecptxl_3' constructs the
point in internal form anyway, so it would be wrong to drop into `fix'.

catacomb-python.h: Add a macro for raising `OverflowError'.

ec.c: Free partially constructed points coordinatewise.

The `EC_DESTROY' macro assumes that the other coordinates are null if
and only if `p->x' is.  This works badly with the current code
structure, which fills in coordinates as it goes along, and I think this
is a better fix than trying to maintain the coordinates in temporaries
until we're done.

*.c: Be more careful about `PySequence_Size'.

This can be implemented by Python, so it can throw exceptions.
Fortunately, Python checks that the result is nonnegative, so we don't
have to worry about that.