Generate precomputed tables as sources in `precomps/'.

Rather than header files in the build tree.  The precomputations are
distributed, and not built in cross builds.

Rearrange the file tree.

It's actually, like, a tree now.  Testing is a bit wobbly: you really do
have to make the library before the tests will build.  I don't like
this, but the pieces of the library are all rather intertwined.

One small piece of unintertwining: `strongprime.c' no longer includes
`rand.h', which detaches the mathematical code from the symmetric-crypto
build system disaster.

Test files have been moved into `t/' directories as is now established
practice.

Also take the opportunity to eradicate the CVS `$Id...$' droppings.

configure.ac: Replace with a new version.

blowfish-mktab.c: Remove the eye-candy progress meter.

It really makes a mess of parallel builds.

Abandon the `m4'-based build system.  And there was great rejoicing.

The makefile has been entirely rewritten using old-fashioned Automake.
I've used the undocumented `foo_OBJECTS' variables in a couple of places
to make parallel builds work, but those will disappear again in the
course of future rearrangements of the source tree.

A couple of the scungier programs for building boilerplate source files
have been replaced by the marvellous new template-substitution program
`multigen'.

The `qcc' script is a casualty of the rearrangements.  Supporting it is
easy, but probably pointless.  So it's gone.

Currently most of the generated code is left in the build tree (rather
than the source tree) and not distributed.  This wants to be fixed
later, but the exact machinery will be rather different.

This is only the start of a programme of overhauling Catacomb's ageing
and rather nasty build system.  The objective is to end up with modern-
looking build scripts, and a pleasant and sensible directory tree.  Not
much of the actual code will change during this, though lots of it will
move around.  In particular, the testing machinery is likely to be
overhauled quite a lot.

.links: Drop obsolete `lib-config.in' file.

key-flags.c, key-pack.c, key-pass.c: Don't use the `key.h' machinery.

These are logically part of the `key-data.h' layer, and don't need
anything beyond that, so remove the header-file inclusion.

Release 2.1.4.

oaep.c, pkcs1.c: Use official constant-time operations.

The logic is a bit more contorted in places, but the security is better.

ct.c, ct.h: New constant-time operations.

Revert "group.h: Fix the struct tag for `group'."

I'm a moron.  The trailing `_' was there to distinguish my groups from
`struct group' in <grp.h>.  Put it back.

This reverts commit c6c823084467cc7a60808cdee8015529115b8b91.

Merge branch 'master' of git.distorted.org.uk:~mdw/publish/public-git/catacomb

* 'master' of git.distorted.org.uk:~mdw/publish/public-git/catacomb:
  mpmul.[ch]: Move internal `HWM' and `LWM' constants to implementation.
  group.h: Fix the struct tag for `group'.

mpmul.[ch]: Move internal `HWM' and `LWM' constants to implementation.

No idea what I was thinking when I put them in the public header file.

Release 2.1.3.

The pixie no longer needs to be setuid-root.

So turn off the option by default, and downgrade the question.  Also
make the documentation more useful and up-to-date.

group.h: Fix the struct tag for `group'.

Maybe I was going to give it a longer name once upon a time.  It's stuck
now, though.

mkphrase.c: Allow a range for phrase entropy.

mkphrase.c: Better error checking on the length range parameter.

New function and example program computes Fibonacci numbers fairly fast.

hashsum.c: Document `--progress' in the `--help' display.

Release 2.1.2.1.

.gitignore: Ignore `auto-version' script.

Release 2.1.2.

Cleanups.

  * Remove bogus old `catacomb-config.in' file from the pre-pkgconfig
    days.

  * Fix library version in Makefile.

cc-hash.c (fhash): The FILE name may be null.

So pass a dummy string on for the progress indicator.

Hash utilities: Check for and report on junk files.

That is, when verifying a list of hashes, we optionally detect and
report files which are present in the filesystem, alongside files which
we're checking, but which aren't in our list.

Thanks to Patrick Gosling for the idea.

Hash utilities: maintain a hash state object, not a bundle of arguments.

This makes a number of things a bit cleaner, except that we (currently
pointlessly) remember to free up this state object when we're finished
with it.

Use auto-version machinery for building.

Makefile.m4: Remove mplimits.[ch] on clean.

configure.in: Put the auxiliary scripts in a useful place.

For some reason, modern Autoconf finds the wrong copy otherwise and
all ell breaks loose.

mpint.c (touint): Compare unsigned with unsigned, not unsigned long.

Otherwise the tests fail on LP64 platforms.

tests/Makefile.m4: Distribute the converted AES test-vector files.

Otherwise later versions of distcheck fail.

Makefile.m4: Don't build pgroups.kr: it introduces circular dependency.

hashsum.c: Return nonzero from `checkhash' on errors.

A serious bug: `checkhash' carefully maintained the `rc' variable -- and
then ignored it and always returned zero anyway.

cc.h: Fix FHF_MASK.

Must have been a typo.  Nobody uses this for anything anyway.

key-data.[ch]: Fix trivial typo.

`key_mewmp'.  Miaow.

key-data.c (key_struct{set,steal}): Assert no other references.

Otherwise I predict serious trouble when someone gets the reference
counting wrong.

dsig.c: Allow precomputed hashes to be read from a file.

This lets you convert a hashsum(1) file or similar into a dsig(1)
signature file.

cc-hash.c, hashsum.c: Move hash-file parsing stuff to `cc-hash.c'.

This is a bit trickier than just slinging existing functions about and
tarting them up a bit: it introduces a proper interface to parsing hash
files, which previously was interleaved with actually verifying the
hashes.

Also moved a couple of auxiliary functions which are needed by the moved
code.

cc-hash.c: New file containing hash-related code from hashsum and dsig.

There's a fair amount of duplication already, most notably the
`getstring'/`putstring' functions, and `fhash'.  The encoding stuff
isn't common yet, but will be needed in a later change.

cc.h: Reorder the declarations.

Split the file into chunks with their own type definitions and so on,
rather than having one big section of type definitions.

This header file is getting a bit unwieldy, and I'm going to be adding
more stuff to it.  It probably ought to be split into pieces.

dsig.c: Accept `-' to mean stdin/stdout in arguments to `-f' and `-o'.

Catcrypt tools: Roll out progress indicator stuff from hashsum.

Factor out the progress indication from hashsum, and introduce it into
the other tools.

catcrypt.c: Don't close output file twice.

The C library doesn't like it.  Who knew?

catcrypt.c, catsign.c: Shorten chunk sizes.

The chunks are written with a 16-bit length, so the maximum chunk size
is 2^16 - 1 = 65535.  Unfortunately, catsign tried to write 65536-byte
chunks, and catcrypt tried to cram a MAC tag in there too.  The result
is that chunk_write fails an assertion because the chunks are too big.

No idea why this ever worked before.

keyutil.c: Remove stray tabs and trailing space from the list format.

Not sure how the trailing spaces got there; the tabs are from
an overzealous tabification run.

keyutil.c: Only copy the shared parts of a parameters key.

Reported by GCC warning that `kf' wasn't used for anything.  Use the new
function key_copydata to copy only the bits which really ought to be
copied.

This is unlikely to make much difference in practice since all
parameters keys we make have all of their components shared.

key-data.[ch] (key_copydata): New function copies filtered key data.

key-attr.c (key_setkeydata): Decref after incref.

Otherwise we'd crash if someone set the key data to be itself.

.gitignore: Ignore `ylwrap'.

hashsum.1: Write some notes about compatibility with GNU Coreutils.

hashsum.1: Fix counting error (left over from some previous edit).

hashsum.c: Optional progress indicator for large files.

Hashing large files is very dull.  Optionally provide some eyecandy and
a completion time estimate (if the input is seekable) in order to keep
the user happy.

mptext.c: Fix hopeless incorrectness in raw base conversions.

Both mp_write and mp_read are broken.  The former would write a digit
`0' for a zero input, and attempt to prefix its output with a `-' sign
on negative input, both of which are impossible to decode unambiguously.
The latter would skip leading whitespace characters, which makes
encodings beginning with certain bytes decode incorrectly.

Include tests for these cases, and fix the bugs.

Makefile.m4: Fix linking problems.

Debian's become pickier about propagating dependencies from libraries.
This is probably a good thing for keeping us honest, so include $(LDADD)
in various places with a glad heart.

tiger-mktab.c: Don't have printf swallow a kludge64 whole.

If a 64-bit type was actually found, we tried to feed the containing
kludge64 structure to printf while printing the table, rather than just
the 64-bit number inside.  This was silly.

ghash.h: Fix GH_HASHSTR64*.

These were bogus redefinitions of GH_HASHSTR32* due to a stupid
copy-and-paste error.

gdsa: Include "dsa.h" for dsa_h2n.

Somehow it managed to work anyway.

perftest: Document the `-q' option for disabling checking.

The option didn't make its way to the help message.

Makefile: Link tests against stuff like -lm.

Now that EC validation requires transcendental functions, some of the
tests are breaking.  This is obviously less than ideal.

perftest: Optionally disable group checking.

This takes ages on big prime groups, and is almost useless.  It may be
worth making not-checking be the default.

Infrastructure: Switch over to pkg-config.

gdsa: Fix the conversion of hashes to integers to conform to the spec.

The spec is obviously insane.

hashsum: Write directives when hashing a list of files from stdin.

Otherwise the list can't be verified properly.

tests/gdsa: Test from P1363.

ectab.in: Add previously unacceptable curves from X9.62.

Previously we rejected curves with large cofactors.  We've now
recognized that this was unnecessary.  This change includes the curves
from X9.62 which were previously omitted for having large cofactors.

The curve c2onb239v2 seems incorrect as specified.  In particular, the
specified base point G isn't in the prime-order subgroup -- in fact, it
seems as if the curve group E is cyclic and G is primitive in E.  The
base point included in the table is actually P = 6 G, which does
correctly generate the prime-order subgroup.

ec-info: Better checking of embedding degrees.

Replace the rather cheap embedding degree check with a more
sophisticated analysis.

  * Use the new key-size conversions from keysz-conv.c to determine a
    suitable embedding degree.

  * Following L. Hitt's paper, we ensure that no field with the same
    characteristic as the curve field is sufficiently small to cause
    concern; the old algorithm just checked extensions of the curve
    field, which can miss the smallest possible target field.

  * This involves a rather fancy algorithm which partially factors the
    curve order r - 1, making use of the new prime iteration code.

Still to do on this:

  * Work out how to identify curves where pairings will help an attacker
    solve the DDH problem.

  * Provide a mechanism for passing parameters to checking functions.

ec-info: Add trailing newline to error message.

If there are syntactically incorrect curves on the command line, an
error is reported without a trailing newline.  This has a tendency to
get eaten by bash (my prompt has a carriage return at the beginning).

primeiter: New functions for iterating over small primes.

The primeiter functions return consecutive prime numbers from a given
starting point.  To help do this efficiently we use a `wheel': a table
of steps to make which avoid integers with small factors.  The wheel is
generated by a new build-time utility genwheel.c.

keysz-conv: Conversions between different kinds of key types.

It's useful to be able to convert between, say, a DL key length and an
EC key length.  The functions are here; they'll probably want to be
fiddled with as time goes on and the relationships change.

keysz.h: Extract key-size stuff into a separate header file.

This is going to grow later; for now, just move the stuff from gcipher.
Include keysz.h in gcipher.h for backwards compatibility, even though
it's not strictly necessary.

mpbarrett: Mark newly-split d as UNDEF.

After being split off from m (or whatever), we write q - mb->m into d's
storage; obviously we don't need whatever was there before, so it's safe
to set UNDEF.  We'll clear the flag shortly afterwards when d inherits
its sign and burn flags.

mpbarrett: Fix memory leak in early exit from mpbarrett_reduce.

If we exit in the first stage, we leaked q.  This isn't tested, because
I couldn't contrive a test case for it.

mpbarrett: Found mpbarrett_reduce hanging on this testcase.

A Python program spun inside mpbarrett_reduce, attempting the
computation in this testcase.  The test program hung too, and debugging
it yielded the following information.  On entry, d and m were equal; for
some reason, in the MP_DEST call, d was being aliased to m again, even
though m was still active; of course, m/d now had refcount 1, and all
hell broke loose when m got dropped.

A ground-up rebuild made the problem go away, so maybe it was just fluff
in the build tree.  I'm leaving this test here anyway so that it'll
catch a return of the bug, and maybe I can investigate it more carefully
then.

group-parse: Emit useful error messages when parsing fails.

Previously it would overwrite the useful message from lower-level
parsers with its own bland and unhelpful error.

A number of small bug fixes, some motivated by compiler warnings.

  * key-data.c:key_nextsubkey -- explicitly return nonzero if we found
    something.

  * key-io.c:key_new -- cast the constant type pointer during the
    unpleasant hack.

  * mp-mem.c:mp_build -- store an arena in the built integer; otherwise
    pgen_primep (for example) gets confused later on.

  * mp-modsqrt.c:mp_modsqrt -- fix the maths in a comment; the code was
    fine.

  * oaep.c:oaep_decode -- don't try to do too much in one expression.

  * pgen-simul.c:pgen_simultest -- always return a sensible result code.

  * cc.h:sig -- hash classes are constant.

  * cc-{kem,sig}.c:get{kem,sig} -- initialize the kp structure member,
    just in case.

  * rijndael*.c, square.c -- fix const-correctness errors.

mp-gcd, gf-gcd: Tweak memory management subtly.

Avoid mp churn by keeping a single spare integer lying around during the
main loop.

mp-jacobi: Implement Kronecker symbol.

The Kronecker symbol is a generalization of the Jacobi symbol whose
domain is the entire space of integers.  This just lets us return
something vaguely sensible even when the arguments are messed up.

ec-info: Overhaul elliptic curve domain parameter checking.

  * Separate out the common parts of prime and binary curve checking into
    its own function.

  * Replace the cofactor checking with a new, rather more complicated,
    algorithm which verifies that it has the correct value without
    needing an explicit square-root.  Also allow larger cofactors; it's
    not our responsibility to avoid small-subgroup attacks.

  * Replace the embedding-degree check with one that's rather more
    enlightened.  Unfortunately, it has to intuit the desired security
    level, and that's not going to work well.

Also check for memory leaks in the test harness (one snuck in during
development and was caught by another test).

cleanup: Big pile of whitespace fixes, all at once.

ec-bin (ec_binproj): Make curve setup faster.

Rather than computing bb from b by two square roots, each of which
actually calculates sqrt(x) as x^{2^{m-1}}, we can save time by
computing qdrt(x) as x^{2^{m-2}}.

I think this means that nobody uses F_SQRT on binary fields any more,
but I'll keep them around just in case.

Modify syntax of field and curve specs to reserve `/'.

I'll want `/' as an operator in the expression syntax, so they can't
have it any more.  Use `;' instead.

modexp: Implement simple mp_modexp function.

This has been a serious omission for rather too long.

genlimits: New program to generate useful limit MPs for C types.

Also another fix to mpint.h, to suppress pointless leading zero workds.

Merge branch 'fixes'

* fixes:
  mpint: Fix misbehaviour on larger-than-mpw integer types.
  Fix various assumptions about mpw sizes.
  utils/mpreducetests.py: Tool to generate unpleasant mpreduce tests.
  mpreduce: Don't crash if we've accumulated no instructions.
  mpreduce: Don't stop bit scanner too early.
  mpreduce: Debug decomposition corrupts initial state for code generator.
  factorial: Fix usage message to fit in with conventions.
  cleanup: Various aesthetic fiddlings of little consequence.

mpint: Fix misbehaviour on larger-than-mpw integer types.

The old implementation of MP_FROMINT was grievously broken, it turns
out.  Handle positive and negative numbers separately.

Fix various assumptions about mpw sizes.

  * configure, mptypes: New configure switches force mpw type to either
    sane but small (16/32 bits) or cussid (19/38 bits).  This found a
    bunch of exciting bugs...

  * gfreduce, mpreduce: If MPW_BITS is not a power of two, modular
    reduction of a `negative' unsigned value does the wrong thing.

  * mpx_lsl and friends: Shifting ops weren't masking high-order bits
    correctly when writing the output.  Apply MPW().

  * mpx_usubnlsl: More failure to elide high-order junk bits.

  * mptypes, mpx_udiv, mpx_bits, mp_odd: The binary search is neato, but
    starts in the wrong place if MPW_BITS is not a power of two.  Have
    mptypes  compute MPW_P2 as the largest power of two less than
    MPW_BITS.

utils/mpreducetests.py: Tool to generate unpleasant mpreduce tests.

pgroups: Ship a keyring file containing the custom prime groups.

This is largely as a useful reference for the benefit of, oh, say the
TrIPE RFC document.

ignore: tinymp build tree for small-word-size MP library.

Merge branch 'master' of /home/mdw/public-git/catacomb

* 'master' of /home/mdw/public-git/catacomb:
  rijndael: Make implementation big-endian.
  infra: Ignore possible profiling build.

rijndael: Make implementation big-endian.

This makes very little difference to the performance, and makes GCM
possible.  (GCM is both-endian -- the field-element representation is
little-endian and the counter is big-endian.  This is obviously mad, but
there you go.)

prime groups: Fix tests

Some of the tests still used the old groups, so they needed fixing.
Also the group checker was too zealous, and skipped groups depending on
their subgroup order, not field size, which can now cause all sorts of
stupidity.

infra: Ignore possible profiling build.

Merge branch 'master' of git+ssh://metalzone.distorted.org.uk/~mdw/public-git/catacomb/

keyutil: Allow explicit setting of key-id.

This is useful (indeed, essential!) for reproducibility of, say, domain
parameters, since otherwise the fingerprints will come out different and
you have to do the comparison by hand.

ptab: Replace the Catacomb groups.

These new ones are generated by a more reproducible (but very slow)
process.  The key sizes are taken from NIST SP800-57, and cover the full
range, including a truly daft-sized 15360-bit field.

noise: Fix freewheel generator's use of setitimer(2).

If the old timer was turned off, don't accidentally turn it on.  While
on some Linux versions, this seems harmless enough, on others it causes
spurious SIGALRM signals to be sent to the process, which is terribly
unhelpful.

catcrypt: Increase encryption buffer to 64K.

No reason not to, really.

catcrypt: Implement symmetric key-encapsulation and signature schemes.

For cases where you don't actually want to send messages, just keep
stuff lying around locally.

cc-kem: Fix memory leak in DH KEMs.

Just didn't free the context at the end.  How strange.