hashsum.c: Return nonzero from `checkhash' on errors.

A serious bug: `checkhash' carefully maintained the `rc' variable -- and
then ignored it and always returned zero anyway.

cc.h: Fix FHF_MASK.

Must have been a typo.  Nobody uses this for anything anyway.

key-data.[ch]: Fix trivial typo.

`key_mewmp'.  Miaow.

key-data.c (key_struct{set,steal}): Assert no other references.

Otherwise I predict serious trouble when someone gets the reference
counting wrong.

dsig.c: Allow precomputed hashes to be read from a file.

This lets you convert a hashsum(1) file or similar into a dsig(1)
signature file.

cc-hash.c, hashsum.c: Move hash-file parsing stuff to `cc-hash.c'.

This is a bit trickier than just slinging existing functions about and
tarting them up a bit: it introduces a proper interface to parsing hash
files, which previously was interleaved with actually verifying the
hashes.

Also moved a couple of auxiliary functions which are needed by the moved
code.

cc-hash.c: New file containing hash-related code from hashsum and dsig.

There's a fair amount of duplication already, most notably the
`getstring'/`putstring' functions, and `fhash'.  The encoding stuff
isn't common yet, but will be needed in a later change.

cc.h: Reorder the declarations.

Split the file into chunks with their own type definitions and so on,
rather than having one big section of type definitions.

This header file is getting a bit unwieldy, and I'm going to be adding
more stuff to it.  It probably ought to be split into pieces.

dsig.c: Accept `-' to mean stdin/stdout in arguments to `-f' and `-o'.

Catcrypt tools: Roll out progress indicator stuff from hashsum.

Factor out the progress indication from hashsum, and introduce it into
the other tools.

catcrypt.c: Don't close output file twice.

The C library doesn't like it.  Who knew?

catcrypt.c, catsign.c: Shorten chunk sizes.

The chunks are written with a 16-bit length, so the maximum chunk size
is 2^16 - 1 = 65535.  Unfortunately, catsign tried to write 65536-byte
chunks, and catcrypt tried to cram a MAC tag in there too.  The result
is that chunk_write fails an assertion because the chunks are too big.

No idea why this ever worked before.

keyutil.c: Remove stray tabs and trailing space from the list format.

Not sure how the trailing spaces got there; the tabs are from
an overzealous tabification run.

keyutil.c: Only copy the shared parts of a parameters key.

Reported by GCC warning that `kf' wasn't used for anything.  Use the new
function key_copydata to copy only the bits which really ought to be
copied.

This is unlikely to make much difference in practice since all
parameters keys we make have all of their components shared.

key-data.[ch] (key_copydata): New function copies filtered key data.

key-attr.c (key_setkeydata): Decref after incref.

Otherwise we'd crash if someone set the key data to be itself.

.gitignore: Ignore `ylwrap'.

hashsum.1: Write some notes about compatibility with GNU Coreutils.

hashsum.1: Fix counting error (left over from some previous edit).

hashsum.c: Optional progress indicator for large files.

Hashing large files is very dull.  Optionally provide some eyecandy and
a completion time estimate (if the input is seekable) in order to keep
the user happy.

mptext.c: Fix hopeless incorrectness in raw base conversions.

Both mp_write and mp_read are broken.  The former would write a digit
`0' for a zero input, and attempt to prefix its output with a `-' sign
on negative input, both of which are impossible to decode unambiguously.
The latter would skip leading whitespace characters, which makes
encodings beginning with certain bytes decode incorrectly.

Include tests for these cases, and fix the bugs.

Makefile.m4: Fix linking problems.

Debian's become pickier about propagating dependencies from libraries.
This is probably a good thing for keeping us honest, so include $(LDADD)
in various places with a glad heart.

tiger-mktab.c: Don't have printf swallow a kludge64 whole.

If a 64-bit type was actually found, we tried to feed the containing
kludge64 structure to printf while printing the table, rather than just
the 64-bit number inside.  This was silly.

ghash.h: Fix GH_HASHSTR64*.

These were bogus redefinitions of GH_HASHSTR32* due to a stupid
copy-and-paste error.

gdsa: Include "dsa.h" for dsa_h2n.

Somehow it managed to work anyway.

perftest: Document the `-q' option for disabling checking.

The option didn't make its way to the help message.

Makefile: Link tests against stuff like -lm.

Now that EC validation requires transcendental functions, some of the
tests are breaking.  This is obviously less than ideal.

perftest: Optionally disable group checking.

This takes ages on big prime groups, and is almost useless.  It may be
worth making not-checking be the default.

Infrastructure: Switch over to pkg-config.

gdsa: Fix the conversion of hashes to integers to conform to the spec.

The spec is obviously insane.

hashsum: Write directives when hashing a list of files from stdin.

Otherwise the list can't be verified properly.

tests/gdsa: Test from P1363.

ectab.in: Add previously unacceptable curves from X9.62.

Previously we rejected curves with large cofactors.  We've now
recognized that this was unnecessary.  This change includes the curves
from X9.62 which were previously omitted for having large cofactors.

The curve c2onb239v2 seems incorrect as specified.  In particular, the
specified base point G isn't in the prime-order subgroup -- in fact, it
seems as if the curve group E is cyclic and G is primitive in E.  The
base point included in the table is actually P = 6 G, which does
correctly generate the prime-order subgroup.

ec-info: Better checking of embedding degrees.

Replace the rather cheap embedding degree check with a more
sophisticated analysis.

  * Use the new key-size conversions from keysz-conv.c to determine a
    suitable embedding degree.

  * Following L. Hitt's paper, we ensure that no field with the same
    characteristic as the curve field is sufficiently small to cause
    concern; the old algorithm just checked extensions of the curve
    field, which can miss the smallest possible target field.

  * This involves a rather fancy algorithm which partially factors the
    curve order r - 1, making use of the new prime iteration code.

Still to do on this:

  * Work out how to identify curves where pairings will help an attacker
    solve the DDH problem.

  * Provide a mechanism for passing parameters to checking functions.

ec-info: Add trailing newline to error message.

If there are syntactically incorrect curves on the command line, an
error is reported without a trailing newline.  This has a tendency to
get eaten by bash (my prompt has a carriage return at the beginning).

primeiter: New functions for iterating over small primes.

The primeiter functions return consecutive prime numbers from a given
starting point.  To help do this efficiently we use a `wheel': a table
of steps to make which avoid integers with small factors.  The wheel is
generated by a new build-time utility genwheel.c.

keysz-conv: Conversions between different kinds of key types.

It's useful to be able to convert between, say, a DL key length and an
EC key length.  The functions are here; they'll probably want to be
fiddled with as time goes on and the relationships change.

keysz.h: Extract key-size stuff into a separate header file.

This is going to grow later; for now, just move the stuff from gcipher.
Include keysz.h in gcipher.h for backwards compatibility, even though
it's not strictly necessary.

mpbarrett: Mark newly-split d as UNDEF.

After being split off from m (or whatever), we write q - mb->m into d's
storage; obviously we don't need whatever was there before, so it's safe
to set UNDEF.  We'll clear the flag shortly afterwards when d inherits
its sign and burn flags.

mpbarrett: Fix memory leak in early exit from mpbarrett_reduce.

If we exit in the first stage, we leaked q.  This isn't tested, because
I couldn't contrive a test case for it.

mpbarrett: Found mpbarrett_reduce hanging on this testcase.

A Python program spun inside mpbarrett_reduce, attempting the
computation in this testcase.  The test program hung too, and debugging
it yielded the following information.  On entry, d and m were equal; for
some reason, in the MP_DEST call, d was being aliased to m again, even
though m was still active; of course, m/d now had refcount 1, and all
hell broke loose when m got dropped.

A ground-up rebuild made the problem go away, so maybe it was just fluff
in the build tree.  I'm leaving this test here anyway so that it'll
catch a return of the bug, and maybe I can investigate it more carefully
then.

group-parse: Emit useful error messages when parsing fails.

Previously it would overwrite the useful message from lower-level
parsers with its own bland and unhelpful error.

A number of small bug fixes, some motivated by compiler warnings.

  * key-data.c:key_nextsubkey -- explicitly return nonzero if we found
    something.

  * key-io.c:key_new -- cast the constant type pointer during the
    unpleasant hack.

  * mp-mem.c:mp_build -- store an arena in the built integer; otherwise
    pgen_primep (for example) gets confused later on.

  * mp-modsqrt.c:mp_modsqrt -- fix the maths in a comment; the code was
    fine.

  * oaep.c:oaep_decode -- don't try to do too much in one expression.

  * pgen-simul.c:pgen_simultest -- always return a sensible result code.

  * cc.h:sig -- hash classes are constant.

  * cc-{kem,sig}.c:get{kem,sig} -- initialize the kp structure member,
    just in case.

  * rijndael*.c, square.c -- fix const-correctness errors.

mp-gcd, gf-gcd: Tweak memory management subtly.

Avoid mp churn by keeping a single spare integer lying around during the
main loop.

mp-jacobi: Implement Kronecker symbol.

The Kronecker symbol is a generalization of the Jacobi symbol whose
domain is the entire space of integers.  This just lets us return
something vaguely sensible even when the arguments are messed up.

ec-info: Overhaul elliptic curve domain parameter checking.

  * Separate out the common parts of prime and binary curve checking into
    its own function.

  * Replace the cofactor checking with a new, rather more complicated,
    algorithm which verifies that it has the correct value without
    needing an explicit square-root.  Also allow larger cofactors; it's
    not our responsibility to avoid small-subgroup attacks.

  * Replace the embedding-degree check with one that's rather more
    enlightened.  Unfortunately, it has to intuit the desired security
    level, and that's not going to work well.

Also check for memory leaks in the test harness (one snuck in during
development and was caught by another test).

cleanup: Big pile of whitespace fixes, all at once.

ec-bin (ec_binproj): Make curve setup faster.

Rather than computing bb from b by two square roots, each of which
actually calculates sqrt(x) as x^{2^{m-1}}, we can save time by
computing qdrt(x) as x^{2^{m-2}}.

I think this means that nobody uses F_SQRT on binary fields any more,
but I'll keep them around just in case.

Modify syntax of field and curve specs to reserve `/'.

I'll want `/' as an operator in the expression syntax, so they can't
have it any more.  Use `;' instead.

modexp: Implement simple mp_modexp function.

This has been a serious omission for rather too long.

genlimits: New program to generate useful limit MPs for C types.

Also another fix to mpint.h, to suppress pointless leading zero workds.

Merge branch 'fixes'

* fixes:
  mpint: Fix misbehaviour on larger-than-mpw integer types.
  Fix various assumptions about mpw sizes.
  utils/mpreducetests.py: Tool to generate unpleasant mpreduce tests.
  mpreduce: Don't crash if we've accumulated no instructions.
  mpreduce: Don't stop bit scanner too early.
  mpreduce: Debug decomposition corrupts initial state for code generator.
  factorial: Fix usage message to fit in with conventions.
  cleanup: Various aesthetic fiddlings of little consequence.

mpint: Fix misbehaviour on larger-than-mpw integer types.

The old implementation of MP_FROMINT was grievously broken, it turns
out.  Handle positive and negative numbers separately.

Fix various assumptions about mpw sizes.

  * configure, mptypes: New configure switches force mpw type to either
    sane but small (16/32 bits) or cussid (19/38 bits).  This found a
    bunch of exciting bugs...

  * gfreduce, mpreduce: If MPW_BITS is not a power of two, modular
    reduction of a `negative' unsigned value does the wrong thing.

  * mpx_lsl and friends: Shifting ops weren't masking high-order bits
    correctly when writing the output.  Apply MPW().

  * mpx_usubnlsl: More failure to elide high-order junk bits.

  * mptypes, mpx_udiv, mpx_bits, mp_odd: The binary search is neato, but
    starts in the wrong place if MPW_BITS is not a power of two.  Have
    mptypes  compute MPW_P2 as the largest power of two less than
    MPW_BITS.

utils/mpreducetests.py: Tool to generate unpleasant mpreduce tests.

pgroups: Ship a keyring file containing the custom prime groups.

This is largely as a useful reference for the benefit of, oh, say the
TrIPE RFC document.

ignore: tinymp build tree for small-word-size MP library.

Merge branch 'master' of /home/mdw/public-git/catacomb

* 'master' of /home/mdw/public-git/catacomb:
  rijndael: Make implementation big-endian.
  infra: Ignore possible profiling build.

rijndael: Make implementation big-endian.

This makes very little difference to the performance, and makes GCM
possible.  (GCM is both-endian -- the field-element representation is
little-endian and the counter is big-endian.  This is obviously mad, but
there you go.)

prime groups: Fix tests

Some of the tests still used the old groups, so they needed fixing.
Also the group checker was too zealous, and skipped groups depending on
their subgroup order, not field size, which can now cause all sorts of
stupidity.

infra: Ignore possible profiling build.

Merge branch 'master' of git+ssh://metalzone.distorted.org.uk/~mdw/public-git/catacomb/

keyutil: Allow explicit setting of key-id.

This is useful (indeed, essential!) for reproducibility of, say, domain
parameters, since otherwise the fingerprints will come out different and
you have to do the comparison by hand.

ptab: Replace the Catacomb groups.

These new ones are generated by a more reproducible (but very slow)
process.  The key sizes are taken from NIST SP800-57, and cover the full
range, including a truly daft-sized 15360-bit field.

noise: Fix freewheel generator's use of setitimer(2).

If the old timer was turned off, don't accidentally turn it on.  While
on some Linux versions, this seems harmless enough, on others it causes
spurious SIGALRM signals to be sent to the process, which is terribly
unhelpful.

catcrypt: Increase encryption buffer to 64K.

No reason not to, really.

catcrypt: Implement symmetric key-encapsulation and signature schemes.

For cases where you don't actually want to send messages, just keep
stuff lying around locally.

cc-kem: Fix memory leak in DH KEMs.

Just didn't free the context at the end.  How strange.

mpreduce: Don't crash if we've accumulated no instructions.

Return failure; I think we might be able to do better, but think about
this later.

mpreduce: Don't stop bit scanner too early.

The code generation decomposition pass stopped too early, and failed to
note a change in the next-to-top bit.

mpreduce: Debug decomposition corrupts initial state for code generator.

The code generation pass uses whatever final state the debugging run
left behind.  Have the debug pass force the final state back to Z when
it finishes.

Also, produce correct output from the debugging pass.

factorial: Fix usage message to fit in with conventions.

cleanup: Various aesthetic fiddlings of little consequence.

utils: Make very bad ECM factoring program.

  * Extract factoring code from existing `prim' program.

  * Write driver front-end.

debian: Fix package sections.

dh_kcdsagen: Generate cofactor first.

Reorganize the parameter generation so that we generate the cofactor
%$v = (p - 1)/2 q$% first, on its own, and then run a simultaneous
primality search to find %$q$% and %$p$%.  Because %$q$%-sized primes
are (usually) much more common than %$p$%-sized primes, this makes the
search go considerably faster -- though it seems to print many more
dots.

dh, keyutil: Implement KCDSA key generation.

New function dh_kcdsagen generates KCDSA prime groups.  It's less quick
than I'd hoped, but it appears to do the right thing.  Make the keyutil
generate keys of this kind, and add documentation.

Currently no tests.

dh-limlee: Make code return PGEN_ABORT on error, like the comments say.

The documentation says it returns PGEN_ABORT on error, but it doesn't:
it returns PGEN_FAIL instead.  Since PGEN_ABORT is -1, it makes sense to
do what the comments say, so make it do that.

pgen-safe: Expunge.

No trace remains.  This is an incompatible change, but I doubt anybody
cares.  The high-level key-generation functions still exist and do the
same things they ever did.

bbs-gen: Don't use the safe stepper.

This didn't use the safe-tester anyway.  I no longer understand why this
code was ever written this way, and since I want to eradicate the safe
stepper, this seems a good change now.

dh-gen: Use new simultaneous prime search.

I'm trying to expunge the old `safe prime' search.  This seems to work
now.

pgen: Implement general simultaneous-primality searching.

Find a collection of primes of the form %$a x + b$% for fixed constants
%$a$% and %$b$%, and a variable %$x$%.

pgen: Declare steppers and so on as being `pgen_proc's.

Just saves some mental effort reading them, and finger effort writing
them.

pgen_safetest: Use a separate witness for each test.

I have a suspicion that not doing this can do bad things to the
probability of returning a non-prime.

gcd: General tidying up.

  * Implement a GCD algorithm in calc/gfx.cal (partly to help with
    testing the Python bindings).

  * Clean up the MP and GF implementations: expunge incorrect commentary
    and redundant code.

infra: Clean up project setup

gf: Fix gf_irreduciblep() for small-degree polynomials.

Fix division-by-zero error for argument zero, and segfaults for
arguments with degree less than 2 due to skipping the main loop.  Handle
these as a special case.

pgen/pfilt: Special cases for primality checking.

Don't consider 1, 0, or anything negative to be prime.  Also, add a test
for pgen_primep(), because it's probably useful.

tests: Fix tests for 222c8a43... (mp-modsqrt change).

Ooops.  I accidentally broke some tests (in elliptic curve point-
finding) when I made that change, and (naughty me!) didn't run the full
suite.  I've checked that the breakages are acceptable (i.e., we just
get the positive y-coordinate rather than a random one now) and fixed
the tests.

infra: Remove BRANCHES file.

This was only interesting when severe discipline was required for
managing branches.  The switch to GIT makes this redundant.  Besides,
I've no longer any idea where all the branches might be. ;-)

mp-modsqrt: Always return the smaller possible square root.

This makes the function more predictable in its behaviour, and therefore
easier to test.

mp-gcd: Add tests for mp_modinv.

Just noticed there aren't any.  Naughty me.

Extract Subversion ignore data.

catcrypt security fix: sign metadata.

Allow insertion of new random data into the pool as a miscop.

Correctly work with the bizarre negative bases the @mptext@ functions allow.

Fix maintainer email address.

Fix segfault in retagging.

Accept `-' as a name for standard input.

Fix catsign verify for -C.