changelog, etc.: Finalise 1.5.1.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Update copyright dates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: prepare for 1.5.1

RELEASE-CHECKLIST: Mention copyright

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Properly include harness.h in adnstest.c in regress/.

Suppresses a couple of compiler warnings (implicit declaration of
Texit, etc.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

adnsresfilter: Fix addrtextbuf buffer size

We can write 18 bytes (including the trailing nul) to this.  This is
not actually a problem in real compiled code because: cbyte is
generally the next thing; cbytes's alignment means that there are a
further two bytes of padding; and we only write the next two bytes
(']' and a nul) in a situation where we are done with cbyte anyway.

But it should be fixed.

Reported-by: Ron Henderson
Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Test MX whose addr has one tempfailing AF

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regression tests: Properly handle adnshost et al exit status

Only adnstest has an exit status which is compatible with the test
harness's ideas.  adnshost, in particular, uses `5' (skipped test) for
something else (worst failure was misconfig).

So we need to have two exit statuses, that of the program and that of
the test harness machinery.  To this end:

* Enhance the syscall emulation of exit to record the exit status as a
  normal syscall argument.  This has to be done slightly ad hoc
  because the hm_hsyscall macro cannot sanely generate nonreturning
  calls.  After this has been recorded, we do the shutdown activities
  as before and exit the test harness with status 0.

* The previous shutdown function (now the core of the exit emulation)
  is made available as Texit.

* adnstest (only) has a special test-harness-specific override to use
  the core, so a call to exit is not recorded and instead adnstest's
  exit status is that of the harness.

* Update all adnshost-based test cases to match.  This was done with
  this shell script (run once for each test, as needed):

    #!/bin/sh
    f=$1
    o=${f%.sys}.out
    rc=`sed -n '$s/^rc=//p' $o`
    sed -e '$s/^rc=.*/rc=0/' $o >$o.new
    mv $o.new $o
    echo " exit $rc" >>$f

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: Change target suite for 1.5.1~~ to UPSTREAM

src/types.c: Do not crash when one of several addr subqueries fails

If a name passed to the addr lookup machinery (eg, passed to an
adns_r_addr query, or resulting from a dereferencing query like
adns_r_mx) has addresses for one address family (eg IPv4) but
temporary failure for another (eg IPv6) then adns might (would
usually) crash.

This is because icb_hostaddr would fail to reset the accumulated addrs
pointer to 0 after freeing it, and then set naddrs to -1.  The crash
would occur in makefinal, which would attempt to arrange to copy -1
elements into the unifed output buffer.

If the second AF gives a permanent error, the relevant part of the
answer would contain an invalid (freed) pointer, with a zero length.
The result during makefinal_query would be to allocate a zero length
`block' in the unified output result buffer and put the pointer to
that in the answer for the application, which is a violation of the
promised API.

This bug was introduced with IPv6 support (in 1.5.0, in commit
2ca5496dfc95).

A test case for this bug will be introduced shortly.

Reported-by: Chris Burton of 8086.net
Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Add some tests with ~adns_if_noautosys

The test harness provides adns_if_noautosys by default (to make the
test .sys files more readable and less noisy, mostly).

But adns behaves rather differently with noautosys.  We should have
some more tests without it.  (The invocations of adnstest implied by
these new test cases produce obviously-wrong behaviour with an adns
which is lacking the TCP async connect API fix.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Remove update-extra-select conversion script

This script was a one-off.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Portability: Fix assumption about read() and write() on connecting sockets

Without adns_if_noautosys, adns would attempt read() on its TCP client
socket immediately after getting EINPROGRESS from connect(), and
assume that EAGAIN/EWOULDBLOCK means the socket is connected.

This is actually not correct on any platform that I'm aware of.
However, on Linux, write() on a socket which is being connected
returns EAGAIN, so everything seemed to work - adns would think that
the socket's window was full and wait for it to become writeable.  On
many other platforms, write() on such a socket returns ENOTCONN.

The result is that adns's TCP support may fail to work properly on
such platforms, especially if the nameserver is not localhost.  (A
connect to a suitable server on localhost often completes immediately,
which avoids exposing the bug.)  adns might fail to be able to do TCP
at all.

We detect the completion (successful or otherwise) of connect() by
selecting the fd (as contemplated by SuS).  This might expose us to
spurious fd writeability indications, if such things exist, but the
nonblocking connect API demands that they don't at least in this case.

We always do this select check, in adns_processwriteable.  In theory
this is sometimes unnecessary, because adns_processwriteable's caller
has probably just got a writeability indication from poll or select.
But adns should not assume that its caller will never feed it spurious
events, and there seems little point optimising away one syscall per
tcp connection (given that adns reuses the connection where possible.)

This behaviour naturally causes a lot of the regression tests to fail.
So in this commit we also update all the regression tests.  This has
been done in a programmatic way, by running
   perl -i ./update-extra-select case-*.sys

update-extra-select is supplied in this commit.  It is a (hopefully
easy to understand) script which adds a select just before every
applicable read.  The pretended select always reports that the fd is
useable, which is what would justify adns's subsequent behaviour.

(Most of the tests run with adns_if_noautosys - since that's the
default and has to be toggled off - and in those cases the socket has
in any case just been reported as writeable.)

Note that regress/update-extra-select is not idempotent.  Here, it has
been used exactly once.  (It is going to be deleted again in the next
commit.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Support NULL fdset arguments to select

We are going to want to pass these, and currently the test harness
will dereference the NULL.  So fix this.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Fix for malicious optimisation of memcpy in test suite, which causes failure with gcc-4.1.9 -O3.  See Debian bug #772718.

Portability fix for systems where socklen_t is bigger than int.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Clarify licence in NEWS

Start 1.5.1~~

Release 1.5.0.  No changes since 1.5.0~rc1.

Merge branch 'master' of chiark:public-git/adns

RELEASE-CHECKLIST: Updates used during release of 1.5.0~rc1

Update versions for ongoing development

Finalise 1.5.0~rc1

NEWS, changelog: Documentation for 1.5.0~rc1

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/Makefile.in: Parallelise `make check'

Use an individual target for each test.  This allows parallel make to
get its teeth into the problem.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Test adns_af:dampstring

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Treat unknown adns_af: values correctly

These shouldn't be fatal, and they should be affected by
ads->config_report_unknown.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf option parsing: Test adns_checkc

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parsing: Rename OPTION_IS etc. to WORD_IS

This now handles whatever is in `word', not necessarily the whole
option.  (We do this rename in a separate patch as it makes the
previous patch easier to review.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf option parsing: Fix word separation

`nextword' does not nul-terminate the words it returns.  So the
strcmps in ccf_options are wrong.  Fix this as follows:

 * Abolish most uses of l in favour of a pointer variable endword.
 * Have OPTION_IS and OPTION_STARTS update word, and endword, so
   that it is convenient to use them for option values, etc.
 * Save the whole option in new variables opt and optend for
   reporting and to assist the `adns_af:' loop.
 * Use OPTION_IS, OPTION_STARTS and memchr, rather than strcmp,
   ad-hoc memcmp, and strcspn.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Check that tarball is equal to git tree

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Non-real mode (the default, now)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Require version argument

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Config parsing: Provide a way to ignore unknown resolv.conf contents

You can now set the option `adns_ignoreunkcfg'.  This is relevant to
Debian #411263.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Config parsing: Ignore some BIND9-specific resolv.conf options

Debian #411263.  I also read wheezy's resolv.conf(5).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

resolv.conf parser: Avoid duplicating lengths in option parser

Replace a lot of things like `l>=5 && memcmp(word,"debug",5)'
with use of some new macros.

No functional change.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

API: Reject unknown flags

Check for unknown flags in adns_initflags, adns_queryflags, and
adns_rrtype.

This will allow us to extend the API in the future but still retain
backward-ABI-safety: new applications which pass a new flag but are
run against old adns will get an error (typically, ENOSYS).

In each case we reserve a few of the spare bits for `harmless'
extensions: flags which we decide, at the time of introduction, that
it is harmless for old implementations to ignore.

We simply provide explicit hex values for the flags.  This is easier
than listing all of the actually-defined flags, and probably no less
reliable.  Failing to add a new flag to the check as well as to the
enum will produce an obvious error (unless the `harmless' flag is used
- and those are at the top of the space to reduce that probability).

In the case of adns_rrtype, all of the external functions quickly pass
the type to adns__findtype, so we can do the check there.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Make internal function vbuf__append_quoted1035 static

This does not change the library ABI - the only callers are internal.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Remove RCSids.

We are using git now and it doesn't do this kind of thing.  They are a
pain, anyway.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Add test case output and common.make to `make [dist]clean'.

(Cherry-picked from Debian's adns dgit/experimental branch.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Bodge regress/Makefile.in's .SECONDARY some more

The declaration mentioning CLIENTS has an unfortunate side-effect: it
`mentions' the file adnshost_c.o, which is not part of the build and
is not buildable.

According to the rules in `(make)Implicit Rule Search' this causes
make to try to build adnshost_playback from adnshost_c.o (rule 5).
This is because files whose names are `mentioned' are taken to `ought
to exist'.

This causes adns to be unbuildable on the make from Debian sid
(4.0-8); it is not visible on earlier makes (eg 3.81-8.2) because they
don't appear to actually follow the documented algorithm.

Bodge this (further) by filtering adnshost out of the client list.  It
is currently the only client made out of multiple object files.

(Cherry-picked from Debian's adns dgit/experimental branch.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress: Use new combined hex syntax for adnstest types

This makes the tests clearer to read.  No functional change.

Change was made with

  for f in regress/*.sys; do perl -i~ -p ../t.pl $f; done

where t.pl is this script

  if ($.==1) { $at=m{^(?:\./)?adnstest\b}; }
  if ($at && $.==2 && m/^:/) {
      m/^:(\S+)/ or die;
      $r=$'; #';
      $_=$1;
      s{\b(\d+)\b}{
  sprintf "0x%x|%d", ($1 & ~0xffff), ($1 & 0xffff)
      }ge;
      $_=":$_$r";
  }

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

adnstest: Support typenum being 0xXX|DDD

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

API: Provide adns_qf_cname_strict

In the medium term we want to make adns tolerate cname chains better.
One thing we want to do is to change the default to be
adns_qf_cname_loose.

So introduce a flag now that allows applications to explicitly request
strict.  For now this new flag has no effect.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

enums: Add `sizeforce' member value

The C standard helpfully permits enums with a small range of values to
be short.  This effect is not desirable in an API because it means that
adding new values (new flags, say) may cause ABI incompatibility.

Add some `sizeforce' members to relevant enums in the API.  In none of
the three cases do we expect this to actually cause an ABI break on
actual practical platforms, because the values we choose are within
the same power-of-two bitwidth.

Specifically:

                    max value in adns 1.4       new max value
  adns_initflags            0x0300                    0x7fff
  adns_queryflags       0x0ff00000                0x7fffffff
  adns_rrtype              0x20000                0x7fffffff
  adns_status                  499                 unchanged

The small max value of adns_initflags is unfortunate.  But we can't
change it without actually breaking the ABI on actual existing
platforms.  We can put off biting that bullet until we run out of
initflags - there are still three flags remaining.

This patch is not expected to have any practical effect with existing
platforms and compilers but it makes the code more correct and less
likely to be misoptimised by a future aggressive compiler.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

.gitignore: Ignore GPG signature

Update version numbers to be between releases

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: Say to update versions after doing release

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

RELEASE-CHECKLIST: wip, as used for 1.5.0~rc0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README.html: Web page management changes

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Versions: update to 1.5.0 RC0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: More updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: Remove "pleased to announce" - should be in mail

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

README.html: Abolish dead link to BIND

README.html: mention signatures as possibly being on the web page

Build system: Provide `web-install' target

This copies the various website files to WEBDIR.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

adns.h: Generalise some mentions of A RRs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Break out common.make[.in]

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Know how to build adnshost.txt

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: Reorder slightly

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: Do not include Makefile and src/config.h in distribution tarball

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: More updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

NEWS: Draft release notes for 1.5.0~rc0

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

.gitignore: Add autom4te.cache

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Build system: update configure to autoconf 2.69

Ran `configure' on Debian wheezy i386.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Abolish `proprietary' part in GPL-vs-LGPL

Having accepted substantial contributions I am no longer in a position
to offer this.  And anyway the offer was mostly there to put people
off asking for something for nothing - no-one actually ever offered me
money.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Abolish LICENCE.WAIVERS

The only existing waiver was for the AGPL, and the GPLv3 which we are
now using has an AGPL-compatibility clause already in it.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Add copyright for Mark Wooding

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Update copyright dates for Ian Jackson

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Delete FSF address from INSTALL

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Copy GPL-3 into COPYING

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Delete FSF street address

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Licensing: Update version in file header comments

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

changelog: Update with changes so far

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Remove cvs-to-git conversion script

This has now done its work and is no longer needed.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefile.in: Fix "make dist" for git

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Documentation and webpage updates

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefile.in: update DISTVERSION

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify comment for addr_submit (style)

We don't just fiddle with tinfo; this function actually sets it.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Rewrite pap_addr (style)

Completely rework this function to make it much clearer.  Also rename
many of the surviving variables.

No functional change.

The following rune was helpful to me when preparing this patch:

  diff -bu <(git-show HEAD:src/types.c | perl -pe 's/\bstoreto\b/out/g; s/\bmax\b/cbyte_max/g; s/\boaddr\b/use_addr/; s/\bsalen\b/out_salen/g; s/\bstep\b/in_addrlen/g; s/\baf\b/out_af/g; s/\brrsz\b/out_rrsz/g; s/\brrty\b/in_rrty/g') src/types.c |less +/pap_addr

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify gettimeofday error handling (style)

Use `r=...; if (r)...' rather than `if (syscall) ...'.  And add a
comment explaining why we're not using adns__must_gettimeofday.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Clarify addr_rrtypeflag loop (style)

This structure avoids repeating the loop termination condition.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/types.c: Rename `hunoz' (style)

Call this `addr__rrty_eat_final_comma', not `addr_rrty_hunoz' (which
AFAICT from web searches is meaningful to Lisp programmers).

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/query.c: adns__free_interim: Add assertion

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/query.c: Rename alloc_info (style)

Rename it to alloc__info to emphasize its privateness.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/event.c: Use `continue' in adns_processreadable (style)

This is IMO clearer than another nested indent of the bulk of the loop
body.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/setup.c: Reuse variable i (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename `udpsocket' and `nudp' (style)

I prefer plurals for arrays and the count should have a near-identical
name.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

Makefiles: Remove pipes on clean

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/: Replace PF_ with AF_

I don't much like PF_.  None of the modern specs or docs talk about PF
any more.

Entirely formulaic patch:
  perl -i~ -pe 's/\bPF_INET\b/AF_INET/g' regress/*
  perl -i~ -pe 's/\bPF_INET6\b/AF_INET6/g' regress/*

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Fix commentary mood (style)

I prefer `/* does X */', to `/* do X */', for the comment next to a
function which does X.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename a variable `n' to `salen' (style)

I don't think a length can be called `n'.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Add a missing space (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Clarify logic in clk_srv (style)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename some variables `stat' to `st' (style)

These inconsistencies have been there since the dawn of time.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

src/: Rename a variable `err' to `st' (style)

(This was introduced in `src/: Change how query domain names are
checked.' and I prefer this name.)

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

regress/Makefile.in: Declare <client>_c.o as .SECONDARY

Otherwise you can get this:

 regress$ make adnstest_record -j2
 gcc -g -O2 -Wall -Wmissing-prototypes -Wwrite-strings -Wstrict-prototypes -Wcast-qual -Wpointer-arith -Wno-pointer-sign  -I../src -I. -I./../src  -DADNS_REGRESS_TEST -I. -c -g -o addrfam_d.o ../src/addrfam.c
 gcc    adnstest_c.o hrecord.o hcommon.o types_d.o event_d.o query_d.o reply_d.o general_d.o setup_d.o transmit_d.o parse_d.o poll_d.o check_d.o addrfam_d.o  -o adnstest_record
 gcc: error: adnstest_c.o: No such file or directory
 make: *** [adnstest_record] Error 1
 regress$

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: New test cases

Check that the reverse parser rejects labels with leading zeroes, with
digits out of range, or with out-of-range label values.  And check
uppercase IPv6 PTRs.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: Clearer algorithm

We used to have a kind of open-coded coroutine arrangement for parsing
reverse domains.  This is complicated and confusing.

Instead, when "parsing" the labels, simply stash their locations and
lengths.  Then, at the end, we have all of the information needed to
check, parse and process the whole domain.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>

reverse parsing: Make adns__revparse_* return bool

This seems nicer and is going to be more convenient.

Signed-off-by: Ian Jackson <ijackson@chiark.greenend.org.uk>