Merge branch 'master' into emergency

* master:
  fender.m4: Define an address to be a guaranteed black hole.

fender.m4: Define an address to be a guaranteed black hole.

Merge remote-tracking branch 'origin' into emergency

* origin:
  local.m4: A new network for the SGO VPN.
  functions.m4, classify.m4: Handle negative address ranges.
  Make FW_NOACT work properly.

Conflicts:
local.m4

local.m4: A new network for the SGO VPN.

functions.m4, classify.m4: Handle negative address ranges.

That is, a network can explicitly exclude an address range.  Ranges are
checked in order, so you carve out a hole in the middle of a range by
putting a negative range first for the hole first, and the big network
afterwards.

This involves a fairly major rearrangement of the address classification
machinery.  Again.

Make FW_NOACT work properly.

Some calls to iptables(8) and friends weren't through `run', so fix
these.  Also skip the initial flushing.  We probably want to skip the
final dump, but don't do that yet.

Merge branch 'master' into emergency

* master:
  local.m4: Declare network for anycast services.
  local.m4: Reorder forwarding networks for `default'.
  local.m4: Move `vpn' to the common networks section.

local.m4: Declare network for anycast services.

local.m4: Reorder forwarding networks for `default'.

Makes it easier to read.

local.m4: Move `vpn' to the common networks section.

It's not really geographical.

bookends.m4: Configure IPv6 router advertisement stuff.

Servers are expected to listen in on the routing protocols, so even
though they aren't actually routers, they still shouldn't listen to
the advertisements.

functions.m4, local.m4: Introduce more kinds of hosts.

functions.m4: Actually set the IPv6 options.

Partially revert "vampire.m4: Open rdesktop port 3389."

This partially reverts commit 70b00235ca5a98cc79e1265b7d099f07f8924237:
RDP is not suitable for exposure to the outside world.

Merge branch 'master' into emergency

* master:
  Overhaul address classification for link-local and non-unicast addresses.
  functions.m4: Publish the per-class forwarding bitmasks.
  functions.m4: The mark-{from,to}-* rules no longer own the packet marks.
  classify.m4: Use canonical forms for IPv6 addresses.
  local.m4: Actually use the IPv6 fragmentation forbidding filter.
  Extend proper ICMP handling to IPv6.
  bookends.m4: Optimize checking for forwarding IPv6 link-local multicast.
  vampire.m4: Extend services to untrusted hosts over IPv6.
  Introduce variable for expected input chains.

Overhaul address classification for link-local and non-unicast addresses.

The previous attempts just weren't working.  Intead, assign them their
own classes, and work things using the forwarding masks.  There's a
minor wrinkle, that we must handle forwarded packets differently from
inbound ones if they involve link-local addresses, but this is handled
with a fixup in the mangle INPUT chain.

The other significant change here is that the mangle table is now
responsible for selecting packets with bogus destination addresses for
rejection -- though it can't do the rejection itself because of a
kernel restriction.

functions.m4: Publish the per-class forwarding bitmasks.

Just a matter of renaming the variables which hold them.

functions.m4: The mark-{from,to}-* rules no longer own the packet marks.

These rules now have to be more careful about exactly which parts of
the mark field they clobber.

classify.m4: Use canonical forms for IPv6 addresses.

local.m4: Actually use the IPv6 fragmentation forbidding filter.

Extend proper ICMP handling to IPv6.

Take the opportunity to use the `icmpv6' protocol name throughout.
Fortunately, in a few places where we use `ip46tables', it's actually
possible to use plain `-p icmp'.

bookends.m4: Optimize checking for forwarding IPv6 link-local multicast.

Apply a coarse filter to detect all multicast, and dispatch to a
finer-grained one to detect link-local multicast addresses.  This
would be much easier if the flags and scope fields were the other way
around.

Also fix it to use the correct address range.

vampire.m4: Extend services to untrusted hosts over IPv6.

Introduce variable for expected input chains.

Saves lots of messing with $forward.

Merge branch 'master' into emergency

* master:
  local.m4: Fix the `safe' network prefix length.
  local.m4: Define the IPv6 network structure.
  local.m4: Add routes to/from the `safe' network.
  local.m4: The VPN will be available through the colo.
  functions.m4: Correct defaulting of IPv6 host addresses.

Conflicts:
local.m4

local.m4: Fix the `safe' network prefix length.

local.m4: Define the IPv6 network structure.

local.m4: Add routes to/from the `safe' network.

local.m4: The VPN will be available through the colo.

functions.m4: Correct defaulting of IPv6 host addresses.

Merge branch 'master' into emergency

* master:
  classify.m4: Reject the RFC5737 documentation-only addresses.

classify.m4: Reject the RFC5737 documentation-only addresses.

local.m4: The default net reaches vampire's `t6-he' interface.

Of course this means that we must mention which other interfaces can
also carry default addresses.

vampire.m4: Open a 6-in-4 tunnel through to Hurricane Electric.

Another job that radius should be doing.

Merge branch 'master' into emergency

* master:
  Move per-host filtering to diversion 86 as promised.
  local.m4: Add `unsafe' to ibanez `br-dmz' interface.

Move per-host filtering to diversion 86 as promised.

For some reason, most of them were on 84, and fender was on 82.

local.m4: Add `unsafe' to ibanez `br-dmz' interface.

Accidentally omitted from the earlier change.

Merge branch 'master' into emergency

* master:
  functions: Move NTP server list out of line.
  local.m4: Allow dmz/jump packets on unsafe/colo networks and vice versa.

functions: Move NTP server list out of line.

Makes the `inbound' chain slightly more efficient in the common case.

local.m4: Allow dmz/jump packets on unsafe/colo networks and vice versa.

The routing asymmetry is too grim otherwise.  Consider:

  * ibanez and vampire are both on dmz and unsafe;

  * vampire is a router on dmz, unsafe, and vpn, while ibanez is not a
    router;

  * crybaby is on vpn;

  * crybaby attempts to connect to ibanez.dmz.

Now ibanez will respond with its dmz address as the source, and
crybaby's vpn address as the destination.  Based on the destination, it
will choose to route the packet over the unsafe network.  We must
therefore let vampire know that this is a possibility.

Similarly, ibanez must be prepared to allow packets from unsafe
on its dmz interface because it's not a router: hence, to reach their
destination, they'll have to be pushed over dmz by a router.

It's therefore inevitable that we must abandon separation between these
two networks (or start fiddling with policy routing, which just seems
like more pain than it's worth).

Merge branch 'master' into emergency

* master:
  radius.m4: Forbid traffic directly to the NAT address.
  radius.m4: Use the correct interface name for NAT.
  local.m4: Fix IGMP acceptance (debris from old interface declarations).

radius.m4: Forbid traffic directly to the NAT address.

It should only be for forwarded traffic.

radius.m4: Use the correct interface name for NAT.

This is the last of the network declaration switchover debris.

local.m4: Fix IGMP acceptance (debris from old interface declarations).

The rules which allowed incoming IGMP were written in terms of (a) the
old $if_... variables which have now disappeared, and (b) an explicit
list of the `trusted' networks.  Fix this to use the new system: walk
the list of networks, examine their classes, and determine the
interfaces.

vampire.m4: Forbid incoming traffic directly on the NAT address.

It's meant only for forwarding.

Merge branch 'master' into emergency

* master:
  functions.m4: Write the netclass ids to the trace output.
  bookends.m4: If debugging, dump the final tables.
  Determine forwarding and reverse-path filtering from host definitions.
  Overhaul address classification.
  local.m4: Promote the NTP server configuration to a proper variable.
  Renumber the diversions.
  fixup! WIP on emergency: 7a108d1 Makefile: New target for tracking diversions.
  Makefile: New target for tracking diversions.
  Makefile, base.m4: Inject the target hostname into the generated script.

Semantic conflict: The variable `if_dmz' is no longer set, so just
hardwire the interface name.

functions.m4: Write the netclass ids to the trace output.

bookends.m4: If debugging, dump the final tables.

This makes it rather easier to see what's gone wrong when the update
times out.

Determine forwarding and reverse-path filtering from host definitions.

There's an explicit declaration for routers.  Reverse-path filtering is
just turned off: the routing asymmetries break things too badly on
multi-homed hosts, and it's useless for single-homed hosts.

Overhaul address classification.

The current system isn't scaling.  Adding new networks in particular is
very difficult, and requires subtle changes to all of the host
definitions -- which is also rather tedious.

This new version overhauls the way that the classification chains are
constructed.  The important part is that they're now derived from a
single description of the entire network.  (This isn't necessary: the
network and hosts could be scattered arbitrarily, but it makes
management easier for me.)

The critical bit is the algorithm in `net_interfaces' which computes
which networks' source addresses can arrive at a particular interface.
This algorithm isn't especially clever (what with being written in
Bourne shell and all) but seems to do the job fairly well, and it has
enough knobs to tweak that getting the right answer isn't too hard.

local.m4: Promote the NTP server configuration to a proper variable.

Renumber the diversions.

Move the function definitions together; shift the host interface
definitions near the beginning of the file; and move the local filter
rules later to allow more room for built-in filtering.

fixup! WIP on emergency: 7a108d1 Makefile: New target for tracking diversions.

Makefile: New target for tracking diversions.

Makefile, base.m4: Inject the target hostname into the generated script.

This means we can identify the target in the comment header.  It will be
even more useful later.

Merge branch 'master' into emergency

* master:
  numbers.m4, gibson.m4: Allow gibson to receive IPMI responses.
  bookends.m4: Open up tables we clobbered at exit.
  fender: New host, with basic firewall.

numbers.m4, gibson.m4: Allow gibson to receive IPMI responses.

Useful for managing fancy server boxes.

bookends.m4: Open up tables we clobbered at exit.

Otherwise the `raw' table gets left dropping everything.  I've no idea
why this didn't actually break everything for ages.

fender: New host, with basic firewall.

Eventually fender will live elsewhere and have totally different
routing.  For now, though, this will do.

vampire.m4: Open rdesktop port 3389.

Users may want to forward this to a Windows machine.  There is no
local RDP service.

vampire.m4: Load protocol-specific NAT helper modules.

vampire.m4: Assume router and NAT duties.

numbers.m4, vampire.m4: Serve TFTP to the untrusted network.

Refactor the untrusted-services stuff to make this less grim.

numbers.m4, gibson.m4: Allow gibson public SIP access.

jem.m4: Add a hook for SAUCE.

Use ipsets rather than SAUCE's defaults.

functions.m4: New function for arranging that an ipset exists.

functions.m4: Make clearchain tolerant of existing chains.

It's a handy way to make chains which are populated elsewhere, e.g., by
fail2ban.

bookends.m4: Much more intelligent initialization.

Rather than clobbering all of the chains, clear them out one at a time,
preserving some which are known to be maintained elsewhere.

jem.m4: Remove SMB for untrusted hosts.

Leave that as a job for artist.

functions.m4: Rate-limit rejections on error chains.

This reduces our workload under attack, without severely affecting
diagnostic capability.

bookends.m4: Provide a hook chain for fail2ban.

Otherwise it does its filtering before we've permitted loopback, and
stuff could get very bad.

radius.m4: Allow IPv6 tunnel from Hurricane Electric UK endpoint.

functions.m4, numbers.m4: Define protocol number for IPv6 tunnelling.

bookend.m4: Finish off the IPv6 chains.

hosts: Allow incoming ident requests.

radius.m4: Take over NAT duties.

As the main internal router, radius now takes responsibility for appling
SNAT to outbound connections from internal hosts.

Major network restructuring.

We now have a globally routable /28.  Use this as the DMZ and the
network backbone.  The main servers (ibanez, radius, roadstar, jem,
artist and vampire) are on both the DMZ and the unsafe network.
radius is now the main internal router, though vampire is still on
several networks because it provides DHCP and DNS services.

This new configuration makes essential use of the ability (added to
defiface) to accept multiple interface names by setting lists of names
into the interface variables if_FOO.

There's another aspect of the routing complexity which we must address
here: multicasts can arrive on any of several trusted networks, and we
should accept them all.  (We must cope with interface name lists in the
interface variables here, and deduplicate.)

bookends.m4, config.m4: Allow configuration of reverse-path filtering.

We'll need to turn it off in some hosts because there are routing
asymmetries.

functions.m4: Set IPv6 options in setopt and setdevopt.

Also allow selection of interfaces in setdevopt.  We don't need this
yet, but it will allow selective enabling of reverse-path filtering and
similar should that turn out to be useful.

bookends.m4: Only disable filtering on bridges if we have bridges.

Actually, we're too early in the boot process to tell whether there are
bridges; but we can try to load the applicable module and only do the
hacking if it's available.  This probably bloats some kernels a bit, but
it's not too bad.

bookends.m4: Allow responding to broadcast and multicast ping.

This way, I can see which things are responding to multicasts.

classify.m4, functions.m4: Multiple interfaces can have default nets.

Following on from the last change: if a net can be reachable through
several interfaces, then logically the default net might be reachable
through several interfaces too.  Therefore, we must be able to cope with
this situation.

functions.m4: Allow multiple interfaces to be defined by defiface.

With the upcoming network reorganization, it will be possible for
particular networks to be routed over several different interfaces.  It
will make describing the individual routers easier if we can get
defiface to deal with the commonality.

functions.m4, local.m4: Workaround for option parser fragmentation bugs.

There are some nasty option parser bugs in iptables 1.4.11.1.  Most
obviously, it refuses to accept `! -f' even though it always used to
work.  (This is Debian #632695.)  Secondly, it sees that ip6tables has
stopped accepting `! --fragfirst'.  I'm not sure this is unintentional,
though it's certainly annoying.

Work around both of these problems by introducing additional chains.
That is, we replace

iptables -A chain -j action ! --test

by

iptables -A newchain -j RETURN --test
iptables -A newchain -j action
iptables -A chain -j newchain

which is rather unpleasant, really.

base.m4: Fix LSB init-script ordering.

We were coming up too early in the boot sequence, and sysctl wasn't
working.  Fix this.

bookends, classify, local: Fixes for IP multicasting.

  * Allow reception of multicast packets.

  * Ensure that link-local multicasts aren't forwarded.  (Though
    currently no multicasts are forwarded, this isn't necessarily always
    going to be the case).

  * Turn /off/ iptables filtering of bridged packets.  I'm currently
    taking the view that the bridges are a hack introduced because I
    can't just plug all of the guests into a physical switch.  If I need
    to do better filtering, I'll either use ebtables or do something
    more complicated later.

local, vampire, ibanez: Centralize definition of NTP servers.

We now have multiple independent NTP servers, so it makes sense to
have the list of upstream servers in only one place.  Make it so.

ibanez, radius: Move NTP service to ibanez.

Turns out running NTP in guests is a bad plan.

base.m4: Include an LSB header so that insserv can order it properly.

Makefile: Better rule hacking for installation.

If I use static pattern rules, I can set them as phony.  But I must
exclude the local host rule.

prologue.m4: Use iptables-{save,restore} for the molly-guard.

This seems generally more reliable than hoping that there's a saved copy
lying around which is likely to work, and also means that we have
an escape plan for an initial installation.

Host changeover.

Remove metalzone, which is defunct; add all of the new machines.

config.m4: Stupid typo.

base.m4: Fix missing comma in `setconf', which has never ever worked.

base.m4: On second thoughts, this one is more m4 than shell.

local.m4: Disable forwarding multicasts until I work out how.

classify.m4: Dislike multicast addresses as a source address.

I think they're not permitted.  They're certainly hard to deal with if
they are.

prologue, Makefile, local.mk: Overhaul installation.

The prologue mollyguard is abstracted and generalized a bit so that we
can install stuff remotely without too much worry.  Installation is moved
into the main Makefile (with slightly spruced-up documentation), leaving
only a few very minor tweaks in the local configuration.

Makefie: Give the main build the silent treatment.

Makefile: Add licence block at the top.

It's going to get more complicated later.  Also provide a bit more
guidance on what can be in local.mk.