Fix various trivial compiler warnings
[u/mdw/putty] / sshrsa.c
index e44dce8..36069ad 100644 (file)
--- a/sshrsa.c
+++ b/sshrsa.c
@@ -8,44 +8,22 @@
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
-
-#if defined TESTMODE || defined RSADEBUG
-#ifndef DLVL
-#define DLVL 10000
-#endif
-#define debug(x) bndebug(#x,x)
-static int level = 0;
-static void bndebug(char *name, Bignum b) {
-    int i;
-    int w = 50-level-strlen(name)-5*b[0];
-    if (level >= DLVL)
-       return;
-    if (w < 0) w = 0;
-    dprintf("%*s%s%*s", level, "", name, w, "");
-    for (i=b[0]; i>0; i--)
-       dprintf(" %04x", b[i]);
-    dprintf("\n");
-}
-#define dmsg(x) do {if(level<DLVL){dprintf("%*s",level,"");printf x;}} while(0)
-#define enter(x) do { dmsg(x); level += 4; } while(0)
-#define leave(x) do { level -= 4; dmsg(x); } while(0)
-#else
-#define debug(x)
-#define dmsg(x)
-#define enter(x)
-#define leave(x)
-#endif
+#include <assert.h>
 
 #include "ssh.h"
 
+
 int makekey(unsigned char *data, struct RSAKey *result,
            unsigned char **keystr, int order) {
     unsigned char *p = data;
     int i;
 
-    result->bits = 0;
-    for (i=0; i<4; i++)
-       result->bits = (result->bits << 8) + *p++;
+    if (result) {
+        result->bits = 0;
+        for (i=0; i<4; i++)
+            result->bits = (result->bits << 8) + *p++;
+    } else
+        p += 4;
 
     /*
      * order=0 means exponent then modulus (the keys sent by the
@@ -54,12 +32,13 @@ int makekey(unsigned char *data, struct RSAKey *result,
      */
 
     if (order == 0)
-        p += ssh1_read_bignum(p, &result->exponent);
-    result->bytes = (((p[0] << 8) + p[1]) + 7) / 8;
+        p += ssh1_read_bignum(p, result ? &result->exponent : NULL);
+    if (result)
+        result->bytes = (((p[0] << 8) + p[1]) + 7) / 8;
     if (keystr) *keystr = p+2;
-    p += ssh1_read_bignum(p, &result->modulus);
+    p += ssh1_read_bignum(p, result ? &result->modulus : NULL);
     if (order == 1)
-        p += ssh1_read_bignum(p, &result->exponent);
+        p += ssh1_read_bignum(p, result ? &result->exponent : NULL);
 
     return p - data;
 }
@@ -70,11 +49,9 @@ int makeprivate(unsigned char *data, struct RSAKey *result) {
 
 void rsaencrypt(unsigned char *data, int length, struct RSAKey *key) {
     Bignum b1, b2;
-    int w, i;
+    int i;
     unsigned char *p;
 
-    debug(key->exponent);
-
     memmove(data+key->bytes-length, data, length);
     data[0] = 0;
     data[1] = 2;
@@ -86,36 +63,13 @@ void rsaencrypt(unsigned char *data, int length, struct RSAKey *key) {
     }
     data[key->bytes-length-1] = 0;
 
-    w = (key->bytes+1)/2;
+    b1 = bignum_from_bytes(data, key->bytes);
 
-    b1 = newbn(w);
-    b2 = newbn(w);
+    b2 = modpow(b1, key->exponent, key->modulus);
 
     p = data;
-    for (i=1; i<=w; i++)
-       b1[i] = 0;
     for (i=key->bytes; i-- ;) {
-       unsigned char byte = *p++;
-       if (i & 1)
-           b1[1+i/2] |= byte<<8;
-       else
-           b1[1+i/2] |= byte;
-    }
-
-    debug(b1);
-
-    modpow(b1, key->exponent, key->modulus, b2);
-
-    debug(b2);
-
-    p = data;
-    for (i=key->bytes; i-- ;) {
-       unsigned char b;
-       if (i & 1)
-           b = b2[1+i/2] >> 8;
-       else
-           b = b2[1+i/2] & 0xFF;
-       *p++ = b;
+        *p++ = bignum_byte(b2, i);
     }
 
     freebn(b1);
@@ -124,81 +78,417 @@ void rsaencrypt(unsigned char *data, int length, struct RSAKey *key) {
 
 Bignum rsadecrypt(Bignum input, struct RSAKey *key) {
     Bignum ret;
-    ret = newbn(key->modulus[0]);
-    modpow(input, key->private_exponent, key->modulus, ret);
+    ret = modpow(input, key->private_exponent, key->modulus);
     return ret;
 }
 
 int rsastr_len(struct RSAKey *key) {
     Bignum md, ex;
+    int mdlen, exlen;
 
     md = key->modulus;
     ex = key->exponent;
-    return 4 * (ex[0]+md[0]) + 10;
+    mdlen = (ssh1_bignum_bitcount(md)+15) / 16;
+    exlen = (ssh1_bignum_bitcount(ex)+15) / 16;
+    return 4 * (mdlen+exlen) + 20;
 }
 
 void rsastr_fmt(char *str, struct RSAKey *key) {
     Bignum md, ex;
-    int len = 0, i;
+    int len = 0, i, nibbles;
+    static const char hex[] = "0123456789abcdef";
 
     md = key->modulus;
     ex = key->exponent;
 
-    for (i=1; i<=ex[0]; i++) {
-       sprintf(str+len, "%04x", ex[i]);
-       len += strlen(str+len);
+    len += sprintf(str+len, "0x");
+
+    nibbles = (3 + ssh1_bignum_bitcount(ex))/4; if (nibbles<1) nibbles=1;
+    for (i=nibbles; i-- ;)
+        str[len++] = hex[(bignum_byte(ex, i/2) >> (4*(i%2))) & 0xF];
+
+    len += sprintf(str+len, ",0x");
+
+    nibbles = (3 + ssh1_bignum_bitcount(md))/4; if (nibbles<1) nibbles=1;
+    for (i=nibbles; i-- ;)
+        str[len++] = hex[(bignum_byte(md, i/2) >> (4*(i%2))) & 0xF];
+
+    str[len] = '\0';
+}
+
+/*
+ * Generate a fingerprint string for the key. Compatible with the
+ * OpenSSH fingerprint code.
+ */
+void rsa_fingerprint(char *str, int len, struct RSAKey *key) {
+    struct MD5Context md5c;
+    unsigned char digest[16];
+    char buffer[16*3+40];
+    int numlen, slen, i;
+
+    MD5Init(&md5c);
+    numlen = ssh1_bignum_length(key->modulus) - 2;
+    for (i = numlen; i-- ;) {
+        unsigned char c = bignum_byte(key->modulus, i);
+        MD5Update(&md5c, &c, 1);
     }
-    str[len++] = '/';
-    for (i=1; i<=md[0]; i++) {
-       sprintf(str+len, "%04x", md[i]);
-       len += strlen(str+len);
+    numlen = ssh1_bignum_length(key->exponent) - 2;
+    for (i = numlen; i-- ;) {
+        unsigned char c = bignum_byte(key->exponent, i);
+        MD5Update(&md5c, &c, 1);
+    }
+    MD5Final(digest, &md5c);
+
+    sprintf(buffer, "%d ", ssh1_bignum_bitcount(key->modulus));
+    for (i = 0; i < 16; i++)
+        sprintf(buffer+strlen(buffer), "%s%02x", i?":":"", digest[i]);
+    strncpy(str, buffer, len); str[len-1] = '\0';
+    slen = strlen(str);
+    if (key->comment && slen < len-1) {
+        str[slen] = ' ';
+        strncpy(str+slen+1, key->comment, len-slen-1);
+        str[len-1] = '\0';
     }
-    str[len] = '\0';
 }
 
 void freersakey(struct RSAKey *key) {
     if (key->modulus) freebn(key->modulus);
     if (key->exponent) freebn(key->exponent);
     if (key->private_exponent) freebn(key->private_exponent);
-    if (key->comment) free(key->comment);
+    if (key->comment) sfree(key->comment);
+}
+
+/* ----------------------------------------------------------------------
+ * Implementation of the ssh-rsa signing key type. 
+ */
+
+#define GET_32BIT(cp) \
+    (((unsigned long)(unsigned char)(cp)[0] << 24) | \
+    ((unsigned long)(unsigned char)(cp)[1] << 16) | \
+    ((unsigned long)(unsigned char)(cp)[2] << 8) | \
+    ((unsigned long)(unsigned char)(cp)[3]))
+
+#define PUT_32BIT(cp, value) { \
+    (cp)[0] = (unsigned char)((value) >> 24); \
+    (cp)[1] = (unsigned char)((value) >> 16); \
+    (cp)[2] = (unsigned char)((value) >> 8); \
+    (cp)[3] = (unsigned char)(value); }
+
+static void getstring(char **data, int *datalen, char **p, int *length) {
+    *p = NULL;
+    if (*datalen < 4)
+        return;
+    *length = GET_32BIT(*data);
+    *datalen -= 4; *data += 4;
+    if (*datalen < *length)
+        return;
+    *p = *data;
+    *data += *length; *datalen -= *length;
+}
+static Bignum getmp(char **data, int *datalen) {
+    char *p;
+    int length;
+    Bignum b;
+
+    getstring(data, datalen, &p, &length);
+    if (!p)
+        return NULL;
+    b = bignum_from_bytes(p, length);
+    return b;
+}
+
+static void *rsa2_newkey(char *data, int len) {
+    char *p;
+    int slen;
+    struct RSAKey *rsa;
+
+    rsa = smalloc(sizeof(struct RSAKey));
+    if (!rsa) return NULL;
+    getstring(&data, &len, &p, &slen);
+
+    if (!p || slen != 7 || memcmp(p, "ssh-rsa", 7)) {
+       sfree(rsa);
+       return NULL;
+    }
+    rsa->exponent = getmp(&data, &len);
+    rsa->modulus = getmp(&data, &len);
+    rsa->private_exponent = NULL;
+    rsa->comment = NULL;
+
+    return rsa;
 }
 
-#ifdef TESTMODE
+static void rsa2_freekey(void *key) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    freersakey(rsa);
+    sfree(rsa);
+}
 
-#ifndef NODDY
-#define p1 10007
-#define p2 10069
-#define p3 10177
-#else
-#define p1 3
-#define p2 7
-#define p3 13
-#endif
+static char *rsa2_fmtkey(void *key) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    char *p;
+    int len;
+    
+    len = rsastr_len(rsa);
+    p = smalloc(len);
+    rsastr_fmt(p, rsa);
+    return p;
+}
 
-unsigned short P1[2] = { 1, p1 };
-unsigned short P2[2] = { 1, p2 };
-unsigned short P3[2] = { 1, p3 };
-unsigned short bigmod[5] = { 4, 0, 0, 0, 32768U };
-unsigned short mod[5] = { 4, 0, 0, 0, 0 };
-unsigned short a[5] = { 4, 0, 0, 0, 0 };
-unsigned short b[5] = { 4, 0, 0, 0, 0 };
-unsigned short c[5] = { 4, 0, 0, 0, 0 };
-unsigned short One[2] = { 1, 1 };
-unsigned short Two[2] = { 1, 2 };
+static unsigned char *rsa2_public_blob(void *key, int *len) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    int elen, mlen, bloblen;
+    int i;
+    unsigned char *blob, *p;
 
-int main(void) {
-    modmult(P1, P2, bigmod, a);   debug(a);
-    modmult(a, P3, bigmod, mod);  debug(mod);
+    elen = (ssh1_bignum_bitcount(rsa->exponent)+8)/8;
+    mlen = (ssh1_bignum_bitcount(rsa->modulus)+8)/8;
 
-    sub(P1, One, a);              debug(a);
-    sub(P2, One, b);              debug(b);
-    modmult(a, b, bigmod, c);     debug(c);
-    sub(P3, One, a);              debug(a);
-    modmult(a, c, bigmod, b);     debug(b);
+    /*
+     * string "ssh-rsa", mpint exp, mpint mod. Total 19+elen+mlen.
+     * (three length fields, 12+7=19).
+     */
+    bloblen = 19+elen+mlen;
+    blob = smalloc(bloblen);
+    p = blob;
+    PUT_32BIT(p, 7); p += 4;
+    memcpy(p, "ssh-rsa", 7); p += 7;
+    PUT_32BIT(p, elen); p += 4;
+    for (i = elen; i-- ;) *p++ = bignum_byte(rsa->exponent, i);
+    PUT_32BIT(p, mlen); p += 4;
+    for (i = mlen; i-- ;) *p++ = bignum_byte(rsa->modulus, i);
+    assert(p == blob + bloblen);
+    *len = bloblen;
+    return blob;
+}
+
+static unsigned char *rsa2_private_blob(void *key, int *len) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    int dlen, plen, qlen, ulen, bloblen;
+    int i;
+    unsigned char *blob, *p;
 
-    modpow(Two, b, mod, a);       debug(a);
+    dlen = (ssh1_bignum_bitcount(rsa->private_exponent)+8)/8;
+    plen = (ssh1_bignum_bitcount(rsa->p)+8)/8;
+    qlen = (ssh1_bignum_bitcount(rsa->q)+8)/8;
+    ulen = (ssh1_bignum_bitcount(rsa->iqmp)+8)/8;
+
+    /*
+     * mpint private_exp, mpint p, mpint q, mpint iqmp. Total 16 +
+     * sum of lengths.
+     */
+    bloblen = 16+dlen+plen+qlen+ulen;
+    blob = smalloc(bloblen);
+    p = blob;
+    PUT_32BIT(p, dlen); p += 4;
+    for (i = dlen; i-- ;) *p++ = bignum_byte(rsa->private_exponent, i);
+    PUT_32BIT(p, plen); p += 4;
+    for (i = plen; i-- ;) *p++ = bignum_byte(rsa->p, i);
+    PUT_32BIT(p, qlen); p += 4;
+    for (i = qlen; i-- ;) *p++ = bignum_byte(rsa->q, i);
+    PUT_32BIT(p, ulen); p += 4;
+    for (i = ulen; i-- ;) *p++ = bignum_byte(rsa->iqmp, i);
+    assert(p == blob + bloblen);
+    *len = bloblen;
+    return blob;
+}
+
+static void *rsa2_createkey(unsigned char *pub_blob, int pub_len,
+                           unsigned char *priv_blob, int priv_len) {
+    struct RSAKey *rsa;
+    char *pb = (char *)priv_blob;
+    
+    rsa = rsa2_newkey((char *)pub_blob, pub_len);
+    rsa->private_exponent = getmp(&pb, &priv_len);
+    rsa->p = getmp(&pb, &priv_len);
+    rsa->q = getmp(&pb, &priv_len);
+    rsa->iqmp = getmp(&pb, &priv_len);
+
+    return rsa;
+}
+
+static void *rsa2_openssh_createkey(unsigned char **blob, int *len) {
+    char **b = (char **)blob;
+    struct RSAKey *rsa;
+
+    rsa = smalloc(sizeof(struct RSAKey));
+    if (!rsa) return NULL;
+    rsa->comment = NULL;
+
+    rsa->modulus = getmp(b, len);
+    rsa->exponent = getmp(b, len);
+    rsa->private_exponent = getmp(b, len);
+    rsa->iqmp = getmp(b, len);
+    rsa->p = getmp(b, len);
+    rsa->q = getmp(b, len);
+
+    if (!rsa->modulus || !rsa->exponent || !rsa->private_exponent ||
+       !rsa->iqmp || !rsa->p || !rsa->q) {
+       sfree(rsa->modulus);
+       sfree(rsa->exponent);
+       sfree(rsa->private_exponent);
+       sfree(rsa->iqmp);
+       sfree(rsa->p);
+       sfree(rsa->q);
+       sfree(rsa);
+       return NULL;
+    }
+
+    return rsa;
+}
+
+static char *rsa2_fingerprint(void *key) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    struct MD5Context md5c;
+    unsigned char digest[16], lenbuf[4];
+    char buffer[16*3+40];
+    char *ret;
+    int numlen, i;
+
+    MD5Init(&md5c);
+    MD5Update(&md5c, "\0\0\0\7ssh-rsa", 11);
+
+#define ADD_BIGNUM(bignum) \
+    numlen = (ssh1_bignum_bitcount(bignum)+8)/8; \
+    PUT_32BIT(lenbuf, numlen); MD5Update(&md5c, lenbuf, 4); \
+    for (i = numlen; i-- ;) { \
+        unsigned char c = bignum_byte(bignum, i); \
+        MD5Update(&md5c, &c, 1); \
+    }
+    ADD_BIGNUM(rsa->exponent);
+    ADD_BIGNUM(rsa->modulus);
+#undef ADD_BIGNUM
+
+    MD5Final(digest, &md5c);
+
+    sprintf(buffer, "ssh-rsa %d ", ssh1_bignum_bitcount(rsa->modulus));
+    for (i = 0; i < 16; i++)
+        sprintf(buffer+strlen(buffer), "%s%02x", i?":":"", digest[i]);
+    ret = smalloc(strlen(buffer)+1);
+    if (ret)
+        strcpy(ret, buffer);
+    return ret;
+}
+
+/*
+ * This is the magic ASN.1/DER prefix that goes in the decoded
+ * signature, between the string of FFs and the actual SHA hash
+ * value. As closely as I can tell, the meaning of it is:
+ * 
+ * 00 -- this marks the end of the FFs; not part of the ASN.1 bit itself
+ * 
+ * 30 21 -- a constructed SEQUENCE of length 0x21
+ *    30 09 -- a constructed sub-SEQUENCE of length 9
+ *       06 05 -- an object identifier, length 5
+ *          2B 0E 03 02 1A -- 
+ *       05 00 -- NULL
+ *    04 14 -- a primitive OCTET STRING of length 0x14
+ *       [0x14 bytes of hash data follows]
+ */
+static unsigned char asn1_weird_stuff[] = {
+    0x00,0x30,0x21,0x30,0x09,0x06,0x05,0x2B,
+    0x0E,0x03,0x02,0x1A,0x05,0x00,0x04,0x14,
+};
+
+#define ASN1_LEN ( (int) sizeof(asn1_weird_stuff) )
+
+static int rsa2_verifysig(void *key, char *sig, int siglen,
+                        char *data, int datalen) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    Bignum in, out;
+    char *p;
+    int slen;
+    int bytes, i, j, ret;
+    unsigned char hash[20];
+
+    getstring(&sig, &siglen, &p, &slen);
+    if (!p || slen != 7 || memcmp(p, "ssh-rsa", 7)) {
+        return 0;
+    }
+    in = getmp(&sig, &siglen);
+    out = modpow(in, rsa->exponent, rsa->modulus);
+    freebn(in);
+
+    ret = 1;
+
+    bytes = ssh1_bignum_bitcount(rsa->modulus) / 8;
+    /* Top (partial) byte should be zero. */
+    if (bignum_byte(out, bytes-1) != 0)
+        ret = 0;
+    /* First whole byte should be 1. */
+    if (bignum_byte(out, bytes-2) != 1)
+        ret = 0;
+    /* Most of the rest should be FF. */
+    for (i = bytes-3; i >= 20 + ASN1_LEN; i--) {
+        if (bignum_byte(out, i) != 0xFF)
+            ret = 0;
+    }
+    /* Then we expect to see the asn1_weird_stuff. */
+    for (i = 20 + ASN1_LEN - 1, j=0; i >= 20; i--,j++) {
+        if (bignum_byte(out, i) != asn1_weird_stuff[j])
+            ret = 0;
+    }
+    /* Finally, we expect to see the SHA-1 hash of the signed data. */
+    SHA_Simple(data, datalen, hash);
+    for (i = 19, j=0; i >= 0; i--,j++) {
+        if (bignum_byte(out, i) != hash[j])
+            ret = 0;
+    }
+
+    return ret;
+}
 
-    return 0;
+unsigned char *rsa2_sign(void *key, char *data, int datalen, int *siglen) {
+    struct RSAKey *rsa = (struct RSAKey *)key;
+    unsigned char *bytes;
+    int nbytes;
+    unsigned char hash[20];
+    Bignum in, out;
+    int i, j;
+
+    SHA_Simple(data, datalen, hash);
+
+    nbytes = (ssh1_bignum_bitcount(rsa->modulus)-1) / 8;
+    bytes = smalloc(nbytes);
+
+    bytes[0] = 1;
+    for (i = 1; i < nbytes-20-ASN1_LEN; i++)
+       bytes[i] = 0xFF;
+    for (i = nbytes-20-ASN1_LEN, j=0; i < nbytes-20; i++,j++)
+       bytes[i] = asn1_weird_stuff[j];
+    for (i = nbytes-20, j=0; i < nbytes; i++,j++)
+       bytes[i] = hash[j];
+
+    in = bignum_from_bytes(bytes, nbytes);
+    sfree(bytes);
+
+    out = modpow(in, rsa->private_exponent, rsa->modulus);
+    freebn(in);
+
+    nbytes = (ssh1_bignum_bitcount(out)+7)/8;
+    bytes = smalloc(4+7+4+nbytes);
+    PUT_32BIT(bytes, 7);
+    memcpy(bytes+4, "ssh-rsa", 7);
+    PUT_32BIT(bytes+4+7, nbytes);
+    for (i = 0; i < nbytes; i++)
+       bytes[4+7+4+i] = bignum_byte(out, nbytes-1-i);
+    freebn(out);
+
+    *siglen = 4+7+4+nbytes;
+    return bytes;
 }
 
-#endif
+const struct ssh_signkey ssh_rsa = {
+    rsa2_newkey,
+    rsa2_freekey,
+    rsa2_fmtkey,
+    rsa2_public_blob,
+    rsa2_private_blob,
+    rsa2_createkey,
+    rsa2_openssh_createkey,
+    rsa2_fingerprint,
+    rsa2_verifysig,
+    rsa2_sign,
+    "ssh-rsa",
+    "rsa2"
+};