Changed indentation to avoid a gcc warning.
[mymail.git] / mymail.c
index 50e5ba5..a04fde8 100644 (file)
--- a/mymail.c
+++ b/mymail.c
 
 /*
 
-  This command is a dumb mail indexer. It can either (1) scan
-  directories containing mbox files, and create a db file containing
-  for each mail a list of fields computed from the header, or (2)
-  read such a db file and get all the mails matching regexp-defined
-  conditions on the fields, to create a resulting mbox file.
+  mymail is a simple mail indexer. It can:
+
+  (1) scan mbox files, and create a db file containing for each mail a
+      list of fields computed from its header.
+
+  (2) read such a db file, gets all the mails matching regexp-defined
+      conditions on the fields, and generates a resulting mbox file.
 
   It is low-tech, simple, light and fast.
 
@@ -35,6 +37,7 @@
 
 #include <stdio.h>
 #include <stdlib.h>
+#include <sys/stat.h>
 #include <string.h>
 #include <errno.h>
 #include <fcntl.h>
 #include <time.h>
 
 #define MYMAIL_DB_MAGIC_TOKEN "mymail_index_file"
-#define VERSION "0.9.5"
+#define MYMAIL_VERSION "0.9.10"
+
+#define MYMAIL_DB_FORMAT_VERSION 1
 
 #define MAX_NB_SEARCH_CONDITIONS 32
 
 #define BUFFER_SIZE 65536
 #define TOKEN_BUFFER_SIZE 1024
 
-#define LEADING_FROM_LINE_REGEXP_STRING "^From [^ ]*  \\(Mon\\|Tue\\|Wed\\|Thu\\|Fri\\|Sat\\|Sun\\) \\(Jan\\|Feb\\|Mar\\|Apr\\|May\\|Jun\\|Jul\\|Aug\\|Sep\\|Oct\\|Nov\\|Dec\\) [ 123][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9] [0-9][0-9][0-9][0-9]\n$"
+#define LEADING_FROM_LINE_REGEXP_STRING "^From .*\\(Mon\\|Tue\\|Wed\\|Thu\\|Fri\\|Sat\\|Sun\\) \\(Jan\\|Feb\\|Mar\\|Apr\\|May\\|Jun\\|Jul\\|Aug\\|Sep\\|Oct\\|Nov\\|Dec\\) [ 0123][0-9] [0-9][0-9]:[0-9][0-9]:[0-9][0-9] [0-9][0-9][0-9][0-9]\n$"
 
-/* Global variables! */
+/********************************************************************/
 
-int quiet;
+struct alias_node {
+  char *alias, *value;
+  struct alias_node *next;
+};
 
-regex_t leading_from_line_regexp;
+/* Global variables! */
+
+int global_quiet;
+int global_use_leading_time;
+int global_nb_mails_max;
+int global_discard_mail_from_the_future;
+regex_t global_leading_from_line_regexp;
+struct alias_node *global_alias_list;
+time_t global_current_time;
 
 /********************************************************************/
 
@@ -72,7 +88,10 @@ enum {
   ID_DATE,
   ID_PARTICIPANT,
   ID_BODY,
-  ID_INTERVAL,
+  ID_TIME_INTERVAL,
+  ID_MAIL_ID,
+  ID_REFERENCE_ID,
+  ID_THREAD_ID,
   MAX_ID
 };
 
@@ -85,16 +104,19 @@ static char *field_keys[] = {
   "date",
   "part",
   "body",
-  "interval"
+  "interval",
+  "mailid",
+  "reference",
+  "thread"
 };
 
 /********************************************************************/
 
 struct search_condition {
-  int field_id;
+  int db_key;
+  regex_t db_value_regexp;
   int negation;
-  regex_t regexp;
-  time_t interval_start, interval_stop;
+  time_t time_start, time_stop;
 };
 
 /********************************************************************/
@@ -142,6 +164,20 @@ static struct parsable_field fields_to_parse[] = {
     { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }
   },
 
+  {
+    ID_MAIL_ID,
+    REG_ICASE,
+    "^message-id: ",
+    { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }
+  },
+
+  {
+    ID_REFERENCE_ID,
+    REG_ICASE,
+    "^\\(in-reply-to\\|references\\): ",
+    { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }
+  },
+
 };
 
 /********************************************************************/
@@ -153,12 +189,15 @@ int xor(int a, int b) {
 const char *parse_token(char *token_buffer, size_t token_buffer_size,
                         char separator, const char *string) {
   char *u = token_buffer;
+
   while(*string == separator) { string++; }
-  while(u < token_buffer + token_buffer_size - 1 && *string &&
-        *string != separator) {
+
+  while(u < token_buffer + token_buffer_size - 1 && *string && *string != separator) {
     *(u++) = *(string++);
   }
+
   while(*string == separator) { string++; }
+
   *u = '\0';
   return string;
 }
@@ -180,14 +219,27 @@ char *default_value(char *current_value,
   }
 }
 
+/********************************************************************/
+
+void *safe_malloc(size_t n) {
+  void *p = malloc(n);
+  if(!p && n != 0) {
+    fprintf(stderr,
+            "mymail: cannot allocate memory: %s\n", strerror(errno));
+    exit(EXIT_FAILURE);
+  }
+  return p;
+}
+
 FILE *safe_fopen(const char *path, const char *mode, const char *comment) {
   FILE *result = fopen(path, mode);
   if(result) {
     return result;
   } else {
     fprintf(stderr,
-            "mymail: Cannot open file '%s' (%s) with mode \"%s\".\n",
-            path, comment, mode);
+            "mymail: Cannot open file '%s' (%s) with mode \"%s\": %s\n",
+            path, comment, mode,
+            strerror(errno));
     exit(EXIT_FAILURE);
   }
 }
@@ -195,7 +247,7 @@ FILE *safe_fopen(const char *path, const char *mode, const char *comment) {
 /*********************************************************************/
 
 void print_version(FILE *out) {
-  fprintf(out, "mymail version %s (%s)\n", VERSION, UNAME);
+  fprintf(out, "mymail version %s (%s)\n", MYMAIL_VERSION, UNAME);
 }
 
 void print_usage(FILE *out) {
@@ -210,6 +262,11 @@ void print_usage(FILE *out) {
   fprintf(out, "         print the version number\n");
   fprintf(out, " -q, --quiet\n");
   fprintf(out, "         do not print information during search\n");
+  fprintf(out, " -t, --use-leading-time\n");
+  fprintf(out, "         use the time stamp from the leading line of each mail and not the Date:\n");
+  fprintf(out, "         field\n");
+  fprintf(out, " -f, --do-not-discard-mails-from-the-future\n");
+  fprintf(out, "         do not ignore mails with a date more than 24h in the future\n");
   fprintf(out, " -p <db filename pattern>, --db-pattern <db filename pattern>\n");
   fprintf(out, "         set the db filename pattern for recursive search\n");
   fprintf(out, " -r <db root path>, --db-root <db root path>\n");
@@ -220,14 +277,17 @@ void print_usage(FILE *out) {
   fprintf(out, "         set the mbox filename pattern for recursive search\n");
   fprintf(out, " -s <search pattern>, --search <search pattern>\n");
   fprintf(out, "         search for matching mails in the db file\n");
-  fprintf(out, " -d <db filename>, --db-file-generate <db filename>\n");
+  fprintf(out, " -d <db filename>, --db-file-output <db filename>\n");
   fprintf(out, "         set the db filename for indexing\n");
   fprintf(out, " -i, --index\n");
   fprintf(out, "         index mails\n");
   fprintf(out, " -o <output filename>, --output <output filename>\n");
   fprintf(out, "         set the result file, use stdout if unset\n");
+  fprintf(out, " -n <max number of mails>, --nb-mails-max <max number of mails>\n");
+  fprintf(out, "         set the maximum number of mails to extract\n");
   fprintf(out, " -a <search field>, --default-search <search field>\n");
   fprintf(out, "         set the default search field\n");
+
 }
 
 /*********************************************************************/
@@ -242,50 +302,34 @@ int ignore_entry(const char *name) {
 int is_a_leading_from_line(char *mbox_line) {
   return
     strncmp(mbox_line, "From ", 5) == 0 &&
-    regexec(&leading_from_line_regexp, mbox_line, 0, 0, 0) == 0;
+    regexec(&global_leading_from_line_regexp, mbox_line, 0, 0, 0) == 0;
 }
 
-int mbox_line_match_search(struct search_condition *condition,
-                           int mbox_id, const char *mbox_value) {
-
-  if(condition->field_id == ID_INTERVAL) {
-    if(mbox_id == ID_LEADING_LINE) {
-      const char *c;
-      time_t t;
-      struct tm tm;
+int db_line_match_search(struct search_condition *condition,
+                         int db_key, const char *db_value) {
 
-      c = mbox_value;
-      while(*c && *c != ' ') c++; while(*c && *c == ' ') c++;
-      strptime(c, "%a %b %e %k:%M:%S %Y", &tm);
-      t = mktime(&tm);
-
-      return (t >= condition->interval_start &&
-              (condition->interval_stop == 0 ||
-               t <= condition->interval_stop));
-    } else {
-      return 0;
-    }
-  } else {
-    return
-      (
+  return
+    (
+     (condition->db_key == db_key)
 
-       (condition->field_id == mbox_id)
+     ||
 
-       ||
+     (condition->db_key == ID_PARTICIPANT && (db_key == ID_LEADING_LINE ||
+                                              db_key == ID_FROM ||
+                                              db_key == ID_TO))
+     ||
 
-       (condition->field_id == ID_PARTICIPANT && (mbox_id == ID_LEADING_LINE ||
-                                                  mbox_id == ID_FROM ||
-                                                  mbox_id == ID_TO))
-       ||
+     (condition->db_key == ID_FROM && db_key == ID_LEADING_LINE)
 
-       (condition->field_id == ID_FROM && mbox_id == ID_LEADING_LINE)
+     ||
 
-       )
+     (condition->db_key == ID_THREAD_ID && (db_key == ID_MAIL_ID ||
+                                            db_key == ID_REFERENCE_ID))
+     )
 
-      &&
+    &&
 
-      regexec(&condition->regexp, mbox_value, 0, 0, 0) == 0;
-  }
+    regexec(&condition->db_value_regexp, db_value, 0, 0, 0) == 0;
 }
 
 void update_body_hits(char *mail_filename, int position_in_mail,
@@ -306,16 +350,13 @@ void update_body_hits(char *mail_filename, int position_in_mail,
 
   if(fgets(raw_mbox_line, BUFFER_SIZE, mail_file)) {
     while(nb_body_hits < nb_body_conditions) {
-      /* last_mbox_line_was_empty = (raw_mbox_line[0] == '\n'); */
-      /* if(last_mbox_line_was_empty) { header = 0; } */
-
       if(raw_mbox_line[0] == '\n') { header = 0; }
 
       if(!header) {
         for(n = 0; n < nb_search_conditions; n++) {
-          if(search_conditions[n].field_id == ID_BODY && !hits[n]) {
+          if(search_conditions[n].db_key == ID_BODY && !hits[n]) {
             hits[n] =
-              (regexec(&search_conditions[n].regexp, raw_mbox_line, 0, 0, 0) == 0);
+              (regexec(&search_conditions[n].db_value_regexp, raw_mbox_line, 0, 0, 0) == 0);
             if(hits[n]) {
               nb_body_hits++;
             }
@@ -333,19 +374,21 @@ void update_body_hits(char *mail_filename, int position_in_mail,
 }
 
 void extract_mail(const char *mail_filename, unsigned long int position_in_mail,
-                FILE *output_file) {
+                  FILE *output_file) {
   char raw_mbox_line[BUFFER_SIZE];
   FILE *mail_file;
 
+  /* printf("Extract\n"); */
+
   mail_file = safe_fopen(mail_filename, "r", "mbox for mail extraction");
+  /* fchmod(fileno(mail_file), 0x660); */
   fseek(mail_file, position_in_mail, SEEK_SET);
 
   if(fgets(raw_mbox_line, BUFFER_SIZE, mail_file)) {
     fprintf(output_file, "%s", raw_mbox_line);
     while(1) {
       if(!fgets(raw_mbox_line, BUFFER_SIZE, mail_file) ||
-         (is_a_leading_from_line(raw_mbox_line))
-         )
+         is_a_leading_from_line(raw_mbox_line))
         break;
       fprintf(output_file, "%s", raw_mbox_line);
     }
@@ -354,26 +397,104 @@ void extract_mail(const char *mail_filename, unsigned long int position_in_mail,
   fclose(mail_file);
 }
 
+int check_full_mail_match(char *current_mail_filename,
+                          time_t mail_time,
+                          int nb_search_conditions,
+                          struct search_condition *search_conditions,
+                          int nb_body_conditions,
+                          int *hits,
+                          int current_position_in_mail) {
+  int n, nb_fulfilled_body_conditions;
+
+  for(n = 0; n < nb_search_conditions; n++) {
+    if(search_conditions[n].db_key == ID_TIME_INTERVAL) {
+      hits[n] = (mail_time >= search_conditions[n].time_start &&
+                 (search_conditions[n].time_stop == 0 ||
+                  mail_time <= search_conditions[n].time_stop));
+    }
+  }
+
+  /* We first check all conditions but the body ones */
+
+  for(n = 0; n < nb_search_conditions &&
+        ((search_conditions[n].db_key == ID_BODY) ||
+         xor(hits[n], search_conditions[n].negation)); n++);
+
+  if(n == nb_search_conditions) {
+
+    /* Now check the body ones */
+
+    nb_fulfilled_body_conditions = 0;
+
+    if(nb_body_conditions > 0) {
+      update_body_hits(current_mail_filename, current_position_in_mail,
+                       nb_search_conditions, search_conditions,
+                       nb_body_conditions,
+                       hits);
+
+      for(n = 0; n < nb_search_conditions; n++) {
+        if(search_conditions[n].db_key == ID_BODY &&
+           xor(hits[n], search_conditions[n].negation)) {
+          nb_fulfilled_body_conditions++;
+        }
+      }
+    }
+    return nb_body_conditions == nb_fulfilled_body_conditions;
+  } else {
+    return 0;
+  }
+}
+
+/* We use the mail leading line time by default, and if we should and
+   can, we update with the Date: field */
+
+void update_time(int db_key, const char *db_value, time_t *t) {
+  const char *c;
+  struct tm tm;
+
+  memset(&tm, 0, sizeof(struct tm));
+
+  if(db_key == ID_LEADING_LINE) {
+    c = db_value;
+    while(*c && *c != ' ') c++;
+    while(*c && *c == ' ') c++;
+    /* printf("From %s", db_value); */
+    strptime(c, "%a %b %e %k:%M:%S %Y", &tm);
+    *t = mktime(&tm);
+  } else {
+    if(!global_use_leading_time) {
+      if(db_key == ID_DATE) {
+        if(strptime(db_value, "%a, %d %b %Y %k:%M:%S", &tm) ||
+           strptime(db_value, "%d %b %Y %k:%M:%S", &tm)) {
+          /* printf("Date: %s", db_value); */
+          *t = mktime(&tm);
+        }
+      }
+    }
+  }
+}
+
 int search_in_db(const char *db_filename,
+                 int nb_extracted_mails,
                  int nb_search_conditions,
                  struct search_condition *search_conditions,
                  FILE *output_file) {
 
-  int hits[MAX_NB_SEARCH_CONDITIONS];
+  FILE *db_file;
   char raw_db_line[BUFFER_SIZE];
   char current_mail_filename[PATH_MAX + 1];
+  char db_key_string[TOKEN_BUFFER_SIZE];
+  char position_in_file_string[TOKEN_BUFFER_SIZE];
   unsigned long int current_position_in_mail;
-  char mbox_key[TOKEN_BUFFER_SIZE];
-  const char *mbox_value;
-  int mbox_id;
-  int already_written, m, n;
-  int nb_body_conditions, nb_fulfilled_body_conditions;
-  FILE *db_file;
-  int nb_extracted_mails;
+  const char *db_value;
+  int db_key;
+  int hits[MAX_NB_SEARCH_CONDITIONS];
+  int nb_body_conditions, need_time;
+  time_t mail_time;
 
-  nb_extracted_mails = 0;
+  int m, n;
 
-  if(!quiet) {
+  if(!global_quiet) {
     printf("Searching in '%s' ... ", db_filename);
     fflush(stdout);
   }
@@ -399,85 +520,87 @@ int search_in_db(const char *db_filename,
   /* Then parse the said db file */
 
   current_position_in_mail = 0;
-  already_written = 0;
 
   for(n = 0; n < nb_search_conditions; n++) { hits[n] = 0; }
 
   nb_body_conditions = 0;
+  need_time = global_discard_mail_from_the_future;
+  mail_time = 0;
+
   for(n = 0; n < nb_search_conditions; n++) {
-    if(search_conditions[n].field_id == ID_BODY) {
+    if(search_conditions[n].db_key == ID_BODY) {
       nb_body_conditions++;
     }
+    else if(search_conditions[n].db_key == ID_TIME_INTERVAL) {
+      need_time = 1;
+    }
   }
 
   strcpy(current_mail_filename, "");
 
-  while(fgets(raw_db_line, BUFFER_SIZE, db_file)) {
-    mbox_value = parse_token(mbox_key, TOKEN_BUFFER_SIZE, ' ', raw_db_line);
-
-    if(strcmp("mail", mbox_key) == 0) {
-      char position_in_file_string[TOKEN_BUFFER_SIZE];
-
-      if(current_mail_filename[0]) {
-
-        /* We first check all conditions but the body ones */
-
-        for(n = 0; n < nb_search_conditions &&
-              ((search_conditions[n].field_id == ID_BODY) ||
-               xor(hits[n], search_conditions[n].negation)); n++);
-
-        if(n == nb_search_conditions) {
-
-          /* Now check the body ones */
-
-          nb_fulfilled_body_conditions = 0;
-
-          if(nb_body_conditions > 0) {
-            update_body_hits(current_mail_filename, current_position_in_mail,
-                             nb_search_conditions, search_conditions,
-                             nb_body_conditions,
-                             hits);
-
-            for(n = 0; n < nb_search_conditions; n++) {
-              if(search_conditions[n].field_id == ID_BODY &&
-                 xor(hits[n], search_conditions[n].negation)) {
-                nb_fulfilled_body_conditions++;
-              }
-            }
-          }
-
-          if(nb_body_conditions == nb_fulfilled_body_conditions) {
-            nb_extracted_mails++;
-            extract_mail(current_mail_filename, current_position_in_mail, output_file);
-          }
-        }
+  while(nb_extracted_mails < global_nb_mails_max &&
+        fgets(raw_db_line, BUFFER_SIZE, db_file)) {
+
+    /* Removes the CR */
+    char *s = raw_db_line;
+    while(*s && *s != '\n') { s++; }
+    *s = '\0';
+
+    db_value = parse_token(db_key_string, TOKEN_BUFFER_SIZE, ' ', raw_db_line);
+
+    if(strcmp("mail", db_key_string) == 0) {
+      if(current_mail_filename[0] &&
+         (!global_discard_mail_from_the_future || mail_time < global_current_time + 3600 * 24) &&
+         check_full_mail_match(current_mail_filename,
+                               mail_time,
+                               nb_search_conditions, search_conditions,
+                               nb_body_conditions, hits, current_position_in_mail)) {
+        extract_mail(current_mail_filename, current_position_in_mail, output_file);
+        nb_extracted_mails++;
       }
 
       for(n = 0; n < nb_search_conditions; n++) { hits[n] = 0; }
-
-      mbox_value = parse_token(position_in_file_string, TOKEN_BUFFER_SIZE, ' ', mbox_value);
-      mbox_value = parse_token(current_mail_filename, TOKEN_BUFFER_SIZE, '\n', mbox_value);
+      db_value = parse_token(position_in_file_string, TOKEN_BUFFER_SIZE, ' ', db_value);
+      strncpy(current_mail_filename, db_value, PATH_MAX + 1);
       current_position_in_mail = atol(position_in_file_string);
-      already_written = 0;
     }
 
     else {
-      mbox_id = -1;
-      for(m = 0; (m < MAX_ID) && mbox_id == -1; m++) {
-        if(strncmp(field_keys[m], mbox_key, strlen(mbox_key)) == 0) {
-          mbox_id = m;
+      db_key = -1;
+      for(m = 0; (m < MAX_ID) && db_key == -1; m++) {
+        if(strncmp(field_keys[m], db_key_string, strlen(db_key_string)) == 0) {
+          db_key = m;
         }
       }
+
       for(n = 0; n < nb_search_conditions; n++) {
-        hits[n] |= mbox_line_match_search(&search_conditions[n],
-                                          mbox_id, mbox_value);
+        hits[n] |= db_line_match_search(&search_conditions[n],
+                                        db_key, db_value);
+      }
+
+      if(need_time) {
+        update_time(db_key, db_value, &mail_time);
       }
     }
   }
 
+  /* printf("global_discard_mail_from_the_future = %d\n",
+     global_discard_mail_from_the_future); */
+
+  if(nb_extracted_mails < global_nb_mails_max &&
+     current_mail_filename[0] &&
+     (!global_discard_mail_from_the_future || mail_time < global_current_time + 3600 * 24) &&
+     check_full_mail_match(current_mail_filename,
+                           mail_time,
+                           nb_search_conditions, search_conditions,
+                           nb_body_conditions, hits, current_position_in_mail)) {
+    extract_mail(current_mail_filename, current_position_in_mail, output_file);
+    nb_extracted_mails++;
+  }
+
   fclose(db_file);
 
-  if(!quiet) {
+  if(!global_quiet) {
     printf("done.\n");
     fflush(stdout);
   }
@@ -486,6 +609,7 @@ int search_in_db(const char *db_filename,
 }
 
 int recursive_search_in_db(const char *entry_name, regex_t *db_filename_regexp,
+                           int nb_extracted_mails,
                            int nb_search_conditions,
                            struct search_condition *search_conditions,
                            FILE *output_file) {
@@ -493,7 +617,6 @@ int recursive_search_in_db(const char *entry_name, regex_t *db_filename_regexp,
   struct dirent *dir_e;
   struct stat sb;
   char subname[PATH_MAX + 1];
-  int nb_extracted_mails = 0;
 
   if(lstat(entry_name, &sb) != 0) {
     fprintf(stderr,
@@ -508,12 +631,14 @@ int recursive_search_in_db(const char *entry_name, regex_t *db_filename_regexp,
   dir = opendir(entry_name);
 
   if(dir) {
-    while((dir_e = readdir(dir))) {
+    while((dir_e = readdir(dir)) &&
+          nb_extracted_mails < global_nb_mails_max) {
       if(!ignore_entry(dir_e->d_name)) {
         snprintf(subname, PATH_MAX, "%s/%s", entry_name, dir_e->d_name);
-        nb_extracted_mails += recursive_search_in_db(subname, db_filename_regexp,
-                                                     nb_search_conditions, search_conditions,
-                                                     output_file);
+        nb_extracted_mails = recursive_search_in_db(subname, db_filename_regexp,
+                                                    nb_extracted_mails,
+                                                    nb_search_conditions, search_conditions,
+                                                    output_file);
       }
     }
     closedir(dir);
@@ -524,8 +649,10 @@ int recursive_search_in_db(const char *entry_name, regex_t *db_filename_regexp,
     while(*s) { if(*s == '/') { filename = s+1; } s++; }
 
     if(regexec(db_filename_regexp, filename, 0, 0, 0) == 0) {
-      nb_extracted_mails +=
-        search_in_db(entry_name, nb_search_conditions, search_conditions, output_file);
+      nb_extracted_mails =
+        search_in_db(entry_name,
+                     nb_extracted_mails,
+                     nb_search_conditions, search_conditions, output_file);
     }
   }
 
@@ -568,16 +695,29 @@ void index_mbox(const char *mbox_filename,
 
   while(fgets(raw_mbox_line, BUFFER_SIZE, file)) {
     if(is_a_leading_from_line(raw_mbox_line)) {
+      /* This starts a new mail */
       if(in_header) {
         fprintf(stderr,
                 "Got a ^\"From \" in the header in %s:%lu.\n",
                 mbox_filename, position_in_file);
         fprintf(stderr, "%s", raw_mbox_line);
       }
+
+      /* printf("LEADING_LINE %s", raw_mbox_line); */
+
       in_header = 1;
       new_header = 1;
     } else if(raw_mbox_line[0] == '\n') {
-      if(in_header) { in_header = 0; }
+      if(in_header) {
+        in_header = 0;
+        /* We leave the header, index the current line */
+        if(full_line[0]) {
+          /* printf("INDEX %s\n", full_line); */
+          index_one_mbox_line(nb_fields_to_parse, fields_to_parse, full_line, db_file);
+        }
+        end_of_full_line = full_line;
+        *end_of_full_line = '\0';
+      }
     }
 
     if(in_header) {
@@ -587,6 +727,7 @@ void index_mbox(const char *mbox_filename,
       }
 
       if(raw_mbox_line[0] == ' ' || raw_mbox_line[0] == '\t') {
+        /* Continuation of a line */
         char *start = raw_mbox_line;
         while(*start == ' ' || *start == '\t') start++;
         *(end_of_full_line++) = ' ';
@@ -598,17 +739,10 @@ void index_mbox(const char *mbox_filename,
       }
 
       else {
-        /*
-          if(!((raw_mbox_line[0] >= 'a' && raw_mbox_line[0] <= 'z') ||
-          (raw_mbox_line[0] >= 'A' && raw_mbox_line[0] <= 'Z'))) {
-          fprintf(stderr,
-          "Header line syntax error %s:%lu.\n",
-          mbox_filename, position_in_file);
-          fprintf(stderr, "%s", raw_mbox_line);
-          }
-        */
+        /* Start a new header line, not a continuation */
 
         if(full_line[0]) {
+          /* printf("INDEX %s\n", full_line); */
           index_one_mbox_line(nb_fields_to_parse, fields_to_parse, full_line, db_file);
         }
 
@@ -676,7 +810,9 @@ static struct option long_options[] = {
   { "help", no_argument, 0, 'h' },
   { "version", no_argument, 0, 'v' },
   { "quiet", no_argument, 0, 'q' },
-  { "db-file-generate", 1, 0, 'd' },
+  { "use-leading-time", no_argument, 0, 't' },
+  { "do-not-discard-mails-from-the-future", no_argument, 0, 'f' },
+  { "db-file-output", 1, 0, 'd' },
   { "db-pattern", 1, 0, 'p' },
   { "db-root", 1, 0, 'r' },
   { "db-list", 1, 0, 'l' },
@@ -685,11 +821,13 @@ static struct option long_options[] = {
   { "index", 0, 0, 'i' },
   { "output", 1, 0, 'o' },
   { "default-search", 1, 0, 'a' },
+  { "nb-mails-max", 1, 0, 'n' },
   { 0, 0, 0, 0 }
 };
 
 struct time_criterion {
   char *label;
+  int day_criterion;
   int start_hour, end_hour;
   int past_week_day;
 };
@@ -698,37 +836,44 @@ struct time_criterion {
 
 static struct time_criterion time_criteria[] = {
 
-  { "8h",         8,       -1, -1 },
-  { "today",     24,       -1, -1 },
-  { "24h",       24,       -1, -1 },
-  { "48h",       48,       -1, -1 },
-  { "week",      24 *   7, -1, -1 },
-  { "month",     24 *  31, -1, -1 },
-  { "year",      24 * 365, -1, -1 },
-
-  { "yesterday", 48,       24, -1 },
-
-  { "monday",    -1,       -1,  1 },
-  { "tuesday",   -1,       -1,  2 },
-  { "wednesday", -1,       -1,  3 },
-  { "thursday",  -1,       -1,  4 },
-  { "friday",    -1,       -1,  5 },
-  { "saturday",  -1,       -1,  6 },
-  { "sunday",    -1,       -1,  7 },
+  { "1h",        0,  1,       -1, -1 },
+  { "2h",        0,  2,       -1, -1 },
+  { "4h",        0,  4,       -1, -1 },
+  { "8h",        0,  8,       -1, -1 },
+  { "24h",       0, 24,       -1, -1 },
+  { "48h",       0, 48,       -1, -1 },
+  { "week",      0, 24 *   7, -1, -1 },
+  { "2weeks",    0, 24 *  14, -1, -1 },
+  { "month",     0, 24 *  31, -1, -1 },
+  { "semester",  0, 24 * 185, -1, -1 },
+  { "trimester", 0, 24 *  92, -1, -1 },
+  { "year",      0, 24 * 365, -1, -1 },
+
+  { "yesterday", 1, -1,       -1, -1 },
+  { "today",     1, -1,       -1,  0 },
+
+  { "monday",    1, -1,       -1,  1 },
+  { "tuesday",   1, -1,       -1,  2 },
+  { "wednesday", 1, -1,       -1,  3 },
+  { "thursday",  1, -1,       -1,  4 },
+  { "friday",    1, -1,       -1,  5 },
+  { "saturday",  1, -1,       -1,  6 },
+  { "sunday",    1, -1,       -1,  7 },
 
 };
 
 /*********************************************************************/
 
 time_t time_for_past_day(int day) {
-  time_t t;
   struct tm *tm;
   int delta_day;
-  t = time(0);
-  tm = localtime(&t);
-  delta_day = (7 + tm->tm_wday - day) % 7;
-  if(delta_day == 0) { delta_day = 7; }
-  return t - (delta_day * 3600 * 24 + tm->tm_sec + 60 * tm->tm_min + 3600 * tm->tm_hour);
+  tm = localtime(&global_current_time);
+  if(day > 0) {
+    delta_day = (7 + tm->tm_wday - day) % 7;
+  } else {
+    delta_day = - day;
+  }
+  return global_current_time - (delta_day * 3600 * 24 + tm->tm_sec + 60 * tm->tm_min + 3600 * tm->tm_hour);
 }
 
 void init_condition(struct search_condition *condition, const char *full_string,
@@ -736,6 +881,14 @@ void init_condition(struct search_condition *condition, const char *full_string,
   char full_search_field[TOKEN_BUFFER_SIZE], *search_field;
   unsigned int k, m;
   const char *string;
+  struct alias_node *a;
+
+  for(a = global_alias_list; a; a = a->next) {
+    if(strcmp(full_string, a->alias) == 0) {
+      full_string = a->value;
+      break;
+    }
+  }
 
   string = parse_token(full_search_field, TOKEN_BUFFER_SIZE, ' ', full_string);
   search_field = full_search_field;
@@ -747,74 +900,142 @@ void init_condition(struct search_condition *condition, const char *full_string,
     condition->negation = 0;
   }
 
-  condition->field_id = -1;
+  condition->db_key = -1;
 
-  /* Recently */
+  /* Time condition */
 
   for(k = 0; k < sizeof(time_criteria) / sizeof(struct time_criterion); k++) {
     if(strcmp(time_criteria[k].label, search_field) == 0) {
-      condition->field_id = ID_INTERVAL;
-      if(time_criteria[k].past_week_day < 0) {
-        condition->interval_start = time(0) - 3600 * time_criteria[k].start_hour;
+      condition->db_key = ID_TIME_INTERVAL;
+      if(time_criteria[k].day_criterion) {
+        condition->time_start = time_for_past_day(time_criteria[k].past_week_day);
+        condition->time_stop = condition->time_start + 3600 * 24;
+      } else {
+        condition->time_start = global_current_time - 3600 * time_criteria[k].start_hour;
         if(time_criteria[k].end_hour >= 0) {
-          condition->interval_stop = time(0) - 3600 * time_criteria[k].end_hour;
+          condition->time_stop = global_current_time - 3600 * time_criteria[k].end_hour;
         } else {
-          condition->interval_stop = 0;
+          condition->time_stop = 0;
         }
-      } else {
-        condition->interval_start = time_for_past_day(time_criteria[k].past_week_day);
-        condition->interval_stop = condition->interval_start + 3600 * 24;
       }
+
       break;
     }
   }
 
-  if(condition->field_id == -1) {
+  if(condition->db_key == -1) {
 
     /* No time condition matched, look for the search fields */
 
-    for(m = 0; (m < MAX_ID) && condition->field_id == -1; m++) {
+    for(m = 0; (m < MAX_ID) && condition->db_key == -1; m++) {
       if(strncmp(field_keys[m], search_field, strlen(search_field)) == 0) {
-        condition->field_id = m;
+        condition->db_key = m;
       }
     }
 
     /* None match, if there is a default search field, re-run the search with it */
 
-    if(condition->field_id == -1) {
+    if(condition->db_key == -1) {
       if(default_search_field) {
-        for(m = 0; (m < MAX_ID) && condition->field_id == -1; m++) {
+        for(m = 0; (m < MAX_ID) && condition->db_key == -1; m++) {
           if(strncmp(field_keys[m],
                      default_search_field, strlen(default_search_field)) == 0) {
-            condition->field_id = m;
+            condition->db_key = m;
           }
         }
         string = full_string;
+        if(string[0] == '!') { string++; }
       }
     }
 
-    if(condition->field_id == -1) {
+    if(condition->db_key == -1) {
       fprintf(stderr,
               "mymail: Syntax error in field key \"%s\".\n",
               search_field);
       exit(EXIT_FAILURE);
     }
 
-    if(regcomp(&condition->regexp,
+    if(regcomp(&condition->db_value_regexp,
                string,
                REG_ICASE)) {
       fprintf(stderr,
               "mymail: Syntax error in regexp \"%s\" for field \"%s\".\n",
               string,
-              field_keys[condition->field_id]);
+              field_keys[condition->db_key]);
       exit(EXIT_FAILURE);
     }
   }
 }
 
 void free_condition(struct search_condition *condition) {
-  if(condition->field_id != ID_INTERVAL) {
-    regfree(&condition->regexp);
+  if(condition->db_key != ID_TIME_INTERVAL) {
+    regfree(&condition->db_value_regexp);
+  }
+}
+
+const char *eat_space(const char *s) {
+  while(*s == ' ' || *s == '\t') { s++; }
+  return s;
+}
+
+void read_rc_file(const char *rc_filename) {
+  char raw_line[BUFFER_SIZE];
+  char command[TOKEN_BUFFER_SIZE], tmp_token[TOKEN_BUFFER_SIZE];
+
+  FILE *rc_file;
+  int line_number;
+  const char *s;
+  char *t;
+
+  rc_file = fopen(rc_filename, "r");
+
+  if(rc_file) {
+    line_number = 1;
+    while(fgets(raw_line, BUFFER_SIZE, rc_file)) {
+      t = raw_line;
+      while(*t) { if(*t == '\n') { *t = '\0'; }; t++; }
+
+      s = raw_line;
+      s = eat_space(s);
+
+      if(*s && *s != '#') {
+        s = parse_token(command, TOKEN_BUFFER_SIZE, ' ', s);
+
+        if(strcmp(command, "alias") == 0) {
+          struct alias_node *a = safe_malloc(sizeof(struct alias_node));
+          a->next = global_alias_list;
+          global_alias_list = a;
+          if(s) {
+            s = eat_space(s);
+            s = parse_token(tmp_token, TOKEN_BUFFER_SIZE, '=', s);
+            a->alias = strdup(tmp_token);
+            if(s) {
+              s = eat_space(s);
+              a->value = strdup(s);
+            } else {
+              fprintf(stderr, "%s:%d syntax error, missing alias value.\n",
+                      rc_filename,
+                      line_number);
+              exit(EXIT_FAILURE);
+            }
+          } else {
+            fprintf(stderr, "%s:%d syntax error, missing alias key.\n",
+                    rc_filename,
+                    line_number);
+            exit(EXIT_FAILURE);
+          }
+        } else {
+          fprintf(stderr, "%s:%d syntax error, unknown command '%s'.\n",
+                  rc_filename,
+                  line_number,
+                  command);
+          exit(EXIT_FAILURE);
+        }
+      }
+
+      line_number++;
+    }
+    fclose(rc_file);
   }
 }
 
@@ -830,6 +1051,7 @@ int main(int argc, char **argv) {
   char *mbox_filename_regexp_string = 0;
   char *default_search_field;
   char output_filename[PATH_MAX + 1];
+  char rc_filename[PATH_MAX + 1];
   int action_index = 0;
   int error = 0, show_help = 0;
   const unsigned int nb_fields_to_parse =
@@ -838,22 +1060,54 @@ int main(int argc, char **argv) {
   unsigned int f, n;
   unsigned int nb_search_conditions;
   struct search_condition search_conditions[MAX_NB_SEARCH_CONDITIONS];
+  struct alias_node *a, *b;
+
+  /* Group and others have no access */
+  umask(S_IRWXG | S_IRWXO);
 
-  if(regcomp(&leading_from_line_regexp, LEADING_FROM_LINE_REGEXP_STRING, 0)) {
+  if(regcomp(&global_leading_from_line_regexp, LEADING_FROM_LINE_REGEXP_STRING, 0)) {
     fprintf(stderr,
             "mymail: Cannot compile leading \"from\" line regexp. That is strange.\n");
     exit(EXIT_FAILURE);
   }
 
-  quiet = 0;
+  if(getenv("MYMAILRC")) {
+    sprintf(rc_filename, "%s", getenv("MYMAILRC"));
+  } else if(getenv("HOME")) {
+    sprintf(rc_filename, "%s/.mymailrc", getenv("HOME"));
+  } else {
+    rc_filename[0] = '\0';
+  }
+
+  global_alias_list = 0;
+  global_quiet = 0;
+  global_use_leading_time = 0;
+  global_nb_mails_max = 250;
+  global_discard_mail_from_the_future = 1;
+  global_current_time = time(0);
+
   default_search_field = 0;
   strncpy(output_filename, "", PATH_MAX);
 
+  if(rc_filename[0]) {
+    read_rc_file(rc_filename);
+  }
+
+  /*
+    {
+    #warning Test code added on 2013 May 02 11:17:01
+    struct alias_node *a;
+    for(a = global_alias_list; a; a = a->next) {
+    printf ("ALIAS [%s] [%s]\n", a->alias, a->value);
+    }
+    }
+  */
+
   setlocale(LC_ALL, "");
 
   nb_search_conditions = 0;
 
-  while ((c = getopt_long(argc, argv, "hvqip:s:d:r:l:o:a:m:",
+  while ((c = getopt_long(argc, argv, "hvqtfip:s:d:r:l:o:a:m:",
                           long_options, NULL)) != -1) {
 
     switch(c) {
@@ -867,7 +1121,15 @@ int main(int argc, char **argv) {
       break;
 
     case 'q':
-      quiet = 1;
+      global_quiet = 1;
+      break;
+
+    case 't':
+      global_use_leading_time = 1;
+      break;
+
+    case 'f':
+      global_discard_mail_from_the_future = 0;
       break;
 
     case 'i':
@@ -931,12 +1193,26 @@ int main(int argc, char **argv) {
       default_search_field = optarg;
       break;
 
+    case 'n':
+      global_nb_mails_max = atoi(optarg);
+      break;
+
     default:
       error = 1;
       break;
     }
   }
 
+  if(error) {
+    print_usage(stderr);
+    exit(EXIT_FAILURE);
+  }
+
+  if(show_help) {
+    print_usage(stdout);
+    exit(EXIT_SUCCESS);
+  }
+
   /* Set all the values that may defined in the arguments, through
      environment variables, or hard-coded */
 
@@ -960,18 +1236,6 @@ int main(int argc, char **argv) {
                                               "MYMAIL_MBOX_PATTERN",
                                               0);
 
-  /* Start the processing */
-
-  if(error) {
-    print_usage(stderr);
-    exit(EXIT_FAILURE);
-  }
-
-  if(show_help) {
-    print_usage(stdout);
-    exit(EXIT_SUCCESS);
-  }
-
   /* mbox indexing */
 
   if(action_index) {
@@ -1007,7 +1271,11 @@ int main(int argc, char **argv) {
       }
     }
 
-    fprintf(db_file, "%s version_%s raw\n", MYMAIL_DB_MAGIC_TOKEN, VERSION);
+    fprintf(db_file,
+            "%s version_%s format_%d raw\n",
+            MYMAIL_DB_MAGIC_TOKEN,
+            MYMAIL_VERSION,
+            MYMAIL_DB_FORMAT_VERSION);
 
     while(optind < argc) {
       recursive_index_mbox(db_file,
@@ -1039,7 +1307,7 @@ int main(int argc, char **argv) {
       output_file = safe_fopen(output_filename, "w", "result mbox");
     } else {
       output_file = stdout;
-      quiet = 1;
+      global_quiet = 1;
     }
 
     if(nb_search_conditions > 0) {
@@ -1057,9 +1325,10 @@ int main(int argc, char **argv) {
           exit(EXIT_FAILURE);
         }
 
-        nb_extracted_mails += recursive_search_in_db(db_root_path, &db_filename_regexp,
-                                                     nb_search_conditions, search_conditions,
-                                                     output_file);
+        nb_extracted_mails = recursive_search_in_db(db_root_path, &db_filename_regexp,
+                                                    nb_extracted_mails,
+                                                    nb_search_conditions, search_conditions,
+                                                    output_file);
 
         regfree(&db_filename_regexp);
       }
@@ -1076,8 +1345,10 @@ int main(int argc, char **argv) {
           s = parse_token(db_filename, PATH_MAX + 1, ';', s);
 
           if(db_filename[0]) {
-            nb_extracted_mails +=
-              search_in_db(db_filename, nb_search_conditions, search_conditions, output_file);
+            nb_extracted_mails =
+              search_in_db(db_filename,
+                           nb_extracted_mails,
+                           nb_search_conditions, search_conditions, output_file);
           }
         }
       }
@@ -1085,13 +1356,15 @@ int main(int argc, char **argv) {
       /* Search in all db files listed in the command arguments */
 
       while(optind < argc) {
-        nb_extracted_mails +=
-          search_in_db(argv[optind], nb_search_conditions, search_conditions, output_file);
+        nb_extracted_mails =
+          search_in_db(argv[optind],
+                       nb_extracted_mails,
+                       nb_search_conditions, search_conditions, output_file);
         optind++;
       }
     }
 
-    if(!quiet) {
+    if(!global_quiet) {
       if(nb_extracted_mails > 0) {
         printf("Found %d matching mails.\n", nb_extracted_mails);
       } else {
@@ -1110,13 +1383,22 @@ int main(int argc, char **argv) {
     free_condition(&search_conditions[n]);
   }
 
+  a = global_alias_list;
+  while(a) {
+    b = a->next;
+    free(a->alias);
+    free(a->value);
+    free(a);
+    a = b;
+  }
+
   free(db_filename);
   free(db_filename_regexp_string);
   free(db_root_path);
   free(db_filename_list);
   free(mbox_filename_regexp_string);
 
-  regfree(&leading_from_line_regexp);
+  regfree(&global_leading_from_line_regexp);
 
   exit(EXIT_SUCCESS);
 }