finddup.1

   1 .TH "FINDDUP" 1 "Mar 2010" "Francois Fleuret" "User Commands"
   2
   3 \" This man page was written by Francois Fleuret <francois@fleuret.org>
   4 \" and is distributed under a Creative Commons Attribution-Share Alike
   5 \" 3.0 License.
   6
   7 .SH "NAME"
   8
   9 finddup \- Find files common to two directories (or not)
  10
  11 .SH "SYNOPSIS"
  12
  13 \fBfinddup\fP [OPTION]... DIR1 [[and:|not:]DIR2]
  14
  15 .SH "DESCRIPTION"
  16
  17 With a single directory argument, \fBfinddup\fP prints the duplicated
  18 files found in it.
  19
  20 With two directories, it prints either the files common to both DIR1
  21 and DIR2 or, with the `not:' prefix, the ones present in DIR1 and not
  22 in DIR2. The and: prefix is assumed by default and necessary only if
  23 you have a directory name starting with `not:'.
  24
  25 This command compares files by first comparing their sizes, hence goes
  26 reasonably fast.
  27
  28 When looking for identical files, \fBfinddup\fP associates a group ID
  29 to every content, and prints it along the file names. Use the \fB-g\fP
  30 to switch it off.
  31
  32 Note that
  33 .B finddup DIR
  34 is virtually the same as
  35 .B finddup -i DIR DIR
  36
  37 .SH "OPTIONS"
  38 .TP
  39 \fB-h\fR, \fB--help\fR
  40 display help and exit
  41 .TP
  42 \fB-d\fR, \fB--ignore-dots\fR
  43 ignore files and directories starting with a dot
  44 .TP
  45 \fB-0\fR, \fB--ignore-empty\fR
  46 ignore empty files
  47 .TP
  48 \fB-c\fR, \fB--hide-matchings\fR
  49 do not show which files from DIR2 corresponds to files from DIR1
  50 (hence, show only the files from DIR1 which have an identical twin in
  51 DIR2)
  52 .TP
  53 \fB-g\fR, \fB--no-group-ids\fR
  54 do not show the file group IDs
  55 .TP
  56 \fB-p\fR, \fB--show-progress\fR
  57 show progress information in stderr
  58 .TP
  59 \fB-r\fR, \fB--real-paths\fR
  60 show the real path of the files
  61 .TP
  62 \fB-i\fR, \fB--same-inodes-are-different\fR
  63 files with same inode are considered as different
  64
  65 .SH "BUGS"
  66
  67 None known, probably many. Valgrind does not complain though.
  68
  69 The current algorithm is dumb, that is it does not use any hashing of
  70 the file content. I tried md5 on the whole file, which is not
  71 satisfactory because files are often never read entirely hence the md5
  72 can not be properly computed. I also tried XOR of the first 4, 16 and
  73 256 bytes with rejection as soon as one does not match. Did not help
  74 either.
  75
  76 .SH "WISH LIST"
  77
  78 The format of the output should definitely be improved. Not clear how.
  79
  80 Their could be some fancy option to link two instances of the command
  81 running on different machines to reduce network disk accesses. Again,
  82 this may not help much, for the reason given above.
  83
  84 .SH "EXAMPLES"
  85
  86 .B finddup -p0d blah
  87
  88 .fi
  89 List duplicated files in directory ./blah/, show a progress bar,
  90 ignore empty files, and ignore files and directories starting with a
  91 dot.
  92
  93 .P
  94 .B finddup sources not:/mnt/backup
  95
  96 .fi
  97 List all files found in \fB./sources/\fR which do not have
  98 content-matching equivalent in \fB/mnt/backup/\fR.
  99
 100 .P
 101 .B finddup -g tralala cuicui
 102
 103 .fi
 104 List groups of files with same content which exist both in
 105 \fB./tralala/\fR and \fB./cuicui/\fR. Do not show group IDs, instead
 106 write an empty lines between groups of files of same content.
 107
 108 .SH "AUTHOR"
 109
 110 Written by Francois Fleuret <francois@fleuret.org> and distributed
 111 under the terms of the GNU General Public License version 3 as
 112 published by the Free Software Foundation. This is free software: you
 113 are free to change and redistribute it. There is NO WARRANTY, to the
 114 extent permitted by law.