Поиск дубликатов файлов

Всё уже сделано до нас - есть замечательная утилита fdupes, которая пересматривает каталоги в поисках добликатов файлов (в т.ч. и по содержанию)

Запускал с параметрами fdupes -q -r -S /home/archive , а подсчитать общий размер дубликатов можно простым скриптом:

#!/bin/bash

let sum=0
let dups=0
read l

while [ -n "$l" ]
do
        curr_size=`echo $l | sed -e "s/ bytes each://g"`
        if [ "$l" != "$curr_size" ]
        then
                read l
                read l
                while [ -n "$l" ]
                do
                        let sum=$sum+$curr_size
                        let dups=$dups+1
                        read l
                done
        fi
        read l
done

echo $dups files with $sum bypes

fdupes, debian, linux