Wednesday, August 12, 2009

ZIPLI DOSYA IÇERISINDEKI SATIR SAYISINI HESAPLAMA

zipli olan dosyalarımızın içerisinde kaç satır olduğunu hesaplamak için aşağıdaki scriptler ile bulabiliriz.
ilk scriptimizde manuel olarak önce zipli dosyaları açıyoruz sonra bu açılmış dosyaların count'unu alıp tekrar zipliyoruz.

for i in `ls -lt /home/aliates/source_data | awk '{print $9}'`;
do
gunzip $i
isim=`ls *.DAT`
deger=`wc -l $isim`
echo $i";"$deger >> /home/aliates/data/source_data_zip.csv
gzip $i
done

ikinci yöntemde ise bu zipli olan dosyaları açmadan countunu almak için

for i in `ls -lt /d104/intercon/source_data/ |awk '{print $9}'`;
do
deger=`zcat {$i} | wc -l`
echo $i";"$deger >> /d101/data/intercon_sms.csv
done

Sqlldr ile atılan toplan kayıt miktarını görmek için aşağıdaki yöntem kullanılabilinir.
eğer zipli olan dosyalarınızı sqlldr ile yüklüyor iseni o zaman sqlldr'nin log sosyalarından yararlanabilirsiniz.
Orada kaç kayıt okuduğunu size gösterecektir.

for i in `ls *.log`;
do
sayi=`awk '/Total logical records read:/ {if (NR!=1) print $5}' ./$i`
echo $i"-------->"$sayi
done

bütün bunları excelde açabilmek için ";" ayracını kullanıp ".csv" uzantılı kaydederseniz excell'de görebilirsiniz.

No comments: