您好,登錄后才能下訂單哦!
今天給大家介紹一下為什么du和df的統計結果會不一樣。文章的內容小編覺得不錯,現在給大家分享一下,覺得有需要的朋友可以了解一下,希望對大家有所幫助,下面跟著小編的思路一起來閱讀吧。
使用du和df來獲取目錄或文件系統已占用空間的情況。但它們的統計結果是不一致的,大多數時候,它們的結果相差不會很大,但有時候它們的統計結果會相差非常大。
df的統計結果
[root@liangxu ~]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 1.7G 15G 11% / tmpfs tmpfs 491M 0 491M 0% /dev/shm /dev/sda1 ext4 239M 68M 159M 30% /boot //192.168.0.124/win cifs 381G 243G 138G 64% /mnt
du對根目錄的統計結果
[root@liangxu ~]# du -sh / 2>/dev/null 244G / df中"/"的使用空間是1.7G,但是du的結果卻是244G。這里du的統計結果大于df。再看看對/boot分區的統計結果。 [root@liangxu ~]# df -hT /boot;echo;du -sh /boot Filesystem Type Size Used Avail Use% Mounted on /dev/sda1 ext4 239M 68M 159M 30% /boot 66M /boot
du的結果是66M,df的結果是68M,相差不大,但df的結果大于du。
文件存儲和刪除的底層過程
這里簡單說明下文件系統相關的底層機制,首先說明下文件是怎么存儲到文件系統中的。假如要存儲a.txt到/tmp目錄下。
當a.txt文件要存儲到/tmp下時:
首先從inode table中找一個空閑的inode號分配給a.txt,例如2222。再將inode map(imap)中2222這個inode號標記為已使用。
在/tmp的data block中添加一條a.txt文件的記錄。該記錄中包括一個指向inode號的指針,例如"0x2222"。
然后從block map(bmap)中找出空閑的data block,并開始將a.txt中的數據寫入到data block中。每寫一段空間(ext4每次分配一段空間)就從bmap中找一次空閑的data block,直到存完所有數據。
設置inode table中關于2222這條記錄的data block指針,通過該指針可以找到a.txt使用了哪些data block。
當要刪除a.txt文件時:
在inode table中刪除指向a.txt的data block指針。這里只要一刪除,外界就找不到a.txt的數據了。但是這個文件還存在,只是它是被"損壞"的文件,因為沒有任何指針指向數據塊。
在imap中將2222的inode號標記為未使用。于是這個inode號就被釋放,可以被后續的文件重用。
刪除父目錄/tmp的data block中關于a.txt的記錄。這里只要一刪除,外界就看不到也找不到這個文件了。
在bmap中將a.txt占用的block標記為未使用。這里被標記為未使用后,這些data block就可以被后續文件覆蓋重用。
考慮一種情況,當一個文件被刪除時,但此時還有進程在使用這個文件,這時是怎樣的情況呢?外界是看不到也找不到這個文件的,所以刪除的過程已經進行到了第(3)步。
但進程還在使用這個文件的數據,也能找到這個文件的數據,是因為進程在加載這個文件的時候就已經獲取到了該文件占用哪些data block,雖然刪除了文件,但bmap中這些data block還沒有標記為未使用。
du統計的原理
du是通過stat命令來統計每個文件(包括子目錄)的空間占用總和。因為會對每個涉及到的文件使用stat命令,所以速度較慢。
如果統計目錄下掛載了其他文件系統,那么也會對這個文件系統進行統計。例如"du -sh /"的時候,會統計所有分區的文件,包括掛載上來的。正如本文開頭統計的"/"一樣,du的結果是244G,明顯比df統計的結果大,就是因為將某個分區掛載到了/mnt目錄下。
## df的統計結果 [root@liangxu ~]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 1.7G 15G 11% / tmpfs tmpfs 491M 0 491M 0% /dev/shm /dev/sda1 ext4 239M 68M 159M 30% /boot //192.168.0.124/win cifs 381G 243G 138G 64% /mnt ## du對根目錄的統計結果 [root@liangxu ~]# du -sh / 2>/dev/null 244G /
如果文件被刪除,即使被其他進程引用了,du命令也無法對其統計。因為stat命令找不到這個文件。
可以跨分區統計某些你想統計的文件大小總和。因為它們都能被stat找到并統計。例如:統計Linux下所有img文件的大小。
## df的統計結果 [root@liangxu ~]# find / -type f -name "*.img" -print0 | xargs -0 du -csh 19M /boot/initramfs-2.6.32-504.el6.x86_64.img 13M /mnt/linux工具/cirros-0.3.4-x86_64-disk.img 31M total
這里統計的兩個img文件就是在不同分區內的。
df統計的原理
df是讀取每個分區的superblock來獲取空閑數據塊、已使用數據塊,從而計算出空閑空間和已使用空間,因此df統計的速度極快(superblock才占用1024字節)。
當某個文件系統下掛載了其他分區,df不會把這個分區也統計進去。這很容易理解,因為df讀取的是各自分區的superblock,即使分區1掛載在分區0的目錄下,df統計分區0的時候,也只能讀取分區0的superblock。
例如,下面的/mnt、/boot都沒有統計在"/"中。
[root@liangxu ~]# df -hT Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 1.7G 15G 11% / tmpfs tmpfs 491M 0 491M 0% /dev/shm /dev/sda1 ext4 239M 68M 159M 30% /boot //192.168.0.124/win cifs 381G 243G 138G 64% /mnt
由于df每次統計都是讀取superblock,所以df對文件系統中的某個文件進行統計時,會自動轉為統計這個文件系統的信息。
[root@liangxu ~]# df -hT /etc/fstab Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 1.7G 15G 11% /
df會統計已刪除但卻仍有進程引用的文件。
正常情況下,刪除文件會立刻釋放相關指針,并將imap和bmap中相關的位圖標記為未使用。bmap只要一改變,文件系統立刻就能知道每個塊組中哪些數據塊是空閑的,哪些數據塊是被使用的,這些信息都會更新到分區的superblock中。于是df能立刻統計到實時的空間信息。
但是當一個文件被刪除時,如果還有進程在引用這個文件,根據前文的分析,bmap中不會將這個文件的data block標記為未使用,也就不會將數據塊的使用情況更新到superblock中。由于df是根據superblock中空閑和使用數據塊的數量來計算空閑空間和已使用空間的,所以df統計的時候會將這個已被"刪除"的文件統計到已使用空間中。
例如,創建一個較大一點的文件放在"/"目錄下,并du和df統計根目錄的已使用空間。
[root@liangxu ~]# dd if=/dev/zero of=/my.iso bs=1M count=1000[root@liangxu ~]# df -hT / Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 2.7G 14G 17% / [root@liangxu ~]# du -sh --exclude="/mnt" / 2>/dev/null 2.7G /
它們在GB級的單位上是相等的。現在使用一個進程來引用這個文件,然后刪除這個文件,再du和df統計。
[root@liangxu ~]# tail -f /my.iso & [root@liangxu ~]# rm -rf /my.iso [root@liangxu ~]# ls /my.iso ls: cannot access /my.iso: No such file or directory [root@liangxu ~]# du -sh --exclude="/mnt" / 2>/dev/null 1.8G / [root@liangxu ~]# df -hT / Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 2.7G 14G 17% /
可以發現,外界已經獲取不到my.iso文件了,所以du無法統計這個文件。而df卻將該文件大小統計進去了,因為my.iso占用的data block還未被標記為未使用。再關掉tail進程,然后df再統計空間,結果將和du一樣顯示為正常的大小。
[root@liangxu ~]# jobs [1]+ Running tail -f /my.iso & [root@liangxu ~]# kill %1 [root@liangxu ~]# df -hT / Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 1.7G 15G 11% /
如果不知道文件系統中哪些已被刪除,但卻還被進程引用的文件,可以使用lsof來獲取。通過它還能獲取到文件的大小,看看到底是哪個文件在"占著茅坑以及占了多少茅坑"。例如,關掉tail進程前,使用lsof查看。可以看到tail進程占用了/my.iso,且這個文件的大小為1048576000字節。
[root@liangxu ~]# lsof | grep deleted php-fpm 12597 root txt REG 8,2 4058416 931143 /usr/sbin/php-fpm (deleted) php-fpm 12657 nobody txt REG 8,2 4058416 931143 /usr/sbin/php-fpm (deleted) php-fpm 12707 nobody txt REG 8,2 4058416 931143 /usr/sbin/php-fpm (deleted) php-fpm 12708 nobody txt REG 8,2 4058416 931143 /usr/sbin/php-fpm (deleted) tail 14437 root 3r REG 8,2 1048576000 7171 /my.iso (deleted)
以上就是為什么du和df的統計結果會不一樣的全部內容了,更多與為什么du和df的統計結果會不一樣相關的內容可以搜索億速云之前的文章或者瀏覽下面的文章進行學習哈!相信小編會給大家增添更多知識,希望大家能夠支持一下億速云!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。