隨著開源產品的越來越盛行，作為一個Linux運維工程師，能夠清晰地鑒別異常機器是否已經被入侵了顯得至關重要，個人結合自己的工作經歷，整理了幾種常見的機器被黑情況供參考。

背景信息：以下情況是在CentOS 6.9的系統中查看的，其它Linux發行版類似。

1.入侵者可能會刪除機器的日志信息，可以查看日志信息是否還存在或者是否被清空，相關命令示例：

[root@liangxu ~]# ll -h /var/log/*-rw-------. 1 root root 2.6K Jul  7 18:31 /var/log/anaconda.ifcfg.log-rw-------. 1 root root  23K Jul  7 18:31 /var/log/anaconda.log-rw-------. 1 root root  26K Jul  7 18:31 /var/log/anaconda.program.log-rw-------. 1 root root  63K Jul  7 18:31 /var/log/anaconda.storage.log[root@liangxu ~]# du -sh /var/log/*8.0K /var/log/anaconda4.0K /var/log/anaconda.ifcfg.log24K  /var/log/anaconda.log28K  /var/log/anaconda.program.log64K  /var/log/anaconda.storage.log

2.入侵者可能創建一個新的存放用戶名及密碼文件，可以查看/etc/passwd及/etc/shadow文件，相關命令示例：

[root@liangxu ~]# ll /etc/pass*-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd-rw-r--r--. 1 root root 1373 Sep 15 11:36 /etc/passwd-[root@liangxu ~]# ll /etc/sha*----------. 1 root root 816 Sep 15 11:36 /etc/shadow----------. 1 root root 718 Sep 15 11:36 /etc/shadow-

3.入侵者可能修改用戶名及密碼文件，可以查看/etc/passwd及/etc/shadow文件內容進行鑒別，相關命令示例：

[root@liangxu ~]# more /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin[root@liangxu ~]# more /etc/shadowroot:*LOCK*:14600::::::bin:*:17246:0:99999:7:::daemon:*:17246:0:99999:7:::

4.查看機器最近成功登陸的事件和最后一次不成功的登陸事件，對應日志“/var/log/lastlog”，相關命令示例：

[root@liangxu ~]# lastlogUsername         Port     From             Latestroot                                       **Never logged in**bin                                        **Never logged in**daemon                                     **Never logged in**

5.查看機器當前登錄的全部用戶，對應日志文件“/var/run/utmp”，相關命令示例：

[root@liangxu ~]# whostone    pts/0        2017-09-20 16:17 (X.X.X.X)test01   pts/2        2017-09-20 16:47 (X.X.X.X)

6.查看機器創建以來登陸過的用戶，對應日志文件“/var/log/wtmp”，相關命令示例：

[root@liangxu ~]# lasttest01   pts/1        X.X.X.X   Wed Sep 20 16:50   still logged in  test01   pts/2        X.X.X.X   Wed Sep 20 16:47 - 16:49  (00:02)   stone    pts/1        X.X.X.X   Wed Sep 20 16:46 - 16:47  (00:01)   stone    pts/0        X.X.X.X   Wed Sep 20 16:17   still logged in

7.查看機器所有用戶的連接時間（小時），對應日志件“/var/log/wtmp”，相關命令示例：

[root@liangxu ~]# ac -dp         stone                               11.98Sep 15      total       11.98         stone                               67.06Sep 18      total       67.06         stone                                1.27         test01                               0.24Today        total        1.50

8.如果發現機器產生了異常流量，可以使用命令“tcpdump”抓取網絡包查看流量情況或者使用工具”iperf”查看流量情況。

9.可以查看/var/log/secure日志文件，嘗試發現入侵者的信息，相關命令示例：

[root@liangxu ~]# cat /var/log/secure | grep -i "accepted password"Sep 20 12:47:20 liangxu sshd[37193]: Accepted password for stone from X.X.X.X port 15898 ssh3Sep 20 16:17:47 liangxu sshd[38206]: Accepted password for stone from X.X.X.X port 9140 ssh3Sep 20 16:46:00 liangxu sshd[38511]: Accepted password for stone from X.X.X.X port 2540 ssh3Sep 20 16:47:16 liangxu sshd[38605]: Accepted password for test01 from X.X.X.X port 10790 ssh3Sep 20 16:50:04 liangxu sshd[38652]: Accepted password for test01 from X.X.X.X port 28956 ssh3

10.查詢異常進程所對應的執行腳本文件

a.top命令查看異常進程對應的PID

b.在虛擬文件系統目錄查找該進程的可執行文件

[root@liangxu ~]# ll /proc/1850/ | grep -i exelrwxrwxrwx. 1 root root 0 Sep 15 12:31 exe -> /usr/bin/python[root@liangxu ~]# ll /usr/bin/python-rwxr-xr-x. 2 root root 9032 Aug 18  2016 /usr/bin/python

11.如果確認機器已經被入侵，重要文件已經被刪除，可以嘗試找回被刪除的文件。

1>當進程打開了某個文件時，只要該進程保持打開該文件，即使將其刪除，它依然存在于磁盤中。這意味著，進程并不知道文件已經被刪除，它仍然可以向打開該文件時提供給它的文件描述符進行讀取和寫入。除了該進程之外，這個文件是不可見的，因為已經刪除了其相應的目錄索引節點。

2>在/proc 目錄下，其中包含了反映內核和進程樹的各種文件。/proc目錄掛載的是在內存中所映射的一塊區域，所以這些文件和目錄并不存在于磁盤中，因此當我們對這些文件進行讀取和寫入時，實際上是在從內存中獲取相關信息。大多數與 lsof 相關的信息都存儲于以進程的 PID 命名的目錄中，即 /proc/1234 中包含的是 PID 為 1234 的進程的信息。每個進程目錄中存在著各種文件，它們可以使得應用程序簡單地了解進程的內存空間、文件描述符列表、指向磁盤上的文件的符號鏈接和其他系統信息。lsof 程序使用該信息和其他關于內核內部狀態的信息來產生其輸出。所以lsof 可以顯示進程的文件描述符和相關的文件名等信息。也就是我們通過訪問進程的文件描述符可以找到該文件的相關信息。

3>當系統中的某個文件被意外地刪除了，只要這個時候系統中還有進程正在訪問該文件，那么我們就可以通過lsof從/proc目錄下恢復該文件的內容。

假設入侵者將/var/log/secure文件刪除掉了，嘗試將/var/log/secure文件恢復的方法可以參考如下：

a.查看/var/log/secure文件，發現已經沒有該文件。

[root@liangxu ~]# ll /var/log/securels: cannot access /var/log/secure: No such file or directory

b.使用lsof命令查看當前是否有進程打開/var/log/secure，

[root@liangxu ~]# lsof | grep /var/log/securersyslogd   1264      root    4w      REG                8,1  3173904     263917 /var/log/secure (deleted)

c.從上面的信息可以看到 PID 1264（rsyslogd）打開文件的文件描述符為4。同時還可以看到/var/log/ secure已經標記為被刪除了。因此我們可以在/proc/1264/fd/4（fd下的每個以數字命名的文件表示進程對應的文件描述符）中查看相應的信息，如下：

[root@liangxu ~]# tail /proc/1264/fd/4Sep 20 16:47:21 liangxu sshd[38511]: pam_unix(sshd:session): session closed for user stoneSep 20 16:47:21 liangxu su: pam_unix(su-l:session): session closed for user rootSep 20 16:49:30 liangxu sshd[38605]: pam_unix(sshd:session): session closed for user test01Sep 20 16:50:04 liangxu sshd[38652]: reverse mapping checking getaddrinfo for 190.78.120.106.static.bjtelecom.net [106.120.78.190] failed - POSSIBLE BREAK-IN ATTEMPT!Sep 20 16:50:04 liangxu sshd[38652]: Accepted password for test01 from 106.120.78.190 port 28956 ssh3Sep 20 16:50:05 liangxu sshd[38652]: pam_unix(sshd:session): session opened for user test01 by (uid=0)Sep 20 17:18:51 liangxu unix_chkpwd[38793]: password check failed for user (root)Sep 20 17:18:51 liangxu sshd[38789]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.81.90  user=rootSep 20 17:18:52 liangxu sshd[38789]: Failed password for root from 51.15.81.90 port 47014 ssh3Sep 20 17:18:52 liangxu sshd[38790]: Connection closed by 51.15.81.90

d.從上面的信息可以看出，查看/proc/1264/fd/4就可以得到所要恢復的數據。如果可以通過文件描述符查看相應的數據，那么就可以使用I/O重定向將其重定向到文件中，如：

[root@liangxu ~]# cat /proc/1264/fd/4 > /var/log/secure

e.再次查看/var/log/secure，發現該文件已經存在。對于許多應用程序，尤其是日志文件和數據庫，這種恢復刪除文件的方法非常有用。

[root@liangxu ~]# ll /var/log/secure-rw-r--r--. 1 root root 3173904 Sep 20 17:24 /var/log/secure[root@liangxu ~]# head /var/log/secureSep 17 03:28:15 liangxu sshd[13288]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!Sep 17 03:28:15 liangxu unix_chkpwd[13290]: password check failed for user (root)Sep 17 03:28:15 liangxu sshd[13288]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137  user=rootSep 17 03:28:17 liangxu sshd[13288]: Failed password for root from 51.15.64.137 port 59498 ssh3Sep 17 03:28:18 liangxu sshd[13289]: Received disconnect from 51.15.64.137: 11: Bye ByeSep 17 03:28:22 liangxu sshd[13291]: reverse mapping checking getaddrinfo for 137-64-15-51.rev.cloud.scaleway.com [51.15.64.137] failed - POSSIBLE BREAK-IN ATTEMPT!Sep 17 03:28:22 liangxu unix_chkpwd[13293]: password check failed for user (root)Sep 17 03:28:22 liangxu sshd[13291]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=51.15.64.137  user=rootSep 17 03:28:24 liangxu sshd[13291]: Failed password for root from 51.15.64.137 port 37722 ssh3Sep 17 03:28:25 liangxu sshd[13292]: Received disconnect from