nginx日志分析shell脚本

作者：袖梨 2022-06-30

先基本了解一几条命令

一下脚本都是基于上面日志格式的，如果你的日志格式不同需要调整awk后面的参数。

分析日志中的UserAgent

代码如下 复制代码
cat access_20130704.log | awk -F """ '{print $(NF-3)}' | sort | uniq -c | sort -nr | head -20

上面的脚本将分析出日志文件中最多的20个UserAgent

分析日志中那些IP访问最多

代码如下 复制代码
cat access_20130704.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -20

分析日志中那些
Url请求访问次数最多

代码如下 复制代码

cat access_20130704.log | awk -F """ '{print $(NF-5)}' | sort | uniq -c | sort -nr | head -20

下面我们进入正题了，利用grep的强大体现在N多方面，这里用grep正则表达式来分析nginx日志，为了方便多次使用，写脚本留念。暂时命名为 nla.sh

可以根据自己的需要修改，被grep的东西，来得到自己想要的结果。

代码如下 复制代码

#!/bin/bash

#################################################
#
# 这是一个 nginx 默认日志分析脚本
# 主要使用grep来工作
#
# 考虑到很多人喜欢把日志按日期分割并gz
# 加入了简单的gz格式判断
# 日志分析完成后会把文件还原
# ccshaowei#gmail.com
# 2012/05/13
# http://shaowei.***info/
################################################

# 修改下面一行为日志位置
log_dir='access.log-*'
##########
# $key为grep的关键字，$word为提示，要求一一对应，数量相同
##########
#http 代码
key[0]='" 200 [0-9]{3}';word[0]='http 200'
key[1]='" 206 [0-9]{3}';word[1]='http 206'
key[2]='" 404 [0-9]{3}';word[2]='http 404'
key[3]='" 503 [0-9]{3}';word[3]='http 503'
##########
# seo/seo.html" target="_blank">搜索引擎爬虫
key[4]='Googlebot.*google.com/bot.html';word[4]='来自Google爬虫'
key[5]='Baiduspider.*baidu.com/search/spider.html';word[5]='来自百度蜘蛛'
key[6]='bingbot.*bing.com/bingbot.htm';word[6]='来自Bing爬虫'
#Soso 'Sosospider.*soso.com/webspider.htm'
#有道 'YoudaoBot.*youdao.com/help/webmaster/spider/'
#Yahoo中国 'Yahoo! Slurp China'
##########
# 浏览器
key[7]='MSIE';word[7]='MSIE'
key[8]='Gecko/.*Firefox';word[8]='Firefox'
key[9]='AppleWebKit.*like Gecko';word[9]='Webkit'
key[10]='Opera.*Presto';word[10]='Opera'
#360安全 'MSIE.*360SE' 或加ie内核版本 'MSIE 6.0 .*360SE' 'MSIE 7.0 .*360SE' 'MSIE 8.0 .*360SE' 'MSIE 9.0 .*360SE'
#360急速 'AppleWebKit.*QIHU 360EE'
##########
# 操作系统
key[11]='Windows NT 6.1';word[11]='Windows 7'
key[12]='Macintosh; Intel Mac OS X';word[12]='Mac OS X'
key[13]='X11.*Linux';word[13]='Linux with X11'
key[14]='Android;';word[14]='Android'
#Windows系列 win2000'Windows NT 5.0' winxp'Windows NT 5.1' winvasta'Windows NT 6.0' win7'Windows NT 6.1'
#SymbianOS 'SymbianOS'
##########
# 设备
key[15]='iPad.*like Mac OS X';word[15]='iPad'
key[16]='Nokia';word[16]='诺基亚系列'
key[17]='Nokia5800';word[17]='Nokia5800 XpressMusic'
#iPhone 'iPhone.*like Mac OS X'
##########
# 其他
key[18]='GET /.*.mp3 HTTP';word[18]="访问mp3文件"
key[19]='GET /.*.jpg HTTP';word[19]="访问jpg文件"

# 配置结束
##############################################################################

log_num=$(ls ${log_dir} | wc -l)
fileid=0
isgz=0
#gz检查
for file in $(ls ${log_dir})
do
if [ "${file##*.}" = "gz" ]; then
isgz[$fileid]=1
gzip -dvf $file
logfile[$fileid]=$(echo $file | sed 's/.gz$//')
(( fileid++ ))
else
isgz[$fileid]=0
logfile[$fileid]=$file
(( fileid++ ))
fi
done
# 检查key和 word 的数量是否一致
if [ ${#word[@]} -ne ${#key[@]} ]
then
echo "配置有错误，key和word的数量不一致"
else

checkid=0
while [ $checkid -lt $log_num ]
do
filename=${logfile[$checkid]}
totle=$(cat $filename | wc -l)
echo "日志 ${filename} 共 ${totle} 行，需要处理 ${#key[@]} 项"
echo "来源IP数：$(cat $filename | awk '{print $1}' |sort|uniq|wc -l)"
i=0
while [ $i -lt ${#key[@]} ]
do
s1=${word[$i]}
s2=$(cat $filename | grep ''"${key[$i]}"'' | wc -l)
s3=$(awk 'BEGIN{printf "%.2f%n",('$s2'/'$totle')*100}')
echo "${s3} ${s1}: ${s2}"
((i++))
done
(( checkid++ ))
echo "-----------------"
done
fi
# 还原压缩文件
gzid=0
while [ $gzid -lt $log_num ]
do
if [ "${isgz[$gzid]}" = "1" ]
then
gzip -v ${logfile[$gzid]}
fi
(( gzid++ ))
done

运行结果范例如下：

[root@hostname temp]# ls -lh
总用量 299M
-rw-r----- 1 root root 11M 5月 14 13:25 access.log-20120508.gz
-rw-r----- 1 root root 158M 5月 14 13:25 access.log-20120509
-rw-r----- 1 root root 2.2M 5月 14 13:25 access.log-20120510.gz
-rw-r----- 1 root root 129M 5月 14 13:25 access.log-20120511
-rwxr-xr-x 1 root root 3.4K 5月 14 13:10 nla.sh
[root@hostname temp]# sh nla.sh
access.log-20120508.gz: 93.5% -- replaced with access.log-20120508
access.log-20120510.gz: 93.9% -- replaced with access.log-20120510
日志 access.log-20120508 共 643281 行，需要处理 20 项
来源IP数：7483
44.52% http 200: 286400
3.55% http 206: 22824
20.23% http 404: 130128
14.31% http 503: 92029
1.94% 来自Google爬虫: 12491
2.01% 来自百度蜘蛛: 12943
0.90% 来自Bing爬虫: 5780
76.53% MSIE: 492291
2.21% Firefox: 14209
7.03% Webkit: 45215
0.27% Opera: 1736
25.17% Windows 7: 161935
1.37% Mac OS X: 8830
0.03% Linux with X11: 202
0.03% Android: 190
0.11% iPad: 677
0.50% 诺基亚系列: 3207
0.02% Nokia5800 XpressMusic: 102
36.06% 访问mp3文件: 231959
23.10% 访问jpg文件: 148600
-----------------
日志 access.log-20120509 共 608316 行，需要处理 20 项
来源IP数：7429
45.15% http 200: 274651
1.79% http 206: 10884
15.59% http 404: 94854
19.95% http 503: 121376
2.83% 来自Google爬虫: 17245
1.80% 来自百度蜘蛛: 10970
0.23% 来自Bing爬虫: 1410
78.96% MSIE: 480324
1.28% Firefox: 7783
7.85% Webkit: 47774
0.43% Opera: 2597
22.85% Windows 7: 139022
0.63% Mac OS X: 3827
0.06% Linux with X11: 389
0.06% Android: 372
0.06% iPad: 351
0.19% 诺基亚系列: 1158
0.00% Nokia5800 XpressMusic: 4
34.94% 访问mp3文件: 212555
23.46% 访问jpg文件: 142702
-----------------
日志 access.log-20120510 共 141224 行，需要处理 20 项
来源IP数：2040
50.15% http 200: 70823
1.67% http 206: 2354
14.15% http 404: 19987
17.37% http 503: 24534
4.53% 来自Google爬虫: 6399
2.66% 来自百度蜘蛛: 3754
0.44% 来自Bing爬虫: 622
69.34% MSIE: 97921
1.19% Firefox: 1682
9.54% Webkit: 13470
0.53% Opera: 742
19.37% Windows 7: 27351
1.23% Mac OS X: 1737
0.03% Linux with X11: 45
0.00% Android: 0
0.09% iPad: 130
0.86% 诺基亚系列: 1220
0.00% Nokia5800 XpressMusic: 0
30.29% 访问mp3文件: 42777
23.91% 访问jpg文件: 33768
-----------------
日志 access.log-20120511 共 473259 行，需要处理 20 项
来源IP数：5093
44.91% http 200: 212551
1.96% http 206: 9286
15.14% http 404: 71671
21.20% http 503: 100322
2.44% 来自Google爬虫: 11548
1.40% 来自百度蜘蛛: 6616
3.40% 来自Bing爬虫: 16068
76.75% MSIE: 363224
0.93% Firefox: 4388
6.75% Webkit: 31937
0.31% Opera: 1444
28.62% Windows 7: 135444
0.43% Mac OS X: 2057
0.02% Linux with X11: 116
0.00% Android: 0
0.09% iPad: 419
0.23% 诺基亚系列: 1094
0.00% Nokia5800 XpressMusic: 0
35.77% 访问mp3文件: 169274
22.46% 访问jpg文件: 106299
-----------------
access.log-20120508: 93.5% -- replaced with access.log-20120508.gz
access.log-20120510: 93.9% -- replaced with access.log-20120510.gz
[root@hostname temp]# ls -lh
总用量 299M
-rw-r----- 1 root root 11M 5月 14 13:25 access.log-20120508.gz
-rw-r----- 1 root root 158M 5月 14 13:25 access.log-20120509
-rw-r----- 1 root root 2.2M 5月 14 13:25 access.log-20120510.gz
-rw-r----- 1 root root 129M 5月 14 13:25 access.log-20120511
-rwxr-xr-x 1 root root 3.4K 5月 14 13:10 nla.sh

相关文章

精彩推荐