HTTP
AMH 社区首页
AMH社区 - 开放自由有价值的社区
|
|
|---|---|
|
magento |
magento 发表于 2021-07-25 15:37:15
A神好
1) 在log/access文件里面可以看到蜘蛛，但一个一个看很累，在AMLOG里，分析 不到蜘蛛的，想了解下，各种蜘蛛的比例。。要不要屏蔽 -- 这个特别重要，我一个一个看ACCESS文件 ,看到有个PINTEST的蜘蛛，一小时IP访问一1万次，用CDN屏蔽这IP后， 明显快多了。 2）建议下AMLOG做下优化吧，很多没用的东东都可以删除掉，简洁点的。 比如这个蜘蛛分析的， 最重要的是，分析是什么蜘蛛，什么IP，访问次数多少, 然后是否要添加到和谐列表 （比如IP和谐，或者 NGINX和谐用户代_理名称等等) 这些对于运维太重要了，我之前服务器卡崩了，正在一步一步分析原因中，以上是分析中遇到的痛点. 谢谢 附件文件 1. AANEW.jpg (46.39 KB)  点赞，加油！ (0分)
2021-07-25 15:37:15 1
AMH棒棒哒 |
|
magento |
A神什么时候能搞个LUA规则就好了。做个简单WAF。 BT面板有这个了。
现在虽然有LUA，虽然我上次也发了LUA规则，但不知道 怎么对接进去，哈哈。 其实只要简单的防下CC，SQL注入之类就完全足够了。 因为目前很多WAF不支持AMH,有点尴尬。。。 像我这种顶级服务器，都 被 这些爬虫搞崩溃了。。。 我觉得我这服务器在可以排在前10，或者前5的配置了吧。
回复
2021-07-25 17:07:57 2
|
|
AMH-Test |
A神....
 
回复
2021-07-25 17:49:53 3
|
|
AMH-Test |
引用: AMH-Test 发表于 2021-07-25 17:49:53  A神.... 能再牛逼点不 
回复
2021-07-25 17:50:17 4
|
|
amysql |
amlog有蜘蛛流量分析，不过没显示是具体哪个蜘蛛，默认统计也只是常见的蜘蛛，像谷歌、百度、搜搜、雅虎等那些。
PINTEST这个没听说过，也做不到什么蜘蛛都能统计到， 不过你个问题主要是异常的流量了， amlog考虑增加个异常的流量列表，等amlog更新。
回复
2021-07-25 18:41:27 5
AMH面板 - 好用高效低占用、安全可靠极稳定 |
|
magento |
如果能显示 蜘蛛名字就好了。我以为可以显示的， 我不懂这个代码了。 Pintester是pinterest.com ，英文菜，写错了，这是一个全球很有名的图片社交站.
但我会采集，从采集的角度来说的话，可以用正则表达式，获取到蜘蛛名字 1（因为蜘蛛过来的时候，会表明身份的，比如下面） 用户代_理：Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) 2）从火车头采集器 的正则表达角度来说，要提取蜘蛛名字则以下写法 compatible; 参数/*) 获取 参数1 这个参数1，就是蜘蛛名字了。 当然-------------以上是一点都 不重要的，A神 能增加个异常流量列表就好了，最好能汇总下，这些异常流量的名字出来就好了，这样不用一个一个数。 比如，有3万个pinterest.com的，2万个semrush.com的. 这个汇总结果出来的就好了。。不然一个一个看，这样和看 访问日志一样了。 感谢感谢，大爱 附件文件 1. cj001.jpg (31.85 KB)
回复
2021-07-25 23:30:49 6
|
|
magento |
引用: AMH-Test 发表于 2021-07-25 17:50:17 能再牛逼点不 一直都 叫A神 的啊， A神 YYDS.. 哈哈。不说了，我是AMH的脑残粉~~
回复
2021-07-25 23:31:18 7
|
|
amysql |
引用: magento 发表于 2021-07-25 23:30:49 如果能显示 蜘蛛名字就好了。我以为可以显示的， 我不懂这个代码了。 Pintester是pinterest.com ，英文菜，写错了，这是一个全球很有名的图片社交站. 但我会采集，从采集的角度来说... 
回复
2021-07-26 09:28:45 8
|
[综合话题]
AMLOG无法分析爬虫数据
