推荐文章

在网站上线时，站长最希望的是可以跟踪到各大搜索引擎的爬虫收录，可以更方便的为网站的关键字进行优化和改进。

下面为ASP.NET CORE版本的爬虫蜘蛛的记录。

//判断蜘蛛开始
//从配置文件或数据库取出爬虫UA标识
var  ApiderArr="[{ID:\"Baiduspider\",Value:\"百度蜘蛛\"},{ID:\"Googlebot\",Value:\"谷歌蜘蛛\"},{ID:\"Yahoo\",Value:\"雅虎蜘蛛\"},{ID:\"iaskspider\",Value:\"新浪爱问蜘蛛\"},{ID:\"Sogou\",Value:\"搜狗蜘蛛\"},{ID:\"Sosospider\",Value:\"SOSO蜘蛛\"},{ID:\"YoudaoBot\",Value:\"网易有道蜘蛛\"},{ID:\"360Spider\",Value:\"360蜘蛛\"},{ID:\"msnbot\",Value:\"Msn蜘蛛\"},{ID:\"bingbot\",Value:\"必应蜘蛛\"}]";

//获取访问UA
var userAgent = httpContext.Request.Headers["User-Agent"];
try
{
    var Spider = JsonConvert.DeserializeObject<List<Val>>(ApiderArr);
    foreach (var s in Spider)
    {
        Regex  spider = new Regex(s.ID, RegexOptions.IgnoreCase | RegexOptions.Multiline);
        if (spider.IsMatch(userAgent))//判断爬虫标识
        {
            backup1 = s.Value;
        }
    }
}
catch(Exception e) {
    Logger.Error("判断蜘蛛出错" + e.ToString());
}
//判断蜘蛛结束

//标识模型
public class Val
{
        public string ID { set; get; }
        public string Value { set; get; }
}