在线广告的系统需求最主要有一点:
1] 能够快速识别新网页的类别。
如何针对网页分类一直是一个困惑搜索引擎的问题,即便现有的方法有很多,例如:
LR,NNet(Neural network), Knn K-nearest neighbor, SVM 。
前面我讲述信息的分类的方法基本上按照线性的SVM方法进行分类,但是信息空间一旦加大到几十万维,要计算一个网页的类别是很困难的。
针对在线广告google的Mediapartners爬虫有一些比较好的特征,能够满足在线广告的需要。这里阐述一下Mediapartners的工作原理:
1] 当我们打开一个网页的时候,这个网页:
<1> 已经被Mediapartners 爬过并分类处理了,那么广告的相关性就有了。
<2>是一个新网页,我们主要讲述新网页。
2] Mediapartners 爬虫在这个网页被load的同时发现了这是一个新网页,那么
进行最简单的判断:
<1> Url 的标记是否有关键词
这里的football 马上就作为一个临时的分类的类别。
