搜索引擎每天都是在处理一个基本的需求：用户搜索一个关键词，搜索引擎马上找到相关的网页给用户。这个过程要怎么实现呢？ 下面就分步来了解这个过程。

首先搜索引擎要尽可能多的把互联网上的网页搜集下来，这样能提供大量的网页给用户查询。这一部分由爬虫来解决，顺着互联网上的链接一个个往下抓取。最后就有了一堆记录着网页各种信息的资料库。目前的现状，最后能使这个资料库里有大概100多亿个网页。资料库里记录了这些网页的URL，整个网页的HTML代码，网页标题等等信息。

然后，搜索引擎拿到用户输入的这个关键词后，要从这个资料库里把相关的网页找出来给用户。这里就碰到好几个问题了：

1，要怎么快速的从上100亿个网页里找出匹配的网页的呢？

要知道这是从上百亿的网页里找符合这个关键词内容的网页，如果像用word里那种用ctrl + F 轮询的查找方式的话，即使用超级计算机，也不知道要消耗多少时间。但是现在的搜索引擎，在几分之一秒里就实现了。所以一定是做了一些处理才实现的。

解决办法也倒简单，就是建立一份索引库。就像我们查《新华字典》一样，我们不会翻遍《新华字典》的每一页来查那个字在哪页，而是先去索引表那里找这个字，拿到页码后，直接翻到那页就可以了。搜索引擎也会为上百亿的网页建立一个索引库，用户查询信息的时候，是先到搜索引库里查一下要找的信息在哪些网页，然后就引导你去那些网页的。

如下图：

索引库

2，索引库里用什么样的分类方式？

我们知道，《新华字典》的索引表是用字母列表或者偏旁部首的分类方式的。那么搜索引擎的索引库里是怎么分类的？是不是也可以用字母列表的方式？

搜索引擎如果以字母列表的方式排列索引库，那么平均每个字母下要查询的网页数量是  100亿÷26＝3.85亿 ，也还是一个很大的数字。而且搜索引擎上，今天是100亿个网页，过不了多久就是300亿个网页了。

最后，终于找到一个解决办法：索引库里用词语来分类。

因为尽管互联网上的网页是不断激增的，但是每一种语言里，词语的数量都是相对固定的。比如英语就是一百多万个单词，100亿 ÷ 1百万 =  1 万；汉语是8万多个词语，100亿÷8万=12万5千。都是计算机很容易处理得过来的。

用词语来分类还有一个好处，就是可以匹配用户查询的那个词语。本来用户就是要查这个词语的，那我就按这个词语去分类就是。

所以，搜索引擎的索引库，最后就是这个样子的：

模拟的索引库

理论上，当用户输入关键词“mp3 player”搜索时，搜索引擎就从 “mp3”那行 和 “player”那行里拿出同时都有的、交集的url来即可。

上图也是现在英文版的google.com上的真实排名情况，可以看到 www.winamp.com 这个网站在搜索“mp3”的时候排第4位，在搜索“player”的时候也排第4位。当搜索“mp3 player”的时候，因为没有其他网站比它更匹配这个词语，所以它排在了第一位。

排在第一

当搜索引擎把一个网站抓取下来后，接着要做的事情就是把网页里的词语分开放到索引库里。分词在这个时候就要应用到了，所谓的分词，其实很简单，就是把词语分开而已。

英语的分词好处理一点，因为英语的每个单词之间是用空格分开的，基本上就只要处理一些虚词、介词，还有一些词语的单复数，变形词等等。但是中文的分词就复杂很多了，句子中的每个字都连在一起，有时候即使是人来判断，都还有产生歧义的时候。中文的分词有很多方法，也很容易弄懂的，如正向切分法，逆向切分法等等，网上有很多相关的资料。

谷歌的中文分词方法是从国外一家第三方公司买的。百度的分词方法是自己创立的，可能在词库上面比谷歌有点优势。不过其他方面差了一些。

当爬虫找到一个网页的时候，在搜索引擎看来，这个网页就是一大堆词语的组合。基本流程如下：

搜索引擎的处理过程

看完这个流程图，应该能给大家在做内部优化的时候有所启发的。

一定要站在搜索引擎的角度，把它的这些原理了解清楚了，才会让你明白哪些因素才是你应该关注的重点。

有人说: SEO就是重在细节。这应该是经验之谈。但是不知道大家有没有想过的是：是不是可能原本这些看似细节的东西，其实就是应该注意的重要的东西呢？如果你不能控制好你的排名，有没有想过可能你以前特别在意的一些SEO因素，其实有些并不是重点？；而只是你把影响排名的部分因素弄错了？

上面的很多知识，其实在《搜索引擎营销:网站流量大提速》里都有提及的。那本书要去精读的原因之一就是它讲了很多看似很普通的原理，但是都是有用的。

比如在选关键词的时候，也可以参考一下这个词语的索引量。从上面的原理可以看出，这个索引量反应了这个词语在这种语言当中人们使用的流行程度。所以国外有些计算关键词KEI指数的公式里，也把这个关键词的索引量加入了进来。

有兴趣再追溯下去的朋友可以看看google黑板报上的这篇文章
http://www.googlechinablog.com/2006/05/blog-post_10.html 

问题：看到别的发布商的网站有违反政策的行为怎么办？
回答：您可以通过我们支持中心的在线表格，将该网站举报给我们，我们将十分感谢您协助我们维护Adsense 网络的质量。

问题：可以将其它广告联盟的广告跟AdSense 广告放在同一页么？
回答：可以。但是为避免误导用户，您需要确保其他广告或服务采用与相应Google 广告或搜索框不同的布局和颜色，您有责任确保这些广告不会与Google 广告混淆。

问题：可以使用IFRAME 方式投放广告么？
回答：可以，但是我们不建议这么做。为了获得最好的效果，我们建议您不要通过IFRAME 展示广告，而将广告代码直接置入内容网页的源代码中。如果您还是决定用IFRAME 展示广告，请注意，您只能用IFRAME 展示一个广告单元，并且不得对广告定位进行任何干扰。

问题：可以通过JavaScript 调用广告代码么？
回答：可以。我们允许将AdSense 广告代码置入.js 档案，不过请不要因任何原因修改代码或手动影响广告的定位。

2：查看具体的搜索引擎机器人爬行纪录请访问程序中涉及的txt文档，大家可以自行修改路径。该文档内容包括蜘蛛爬行日期、时间、蜘蛛名称和网址。

function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}

if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}

if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}

if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}

if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}

if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}

if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}

function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}

$searchbot = get_naps_bot();

if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}

访问记录实例：Time:2009-09-10.23:56:25 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.0:43:19 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.1:55:45 robot:Baiduspider URL:Baiduspider+(+http://www.baidu.com/search/spider.htm)Time:2009-09-11.3:03:40 robot:Yahoobot URL:Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)Time:2009-09-11.4:49:59 robot:Googlebot URL:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Time:2009-09-11.7:25:21 robot:Yahoobot URL:Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)Time:2009-09-11.9:15:57 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.9:24:23 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.9:40:00 robot:Baiduspider URL:Baiduspider+(+http://www.baidu.com/search/spider.htm)Time:2009-09-11.10:56:46 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.11:47:17 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.11:52:19 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.11:56:56 robot:Googlebot URL:Googlebot/2.1+(+http://www.google.com/bot.html)Time:2009-09-11.12:59:23 robot:Baiduspider URL:Baiduspider+(+http://www.baidu.com/search/spider.htm)Time:2009-09-11.14:28:18 robot:Baiduspider URL:Baiduspider+(+http://www.baidu.com/search/spider.htm)Time:2009-09-11.14:43:39 robot:Baiduspider URL:Baiduspider+(+http://www.baidu.com/search/spider.htm)

使用举例：
<ul>
{dede:arclist row=20 titlelen=80 orderby=pubdate}
<li [field:global name=autoindex function='MyList("20","2",@me,"class=\"color\"")'/]>[field:textlink/]</li>
[field:global name=autoindex function='MyList("20","5",@me,"<li class=\"line\"></li>")'/]
{/dede:arclist}
</ul>

上面例子中包含了2个用法：
[field:global name=autoindex function='MyList("20","2",@me,"class=\"color\"")'/]
和
[field:global name=autoindex function='MyList("20","5",@me,"<li class=\"line\"></li>")'/]

第一个，如果你定义了相关css，就是隔行变色
第二个，如果你定义了相关css，就是隔5行加一横线，20个列表加3个线不是4个，最后一个不加
想最后也加去掉 && $meid < $f 即可。

官方原帖：http://bbs.dedecms.com/read.php?tid=21811&fpage=2

添加百度搜索框具体方法如下：

• 菜单:工具-遨游设置中心；
• 然后从左侧选择搜索点击“添加项目”；
• 标题填写百度，别名填写*，网址填写；
• http://www.baidu.com/s?tn=baidusite&ie=gb2312&bs=%E5%DB%D3%CE+%B0%D9%B6%C8%CB%D1%CB%F7&sr=&z=&cl=3&f=8&wd=%s&ct=0

搜狗的地址如下：

• http://www.sogou.com/web?query=%s&_asf=www.sogou.com&_ast=1251261467&w=01019900&p=40040100

雅虎的地址如下：

• http://search.cn.yahoo.com/s?p=%s&v=web&pid=ysearch

PS：用了看PR方便，一直都用谷歌搜索框(Google Toolers)，谷歌的搜索框用着真的很爽，很绿色，又跟遨游相处很好，至少没有因为谷歌搜索条而假死的现象。此文方法纯粹是为了解决遨游安装了百度搜索框插件时候假死的方法。