[HOME] → [通信]

検索エンジンのロボットのやってくる頻度順

ウェブサーバの統計 Mozilla互換以外からのアクセス このアクセスログのデータを元に検索エンジンを並べてあります。頻繁にやってくる検索エンジンほどデータが新しかったり収録数が多かったりするはずです。

ロボットのアクセス数 2000/7/16 ブラウザ 検索エンジン LogのHTTP/ データベースのHTTP/
75681 moget/1.0 もぎたてgoo 1.1 1.0
30956 Lycos_Spider_(T-Rex) Lycos    
26192 NEC-MeshExplorer Netplaza    
23240 ArchitextSpider Excite    
16640 Slurp.so/1.0

inktomi

   
15797 Gulliver/1.3

Northern Light

   
5446 Gulliver/1.2    
13802 suke/1.0 () Ringring    
7206 suke/0.3    
12692 InfoSeek Sidewinder/0.9 Infoseek    
12617 griffon/1.0 OCN navi    
4885 nttdirectory_robot/0.9    
12044 Slurp/2.0 goo    
11903 Openfind Robot/1.1A2

Openfind

   
7555 Scooter/2.0 G.R.A.B. V1.1.0 AltaVista    
4084 Mercator-1.0    
6844 FAST-WebCrawler/2.0.9

Fast Search

   
6756 InfoNaviRobot(F104) InfoNavigator    
6237 ia_archiver

Alexa

   
5289 Jerky/5.04 Java/1.2.2 () ODIN    
5089 indexpert/1.6 FreshEye    
3786 Googlebot/2.0 beta

Google

   
         

メタ検索エンジン

DatawareIIナレッジマネジメントスイートナレッジクエリーサーバ 体験ページ (http://kms.iws.ne.jp/qserver/general.html)

検索エンジン以外のロボット

    その他    
65702 Webrobot ダイレクトインターネット衛星を使ったWebcacheダイレクトインターネット (http://www.directint.co.jp/Japanese/index.htm) 1.1  
9498 WWWC/0.93 (Win32; ) Windows用のフリーウェアhttp://www.kinet.or.jp/naka/tomo/    
9101 WWWC/1.00    
8015 Webpush デスクトップサーチクライアント    
6000 Wget/1.5.3 GNUのダウンロードユーティリティ    
5310 gazz/1.0 研究目的http://gazz.nttrd.com/    
4769 WebFetch Windows用のブラウザ先読みツール    
3867 OpenTextSiteCrawler/2.9.2      
Database of Web Robots, Overview 自分で調べなくてもここにありました。
http://www.microvision.co.jp/chkrobot.html リンクを張るなと書いてありますが、これもロボットを集めたページです。TAO'S Home Page

このサイトに辿り着くのに使われることが多い検索エンジンへのリンク

このページは昔作ったものなので、最近の状況は少し異なっています。検索エンジン経由のアクセスは、gooの順位が下がって、netplazaがトップになっています。(2000/5/17)

最近はアクセスログの統計を載せていません。
はてな

2003/8/26追記

検索エンジンの性能

pag1-unet.ocn.ne.jpをキーワードに何件ヒットするか
ロボット型検索エンジン総合評価結果
goo関連の話題
検索エンジンの評価方法について

検索エンジンのトップページについて、検索エンジンは視聴率の高いページの代表なのでそれを分析して参考にしようとしていました。とりあえず、リンク数、ファイルサイズを載せていたのですが古くなるので消しました。

このサイトのその他の関連ページ

1999さきがけ21落選企画書 MindSearchというソフトが出ていました。文単位の検索というアイデアは、以前さきがけの応募書類に書いたのと共通しています。(2000/2/27)
有名サイトのリンク集
検索エンジンで上位に表示される方法は? という質問をメールで受けたのでページを作ります。

外部リンク

Noun.dic (http://nova.cyber.sccs.chukyo-u.ac.jp/nlp/chasen/dic/Noun.dic)  大きなファイルなのですが辞書が置いてありました。何かの役に立つかも。

2004/01/31更新

通信ディレクトリ目次

Google
Web www.PAG1U.net

関連ディレクトリ

発明

個人情報

PC

関連サイト

matsuokahajimeのアンテナ

matsuokahajimeの日記

乱雑な本棚:反グローパリズム

 

 
 
 
 
 
 
 
 
 
 
seo

外部リンク

毎日新聞問題の情報集積wiki - この問題をとりあげたメディア(時系列順) 東京のキー局はそろって沈黙

 

HOME ネットワークディレクトリ (C)松岡肇