[Symplus Wiki]
web
web
| Page | Description | Tags |
|---|---|---|
| robots.txt | ここで言うrobotとは、Web上の情報を自動的に読み込むプログラムのことです。「クローラー」や「スパイダー」と呼ばれることもあります。これらのプログラムはhypertext構造を解析して、そこから参照しているページを機械的にたどっていきます。… | apache, web, 管理 |
| robots.txt for crawlers in the DokuWiki | If your DokuWiki is configured to change URLs using .htaccess, the following URL http://www.yourdomain.net/robots.txt will be changed to like this. http:… | DokuWiki, Web |
Except where otherwise noted, content of this page (inside border) is licensed under the following license:CC Attribution-Noncommercial-Share Alike 3.0 Unported