crawl-option
クロール全体に適用される構成オプション。
属性
- name (以下のいずれか: disable-url-normalization [ブール デフォルト: false]、max-running-time [整数 デフォルト: -1]、idle-running-time [整数 デフォルト: 0]、read-only-running-time [整数 デフォルト: 0]、link-analysis-period [整数 デフォルト: 3600]、n-fetch-threads [整数 デフォルト: 50]、n-link-extractor [デフォルト: 2 1]、n-exec-worker [整数 デフォルト: 1]、link-extractor-queue-size [整数 デフォルト: 10]、n-input-queue [整数 デフォルト: 10000]、n-dns-queue [整数 デフォルト: 10]、n-delay-queue [整数 デフォルト: 10]、n-per-delay-queue [整数 デフォルト: 10]、n-fetch-queue [整数 デフォルト: 10]、n-output-queue [整数 デフォルト: 2]、n-indexer-output-queue [整数 デフォルト: 2]、resume [整数 デフォルト: -1]、refresh [整数 デフォルト: -1]、full-merge [ブール デフォルト: false]、dns-cache-size [整数 デフォルト: 100000]、dns-keep-ms [整数 デフォルト: 43200000]、n-dns-workers [整数 デフォルト: 5]、url-list、status-period [整数 デフォルト: 0]、status-final、remove-cgi-parameters、add-cgi-string、throttle-kbs-in [10 進数 デフォルト: 0]、throttle-kbs-out [10 進数 デフォルト: 0]、max-urls [整数 デフォルト: -1]、max-input-urls [整数 デフォルト: -1]、cache-types [デフォルト: text/html text/plain text/xml application/vxml-unnormalized application/vxml]、rich-cache-types [デフォルト: ]、fetch-cache-dir、activity-feed [テキスト デフォルト: disabled]、final-period [整数 デフォルト: 30]、uncrawled-expires [整数 デフォルト: 0]、gen-deletes [ブール デフォルト: true]、test-it-mode [整数 デフォルト: 0]、transaction-size [整数 デフォルト: 1024]、transaction-memory [整数 デフォルト: 64]、page-size [整数 デフォルト: 4096]、cache-size [整数 デフォルト: 32]、synchronous [デフォルト: NORMAL]、auto-vacuum [デフォルト: OFF]、seedless、graph-rows [整数 デフォルト: 8192]、host-rows [整数 デフォルト: 1024]、state-rows [整数 デフォルト: 4096]、urls-rows [整数 デフォルト: 1024]、inputs-rows [整数 デフォルト: 1024]、crawled-rows [整数 デフォルト: 1024]、authority-rows [整数 デフォルト: 1024]、status-rows [整数 デフォルト: 512]、events-rows [整数 デフォルト: 128]、deletes-rows [整数 デフォルト: 1024]、disable-resume [ブール デフォルト: false]、fast-resume [デフォルト: ON]、fast-stop [デフォルト: ON]、disable-indexes [デフォルト: disable-index-sorting disable-url-index disable-error-state-index disable-crawl-time-index]、recrawl-errors [ブール デフォルト: false]、startup-timeout [整数 デフォルト: 30]、remote-priorities、remote-listener-port [整数 デフォルト: -1]、remote-servers、remote-rebase-server、remote-force-rebase [ブール デフォルト: false]、remote-clients、remote-requested、remote-served、remote-name、remote-ignore-seeds [ブール デフォルト: false]、remote-serve-self [ブール デフォルト: false]、remote-range [整数 デフォルト: 1]、remote-debug-level [整数 デフォルト: 0]、remote-debug-file [テキスト デフォルト: null-default]、remote-timeout [整数 デフォルト: 120]、remote-exclusive [ブール デフォルト: true]、remote-reconnect-sleep [整数 デフォルト: 5]、java-parser-initial-heap [整数 デフォルト: 0]、java-parser-max-heap [整数 デフォルト: 0]、enable-link-analysis [ブール デフォルト: false]、thread-debug-file、crawl-strategy [デフォルト: BFS]、disable-exact-duplicates [ブール デフォルト: false]、disable-duplicates [ブール デフォルト: false]、disable-stats [デフォルト: none]、delete-reusable [ブール デフォルト: false]、fast-vertex-reuse [ブール デフォルト: false]、light-crawler-delete-mode [ブール デフォルト: false]、exact-duplicates-hash-size [整数 デフォルト: 2097023]、duplicates-hash-size [整数 デフォルト: 2097023]、enqueue-offline-queue [ブール デフォルト: false]、offline-buffered-resume [ブール デフォルト: false]、offline-batch-size [整数 デフォルト: 1000]、audit-log [テキスト デフォルト: none]、audit-log-detail [テキスト デフォルト: full]、audit-log-when [テキスト デフォルト: finished]、atomic-vse-key-delete-mode [ブール デフォルト: true]、pipeline-statistics [ブール デフォルト: false]、pipeline-sample [整数 デフォルト: 0]、profile-dump [整数 デフォルト: 0]、enqueue-high-water [整数 デフォルト: 20000]、enqueue-low-water [整数 デフォルト: 10000]、uses-form-auth [ブール デフォルト: false]、cookie-jar [ブール デフォルト: false] 内部値: output-dir)
- value (テキスト)