SimilarjobBotについて

本サービスが運用するボット(SimilarjobBot)の識別方法・取得方針と、収集対象サイトの規約および関係法令への配慮について説明します。

SimilarjobBotは、利用者が貼り付けた求人URLと運営者が投入した収録対象URLのみを単発で取得するボットです。一覧ページの巡回・サイトマップ走査・全量収集は行いません。 また、掲載内容の確認のため、週1回・表示実績のある求人URLを対象にHEADリクエストによる生存確認を行うことがあります。

User-Agent

SimilarjobBot (+https://similarjob.com/bot)

User-Agentにはボット名と連絡先URL(本ページ)を明示しています。robots.txtが取得できない・403等で応答された場合は、 安全性を優先して当該ドメインからの収集を自動的に停止します。

取得方針

  • robots.txtを取得・遵守します(RFC 9309準拠の評価・Crawl-delayの指定があればそちらを優先)。Disallowのパスは取得しません
  • 同一ドメインへの取得は同時1件・最低3秒間隔
  • 1回の取得は15秒でタイムアウト・最大2MBまで
  • robots.txt自体は24時間キャッシュし、毎日再取得して改定に追従します

規約・法令への配慮

SimilarjobBotは巡回型のクローラーではなく、収録元サイトへ利用者を送客することを目的とした単発取得ボットです。 取得と表示の仕組みは、収集対象サイトの利用規約および関係法令への配慮を設計要件として運用しています。

  • サーバーに負荷をかけない設計です: 取得は指定されたURL1件のみ。同一ドメインへの同時接続は1件・最低3秒間隔で、 巡回や一括収集は行わず、認証・会員限定の領域も取得対象外です
  • 求人本文の全文を保存しません: 保存するのは職種・勤務地・時給等の事実情報と本サービスが生成した要約のみです。 取得した本文は解析のため一時保存(72時間)した後、自動消滅します。表示は求人本文の転載・複製ではなく、事実情報と自社要約にとどめます
  • 必ず出典を示して収録元サイトへ送客します: 求人カードには収録元サイトへの原文リンクを表示し、 応募は収録元サイト経由で行われます。本サービス自身は求人・求職の申込みを受理せず、あっせんも行わない構成です
  • 求人を公開ページとして蓄積しません: 求人の検索結果・分析画面は検索エンジンにインデックスされない構成(noindex)で、 静的な求人一覧ページは作りません
  • 掲載中止のご依頼に即時対応します: 削除依頼・お問い合わせで受け付け、 営業日以内に該当求人の表示を停止します(対応記録はログに残します)

お問い合わせ

ボットの動作についてのご連絡・掲載中止のご依頼は 削除依頼・お問い合わせ までお願いします。 User-Agent内のURLは本ページ(連絡先URL)を指しています。