# Surglasses 官網 —— 搜尋引擎爬取規則 # # 這個檔案必須放在網站最外層(www.surglasses.com/robots.txt)才有效。 # 搜尋引擎不會去讀 /en/robots.txt,所以它刻意不在 en/ 裡面。 # # 「允許全部」是這個網站要的:24 個頁面都是對外的行銷內容, # 沒有任何需要藏起來的區域。下面擋掉的只有「不是給訪客看的東西」。 User-agent: * Allow: / # 員工用的後台。擋掉不是為了安全(它們本來就要密碼,而且 # .htaccess 也擋掉了函式庫檔案)—— 是為了不要讓登入畫面 # 出現在搜尋結果裡,那對訪客毫無用處。 Disallow: /news-admin.php Disallow: /events-admin.php # 聯絡表單的收件程式。它只接受 POST,爬蟲抓到只會得到 405。 Disallow: /contact-form.php # 新聞與展會的初始資料。.htaccess 已經擋掉用網址讀取 .json, # 這裡再寫一次,讓爬蟲連試都不用試。 Disallow: /content/ # 網站地圖。由 tools/build-release.py 自動產生,列出所有公開頁面。 Sitemap: https://www.surglasses.com/sitemap.xml