用Javascript 判斷訪客為爬蟲還是使用者

場地王正從完全資料開放轉向免費對會員開放，
以增加會員數和網站上的會員動態資料
但首先便是要兼顧各家爬蟲能夠進來找資料，index網頁，帶來搜尋引擎的流量

找了一下資料
作法大致如下

用javascript判斷browser.userAgent的型態，可參考
http://www.w3schools.com/js/tryit.asp?filename=tryjs_browserdetails

另外各家搜尋引擎爬蟲註冊的名稱可以參考
http://www.user-agents.org/index.shtml
http://www.smart-it-consulting.com/internet/google/googlebot-spoofer/
http://www.mrsneeze.com/httplogs/useragents.html