輕松看懂WEB日志格式
WEB日志是網(wǎng)站分析和網(wǎng)站數(shù)據(jù)倉庫的數(shù)據(jù)最基礎(chǔ)來源，了解其格式和組成將有利于更好地進(jìn)行數(shù)據(jù)的收集、處理和分析。
1、日志格式類型
目前常見的WEB日志格式主要由兩類，一類是Apache的NCSA日志格式，另一類是IIS的W3C日志格式。NCSA格式又分為NCSA普通日志格式(CLF)和NCSA擴(kuò)展日志格式(ECLF)兩類，目前最常用的是NCSA擴(kuò)展日志格式(ECLF)及基于自定義類型的Apache日志格式;而W3C擴(kuò)展日志格式(ExLF)具備了更為豐富的輸出信息，但目前的應(yīng)用并不廣泛，所以這里主要介紹的是NCSA擴(kuò)展日志格式(ECLF)。
2、常見日志格式的組成
這是一個(gè)最常見的基于NCSA擴(kuò)展日志格式(ECLF)的Apache日志樣例：
58.61.164.141 – – [22/Feb/2010:09:51:46 +0800] “GET /reference-and-source/weblog-format/ HTTP/1.1″ 206 6326 ” http://www.google.cn/search?q=webdataanalysis” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”
可以看到這個(gè)日志主要由以下幾個(gè)部分組成：
訪問主機(jī)(remotehost)
顯示主機(jī)的IP地址或者已解析的域名。
標(biāo)識(shí)符(Ident)
由identd或直接由瀏覽器返回瀏覽者的EMAIL或其他唯一標(biāo)示，因?yàn)樯婕坝脩羿]箱等隱私信息，目前幾乎所有的瀏覽器就取消了這項(xiàng)功能。
授權(quán)用戶(authuser)
用于記錄瀏覽者進(jìn)行身份驗(yàn)證時(shí)提供的名字，如果需要身份驗(yàn)證或者訪問密碼保護(hù)的信息則這項(xiàng)不為空，但目前大多數(shù)網(wǎng)站的日志這項(xiàng)也都是為空的。
日期時(shí)間(date)
一般的格式形如[22/Feb/2010:09:51:46 +0800]，即[日期/月份/年份:小時(shí):分鐘:秒鐘 時(shí)區(qū)]，占用的的字符位數(shù)也基本固定。
請求(request)
即在網(wǎng)站上通過何種方式獲取了哪些信息，也是日志中較為重要的一項(xiàng)，主要包括以下三個(gè)部分：
請求類型(METHOD)
常見的請求類型主要包括GET/POST/HEAD這三種;
請求資源(RESOURCE)
顯示的是相應(yīng)資源的URL，可以是某個(gè)網(wǎng)頁的地址，也可以是網(wǎng)頁上調(diào)用的圖片、動(dòng)畫、CSS等資源;
協(xié)議版本號(PROTOCOL)
顯示協(xié)議及版本信息，通常是HTTP/1.1或HTTP/1.0。
狀態(tài)碼(status)
用于表示服務(wù)器的響應(yīng)狀態(tài)，通常1xx的狀態(tài)碼表示繼續(xù)消息;2xx表示請求成功;3xx表示請求的重定向;4xx表示客戶端錯(cuò)誤;5xx表示服務(wù)器錯(cuò)誤。
傳輸字節(jié)數(shù)(bytes)
即該次請求中一共傳輸?shù)淖止?jié)數(shù)。
來源頁面(referrer)
用于表示瀏覽者在訪問該頁面之前所瀏覽的頁面，只有從上一頁面鏈接過來的請求才會(huì)有該項(xiàng)輸出，如果是新開的頁面則該項(xiàng)為空。上例中來源頁面是google，即用戶從google搜索的結(jié)果中點(diǎn)擊進(jìn)入。
用戶代理(agent)
用于顯示用戶的詳細(xì)信息，包括IP、OS、Bowser等。
3、日志格式擴(kuò)展
apache日志格式可以自定義來配置其輸出格式，常見的基于NCSA擴(kuò)展日志格式(ECLF)自定義添加的包括域名(domain)和cookie。其中域名在一個(gè)網(wǎng)站擁有二級域名或者子域名時(shí)，可以更好地區(qū)分日志;而cookie可以作為用戶的身份標(biāo)識(shí)。