題外知識:
有關(guān)HTTP頭完整、詳細的說明,請參見 http://www.w3.org/Protocols/ 的HTTP規(guī)范。
1. RequestHeader分析:
Accept:瀏覽器可接受的MIME類型。
Accept-Charset:瀏覽器可接受的字符集。
Accept-Encoding:瀏覽器能夠進行解碼的數(shù)據(jù)編碼方式,比如gzip。Servlet能夠向支持gzip的瀏覽器返回經(jīng)gzip編碼的HTML頁面。許多情形下這可以減少5到10倍的下載時間。
Accept-Language:瀏覽器所希望的語言種類,當服務(wù)器能夠提供一種以上的語言版本時要用到。 Authorization:授權(quán)信息,通常出現(xiàn)在對服務(wù)器發(fā)送的WWW-Authenticate頭的應(yīng)答中。
Connection:表示是否需要持久連接。如果Servlet看到這里的值為“Keep-Alive”,或者看到請求使用的是HTTP 1.1(HTTP 1.1默認進行持久連接),它就可以利用持久連接的優(yōu)點,當頁面包含多個元素時(例如Applet,圖片),顯著地減少下載所需要的時間。要實現(xiàn)這一點,Servlet需要在應(yīng)答中發(fā)送一個Content-Length頭,最簡單的實現(xiàn)方法是:先把內(nèi)容寫入ByteArrayOutputStream,然后在正式寫出內(nèi)容之前計算它的大小。
Content-Length:表示請求消息正文的長度。
Cookie:這是最重要的請求頭信息之一
from:請求發(fā)送者的email地址,由一些特殊的Web客戶程序使用,瀏覽器不會用到它。
Host:初始URL中的主機和端口。
If-Modified-Since:只有當所請求的內(nèi)容在指定的日期之后又經(jīng)過修改才返回它,否則返回304“Not Modified”應(yīng)答。
Pragma:指定“no-cache”值表示服務(wù)器必須返回一個刷新后的文檔,即使它是代理服務(wù)器而且已經(jīng)有了頁面的本地拷貝。
Referer:包含一個URL,用戶從該URL代表的頁面出發(fā)訪問當前請求的頁面。
User-Agent:瀏覽器類型,如果Servlet返回的內(nèi)容與瀏覽器類型有關(guān)則該值非常有用。
UA-Pixels,UA-Color,UA-OS,UA-CPU:由某些版本的IE瀏覽器所發(fā)送的非標準的請求頭,表示屏幕大小、顏色深度、操作系統(tǒng)和CPU類型。
每個標頭獨占一行, 最后必須要有一個空行。有關(guān)HTTP頭完整、詳細的說明,請參見http://www.w3.org/Protocols/的HTTP規(guī)范。
2.webclient保持session和cookie的方法
https://www.cnblogs.com/anjou/archive/2008/05/25/1206832.html
有些朋友說 WebClient 不能保持 Session 和 Cookie,只有 HttpWebRequest 才能保持 Session。實際上我們只要重寫 WebClient 的 GetWebRequest 方法就可以使 WebClient 保持 Session 和 Cookie。
下面是 HttpClient 類, 它繼承自 WebClient,并重寫了 GetWebRequest 方法。關(guān)鍵是要定義一個 Cookie 容器(紅色代碼部分):
-
-
-
-
public class HttpClient : WebClient
-
-
-
private CookieContainer cookieContainer;
-
-
-
-
-
-
-
this.cookieContainer = new CookieContainer();
-
-
-
-
-
-
-
public HttpClient(CookieContainer cookies)
-
-
this.cookieContainer = cookies;
-
-
-
-
-
-
public CookieContainer Cookies
-
-
get { return this.cookieContainer; }
-
set { this.cookieContainer = value; }
-
-
-
-
-
-
-
-
protected override WebRequest GetWebRequest(Uri address)
-
-
WebRequest request = base.GetWebRequest(address);
-
if (request is HttpWebRequest)
-
-
HttpWebRequest httpRequest = request as HttpWebRequest;
-
httpRequest.CookieContainer = cookieContainer;
-
-
-
-
-
#region 封裝了PostData, GetSrc 和 GetFile 方法
-
-
-
-
-
-
-
-
-
public string PostData(string uriString, string postString, string postStringEncoding, string dataEncoding, out string msg)
-
-
-
-
-
byte[] postData = Encoding.GetEncoding(postStringEncoding).GetBytes(postString);
-
this.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
-
-
byte[] responseData = this.UploadData(uriString, "POST", postData);
-
-
string srcString = Encoding.GetEncoding(dataEncoding).GetString(responseData);
-
srcString = srcString.Replace("\t", "");
-
srcString = srcString.Replace("\r", "");
-
srcString = srcString.Replace("\n", "");
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
public string GetSrc(string uriString, string dataEncoding, out string msg)
-
-
-
-
-
byte[] responseData = this.DownloadData(uriString);
-
-
string srcString = Encoding.GetEncoding(dataEncoding).GetString(responseData);
-
srcString = srcString.Replace("\t", "");
-
srcString = srcString.Replace("\r", "");
-
srcString = srcString.Replace("\n", "");
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
public bool GetFile(string urlString, string fileName, out string msg)
-
-
-
-
this.DownloadFile(urlString, fileName);
-
-
-
-
-
-
-
-
-
-
-