java爬虫之使用HttpClient模拟浏览器发送请求方法详解
作者：艾福
这篇文章主要介绍了java爬虫之使用HttpClient模拟浏览器发送请求方法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
0. 摘要
0.1 添加依赖
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
0.2 代码
//1. 打开浏览器 创建httpclient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 输入网址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 发送请求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 响应结果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析结果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);
1. 实操
1.1 添加依赖
1.1.1 找到 pom.xml 添加依赖
1.1.2 依赖代码
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
1.2 添加 TestHttpClient 类
1.2.1 创建类文件 com.aifu.TestHttpClient
1.2.2 添加代码
public static void main(String[] args) throws IOException {
//1. 打开浏览器 创建httpclient对象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 输入网址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 发送请求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 响应结果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析结果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);
}
1.3 运行
1.3.1 点击绿标运行 或者快捷键 ctrl + alt +F10
到此这篇关于java爬虫之使用HttpClient模拟浏览器发送请求方法详解的文章就介绍到这了,更多相关java爬虫HttpClient模拟浏览器发送请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！