java爬虫之使用HttpClient模拟浏览器发送请求方法详解
作者:艾福
这篇文章主要介绍了java爬虫之使用HttpClient模拟浏览器发送请求方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
0. 摘要
0.1 添加依赖
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
0.2 代码
//1. 打开浏览器 创建httpclient对象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 输入网址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 发送请求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 响应结果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析结果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result);
1. 实操
1.1 添加依赖
1.1.1 找到 pom.xml 添加依赖
1.1.2 依赖代码
<dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.2</version> </dependency>
1.2 添加 TestHttpClient 类
1.2.1 创建类文件 com.aifu.TestHttpClient
1.2.2 添加代码
public static void main(String[] args) throws IOException { //1. 打开浏览器 创建httpclient对象 CloseableHttpClient httpClient = HttpClients.createDefault(); //2. 输入网址 HttpGet httpGet = new HttpGet("http://www.baidu.com"); //3. 发送请求 CloseableHttpResponse httpResponse = httpClient.execute(httpGet); //4. 响应结果 HttpEntity httpEntity = httpResponse.getEntity(); //5. 解析结果 String result = EntityUtils.toString(httpEntity, "utf-8"); System.out.println(result); }
1.3 运行
1.3.1 点击绿标运行 或者快捷键 ctrl + alt +F10
到此这篇关于java爬虫之使用HttpClient模拟浏览器发送请求方法详解的文章就介绍到这了,更多相关java爬虫HttpClient模拟浏览器发送请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
您可能感兴趣的文章:
- java 11新特性HttpClient主要组件及发送请求示例详解
- Java通过httpclient比较重定向和请求转发
- Java HttpClient执行请求时配置cookie流程详细讲解
- Java HttpClient-Restful工具各种请求高度封装提炼及总结
- java中httpclient封装post请求和get的请求实例
- java发送form-data请求实现文件上传的示例代码
- Java请求调用参数格式为form-data类型的接口代码示例
- Java后台接收数据的三种方式(url、form-data与application/json)
- Java httpclient请求form-data格式并设置boundary代码实现方法