PHP使用PDO从mysql读取大量数据处理详解

 更新时间:2018年03月22日 08:38:18   作者:Object  
这篇文章主要给大家介绍了关于PHP使用PDO从mysql读取大量数据处理的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

GPT4.0+Midjourney绘画+国内大模型 会员永久免费使用!
如果你想靠AI翻身,你先需要一个靠谱的工具!

前言

本文主要介绍了关于PHP利用PDO从mysql读取大量数据处理的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。

环境

  • mysql: 5.6.34
  • php: 5.6
  • nginx: php-fpm

适用场景

需要处理一定数据集业务

  • 从mysql读取一定数据的业务导出
  • 一次需要处理一定的mysql业务操作更新删除等
  • 更多需要处理一定数据集的操作

pdo 关键设置

1
2
3
4
5
6
$dbh = new \PDO($dsn, $user, $pass);
# 关键设置,如果不设置,php依旧会从pdo一次取出数据到php
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare里的游标属性不是必须的
$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$sth->execute();

生成器

生成器,迭代数据操作

本生成器可省略

尝试代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
class Test {
 public function test()
 {
  set_time_limit(0);
  $dbms='mysql'//数据库类型
  $host=C('DB_HOST'); //数据库主机名
  $dbName=C('DB_NAME'); //使用的数据库
  $user=C('DB_USER');  //数据库连接用户名
  $pass=C('DB_PWD');   //对应的密码
  $dsn="$dbms:host=$host;dbname=$dbName";
  $dbh = new \PDO($dsn, $user, $pass);
  $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
  $sth = $dbh->prepare("SELECT * FROM `order`");
  $sth->execute();
  $i = 0;
 
  $newLine = PHP_SAPI == 'cli' ? "\n" : '<br />';
 
  foreach ($this->cursor($sth) as $row) {
//   var_dump($row);
   echo $row['id'] . $newLine;
   $i++;
  }
 
  echo "消耗内存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;
  echo "处理数据行数:" . $i . $newLine;
  echo "success";
 }
 
 public function cursor($sth)
 {
  while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {
   yield $row;
  }
 }
}
 
$test = new Test();
$test->test();

输出

1
2
3
4
5
6
1
... //省略部分id
804288
消耗内存:"0.34918212890625M
处理数据行数:254062
success

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

蓄力AI

微信公众号搜索 “ 脚本之家 ” ,选择关注

程序猿的那些事、送书等活动等着你

原文链接:https://segmentfault.com/a/1190000013749164

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!

相关文章

  • PHP 用数组降低程序的时间复杂度

    PHP 用数组降低程序的时间复杂度

    时间复杂度是开发人员用来衡量应用程序算法优劣的主要因素。客观地说,算法的优劣除了和时间复杂度有关,还与空间复杂度密切相关。
    2009-12-12
  • PHP支持多种格式图片上传(支持jpg、png、gif)

    PHP支持多种格式图片上传(支持jpg、png、gif)

    简单地写了一个PHP的图片上传,可以支持jpg、png、gif等格式的图片,如果你想支持更多的格式,比如bmp,可以自己扩充。不是面向对象的,在这里简单记录下,以便以后取用
    2011-11-11
  • php查询mysql数据库并将结果保存到数组的方法

    php查询mysql数据库并将结果保存到数组的方法

    这篇文章主要介绍了php查询mysql数据库并将结果保存到数组的方法,实例分析了php使用mysql_fetch_assoc查询数据库的技巧,需要的朋友可以参考下
    2015-03-03
  • 一个PHP二维数组排序的函数分享

    一个PHP二维数组排序的函数分享

    二维数组在PHP开发中经常遇到,但是他的排序就不如一维数组那样用内置函数来的方便了,下面为大家详细介绍下
    2014-01-01
  • PHP设计模式之模板方法模式定义与用法详解

    PHP设计模式之模板方法模式定义与用法详解

    这篇文章主要介绍了PHP设计模式之模板方法模式,结合实例形式详细分析了php设计模式中模板方法模式的概念、原理、定义、用法及相关注意事项,需要的朋友可以参考下
    2018-04-04
  • Apache连接PHP后无法启动问题解决思路

    Apache连接PHP后无法启动问题解决思路

    这篇文章主要介绍了Apache连接PHP后无法启动问题解决思路及解决方案,简单实用,有需要的小伙伴可以参考下。
    2015-06-06
  • php页面缓存方法小结

    php页面缓存方法小结

    这篇文章主要介绍了php页面缓存方法,实例总结了常用的页面缓存函数的用法,并给出了一个完整的缓存实例,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • php如何使用3des加解密及hmacsha256加密

    php如何使用3des加解密及hmacsha256加密

    因为工作中要用到加密,接口中要求也是用密文传输数据,用到3des加密,就研究了一下,下面这篇文章主要给大家介绍了关于php如何使用3des加解密及hmacsha256加密的相关资料,需要的朋友可以参考下
    2022-09-09
  • PHP similar_text 字符串的相似性比较函数

    PHP similar_text 字符串的相似性比较函数

    PHP寻找两个字符串的相似性的similar_text ()函数使用方法
    2010-05-05
  • PHP基于CURL发送JSON格式字符串的方法示例

    PHP基于CURL发送JSON格式字符串的方法示例

    这篇文章主要介绍了PHP基于CURL发送JSON格式字符串的方法,结合实例形式分析了php使用curl发送json格式字符串的相关属性设置及数据接收等操作技巧,需要的朋友可以参考下
    2018-03-03

最新评论