2018-03-19 11:47:34  浏览:547

xunsearch php

经过测试600万数据,越是执行到后面,查询速度越慢,我执行了5天才构造完成,通过后台查询得知,

mysql查询数据,当OFFSET 很大的时候,查询数据会非常慢,每次查询会消耗大量的IO,数据库会根据索引,依次排除前面的2000000条数据,最后得到1000条。

例如:select id,title,content from article limit 1000 offset 2000000 返回数据几十秒

所以,导入速度越来越慢的根本原因是查询数据。

如果把上面的sql改成:select id,title,content from article where id>100000 order by id asc limit 1000 offset 0,

执行速度每次都很快,经过测试,600万数据,15分钟就导入完成。

修改办法:修改util\XSDataSource.class.php 的

一、修改XSDataSource类

1.增加全局变量$previd

 protected $inCli;
 private $dataList, $dataPos;
protected $previd=0;//上次执行得到的最大id

2.修改getData方法,把最后一条数据的id赋值给$previd

final public function getData()
    {
        if ($this->dataPos === null || $this->dataPos === count($this->dataList)) {
            $this->dataPos = 0;
            $this->dataList = $this->getDataList();
            if (!is_array($this->dataList) || count($this->dataList) === 0) {
                $this->deinit();
                $this->dataList = $this->dataPos = null;
                return false;
            }
        }
        $data = $this->dataList[$this->dataPos];
        $this->dataPos++;
        $this->previd=$data["id"];//循环赋值,最后剩下的肯定最大
        return $data;
    }

二、XSDatabaseDataSource类

1. 修改getDataList方法

if ($this->limit <= 0) {
            return false;
        }
        $wheresql=" where id > ".$this->previd." order by id asc";
        //判断是否存在where
        if(stripos($this->sql, "where") >0){
            $wheresql=" and id > ".$this->previd." order by id asc";
        }

        $sql = $this->sql .$wheresql. ' LIMIT ' . min(self::PLIMIT, $this->limit) . ' OFFSET ' . $this->offset;
//构造出来的sql语句:select id,title,content from article where id>100000 order by id asc limit 1000 offset 0,
        $this->limit -= self::PLIMIT;
        //$this->offset += self::PLIMIT;//隐藏此处,offset便不会自增长
        return $this->db->query($sql);

下载地址:点击下载

返回首页