大数据分库和分表 php解决方案

导读：　　　当Mysql数据量过大时，就会面临压力分解，这时分库分表是一个不错的解决方案，现在我们就来谈谈Mysql如何分库分表比较理想，然后再用ph ...

　　当Mysql数据量过大时，就会面临压力分解，这时分库分表是一个不错的解决方案，现在我们就来谈谈Mysql如何分库分表比较理想，然后再用php如何调用。下面是中国招生考试网www.chinazhaokao.com  为大家整理的大数据分库和分表 php解决方案，供大家参考。

　　大数据分库和分表 php解决方案

　　1，主从复制，读写分离

　　对主库修改数据，查询使用从库。一主多从，来降低数据库读取压力。

　　2，分库分表

　　根据实体业务来分库，分表。如，根据数据的活跃性，根据用户uid等。

　　3，mysql 不同存储引擎区别

　　InnoDB 用于数据完整性/写性能要求比较高的应用. MyISAM 适合查询应用。

　　分表是分散数据库压力的好方法。

　　分表，最直白的意思，就是将一个表结构分为多个表，然后，可以再同一个库里，也可以放到不同的库。

　　当然，首先要知道什么情况下，才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。

　　1，分表的分类

　　1>纵向分表

　　将本来可以在同一个表的内容，人为划分为多个表。(所谓的本来，是指按照关系型数据库的第三范式要求，是应该在同一个表的。)

　　分表理由：根据数据的活跃度进行分离，(因为不同活跃的数据，处理方式是不同的)

　　案例：

　　对于一个博客系统，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。所以，在进行数据库结构设计的时候，就应该考虑分表，首先是纵向分表的处理。

　　这样纵向分表后：

　　首先存储引擎的使用不同，冷数据使用MyIsam 可以有更好的查询数据。活跃数据，可以使用Innodb ,可以有更好的更新速度。

　　其次，对冷数据进行更多的从库配置，因为更多的操作时查询，这样来加快查询速度。对热数据，可以相对有更多的主库的横向分表处理。

　　其实，对于一些特殊的活跃数据，也可以考虑使用memcache ,redis

　　之类的缓存，等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库，这里只是举例，就先不说这个。

　　2>横向分表

　　字面意思，就可以看出来，是把大的表结构，横向切割为同样结构的不同表，如，用户信息表，user_1,user_2 等。表结构是完全一样，但是，根据某些特定的规则来划分的表，如根据用户ID来取模划分。

　　分表理由：根据数据量的规模来划分，保证单表的容量不会太大，从而来保证单表的查询等处理能力。

　　案例：同上面的例子，博客系统。当博客的量达到很大时候，就应该采取横向分割来降低每个单表的压力，来提升性能。例如博客的冷数据表，假如分为100个表，当同时有100万个用户在浏览时，如果是单表的话，会进行100万次请求，而现在分表后，就可能是每个表进行1万个数据的请求(因为，不可能绝对的平均，只是假设)，这样压力就降低了很多很多。

　　1，背景：一个地址薄的应用程序，设计的用户量为2亿，统计出每个用户的地址薄为30个左右，整个数据量为60亿，使用mysql数据库(亿级数据库设计)

　　计划分为：1000个表，100个库

　　2，分库分表代码

　　private function getDbNo($email)

　　{

　　$m = md5($email);

　　$n = hexdec(substr($m, 0, 16));

　　$tableNo = fmod($n, 1000);

　　$dbNo = $tableNo % 100;

　　return array($dbNo, $tableNo);

　　}

　　3，配合的连接访问代码

　　require_once ‘Db/Config.php’;

　　class Db_Adapter

　　{

　　const MASTER = 0;

　　const SLAVE = 1;

　　private static $instances = array();

　　private $conf = array();

　　private $conns = array();

　　private $conn = NULL;

　　private $stmt = NULL;

　　public function __construct($conf)

　　{

　　$this->conf = $conf;

　　}

　　public function execute($sql, $params)

　　{

　　$cmd = substr(strtolower(trim($sql)), 0, 6);

　　if ($cmd == ‘select’) {

　　$conn = $this->getConn(self::SLAVE);

　　} else {

　　$conn = $this->getConn(self::MASTER);

　　}

　　$conn->prepare($sql);

　　$stmt = $conn->execute($params);

　　$this->conn = $conn;

　　$this->stmt = $stmt;

　　}

　　public function fetch()

　　{

　　return $this->stmt->fetch();

　　}

　　public function fetchAll()

　　{

　　return $this->stmt->fetchAll();

　　}

　　public function lastInsertId($name = NULL)

　　{

　　return $this->conn->lastInsertId($name);

　　}

　　public function rowCount()

　　{

　　return $this->stmt->rowCount();

　　}

　　private function getConn($type)

　　{

　　if ($type == self::SLAVE && isset($this->conf[self::SLAVE])) {

　　$id = 0;

　　} else {

　　$id = 1;

　　}

　　if (!isset($this->conns[$id])) {

　　$conf = $this->conf[$id];

　　$this->conns[$id] = new PDO(

　　$conf['dsn'], $conf['user'], $conf['pass'],

　　self::dbOptions);

　　}

　　return $this->conns[$id];

　　}

　　public static function getInstance($dbName, $dbNo = 0)

　　{

　　$key = $dbName . ‘_’ . $dbNo;

　　if (!isset(self::$instances[$key])) {

　　$conf = Db_Config::getConfig($dbName, $dbNo); //连接配置参数

　　self::$instances[$key] = new self($conf);

　　}

　　return self::$instances[$key];

　　}

　　}

　　4，潜在问题

　　如果某个表中的那些用户的地址薄联系人超多，如每个人1000个，则可能出现该表超大，需要把该表区分为子表，暂时没有配置中心来处理该情况。

　　(若真的出现该情况，在连接参数这个地方继续作一次hash)。

大数据分库和分表 php解决方案相关热词搜索：分表 分库 解决方案

1、员工绩效考核制度表(共5篇)公司员工绩效考核制度2013年LOL公司员工绩效考核制度策划：LOL公司人力资源部人事资源决策委员会组长：赵超 组员：李金融 和秀辉 张泽教马毅一、总则为了规范LOL公司对员工的考察与评价，特制定本制度。二、考核目的1、在公司造就一支业务精干的高素质的、高员工绩效考核制度表。(2016-06-01)

2、兰州市体育中考评分标准(共7篇)2016年兰州中考体育项目及评分标准（最新）中国招生考试网资讯 近日，兰州市教育局发布了《2016年兰州市中考体育考试方案》，2016年兰州中考体育考试项目为“3+2模式”，即3个必考项目+2个选考项目，足球仍为男女生必考项，具体的考试项目及评分标准如下：　　必考项目：男生包括引体向上、100兰州市体育中考评分标准。(2016-09-23)

3、服装行业已逐渐进入平缓增长时期，当订单量和利润受到挑战，做好企业内部的成本控制就显得尤为重要。 　　然而，服装企业的现状却往往是这样的： 服装企业成本控制解决方案 。(2015-12-05)

4、中国招生考试网www chinazhaokao com 小编精心为大家整理了【猕猴桃解决方案一】猕猴桃管理年历，希望对你有帮助。　【猕猴桃解决方案一】 【猕猴桃解决方案一】猕猴桃管理年历。(2016-03-28)

5、　下面是中国招生考试网www chinazhaokao com 小编为大家带来的运营餐厅这些事都有，解决方案，希望能帮助到大家!　运营餐厅这些事都有， 运营餐厅这些事都有，解决方案。(2016-04-06)

6、下面是中国招生考试网www chinazhaokao com 为大家整理的热压转印植绒常见问题及解决方案，供大家参考。　　热压转印植绒常见问题及解决方 热压转印植绒常见问题及解决方案。(2016-04-06)

7、　　吵架是人类的天性 每当吵起来的时候我们便总想着吵赢对方，这一下就会让双方变得不理智，最终谁也没得到啥 以下是中国招生考试网 夫妻情侣间吵架的万能解决方案。(2016-04-09)

8、　　理财对于很多人来讲并不陌生，但是很多人在理财中也会遇到很多问题，治病讲究对症下药，理财亦是如此，而且理财需要更加及时的治疗，才 5个理财常见问题解决方案。(2016-04-09)

9、中国招生考试网www chinazhaokao com 小编精心为大家整理了全球能源互联网为能源解决方案提供一个路径，希望对你有帮助。　　全球能源互联 全球能源互联网为能源解决方案提供一个路径。(2016-04-15)

10、中国招生考试网www chinazhaokao com 小编今天为大家精心准备了花呗被风控不能支付的解决方案，希望对大家有所帮助!　　花呗被风控不能支 花呗被风控不能支付的解决方案。(2016-04-22)

11、中国招生考试网www chinazhaokao com 小编今天为大家精心准备了城市供热信息平台解决方案，希望对大家有所帮助!　　城市供热信息平台解决 城市供热信息平台解决方案。(2016-05-13)

12、中国招生考试网www chinazhaokao com 小编为大家整理的相关的星级酒店智能家居系统解决方案供大家参考选择。　　星级酒店智能家居系统解决 星级酒店智能家居系统解决方案。(2016-05-19)

13、　　中国招生考试网www chinazhaokao com 小编为大家整理的相关的用友营改增全面解决方案供大家参考选择。用友营改增全面解决方　　在分析 用友营改增全面解决方案。(2016-05-27)

14、中国招生考试网www chinazhaokao com 小编今天为大家精心准备了客厅娱乐大趴解决方案，希望对大家有所帮助!　　客厅娱乐大趴解决方案　　 客厅娱乐大趴解决方案。(2016-05-27)

15、　　短信平台被广泛应用于很多领域，其中汽车4s店就是其中典型的应用领域，汽车4s店运用短信平台可以提高服务质量，提升用户体验，下面小编 汽车4s店短信平台解决方案。(2016-06-06)