• 云途科技成立于2010年 - 专注全球跨境电商服务器租赁托管!
  • 帮助中心

    您可以通过下方搜索框快速查找您想知道的问题

    innodb优化后,29小时入库1300万条数据

      in  数据库      Tags: 

    做广告弹窗推广,记录来源ip,url。推广征战四方游戏时,我是没有记录弹窗数的,当时预计是36时1000万IP,机子是8000多块的组装机,我怕mysql撑不起来。这次决定记录一下试试,如果mysql真的撑不起来的话,就用脚本切换成静态的。

    一,网络监控图

    网络流量监控

    网络流量监控

    从上图可以看出,数据大部分都是在白天录入的。

    二,数据库数据列表

    数据库从推广开始到结束,一直在运行当中,一次没有down机。

    mysql> select count(*) as at from at;
    +---------+
    | at      |
    +---------+
    | 1129964 |
    +---------+
    1 row in set (0.67 sec)
    
    mysql> select count(*) as gb from gb;
    +---------+
    | gb      |
    +---------+
    | 1629177 |
    +---------+
    1 row in set (0.32 sec)
    
    mysql> select count(*) as jr from jr;
    +---------+
    | jr      |
    +---------+
    | 1820653 |
    +---------+
    1 row in set (1.01 sec)
    
    mysql> select count(*) as lg from lg;
    +--------+
    | lg     |
    +--------+
    | 592303 |
    +--------+
    1 row in set (0.32 sec)
    
    mysql> select count(*) as qd from qd;
    +---------+
    | qd      |
    +---------+
    | 1249279 |
    +---------+
    1 row in set (0.69 sec)
    
    mysql> select count(*) as xt from xt;
    +---------+
    | xt      |
    +---------+
    | 2229205 |
    +---------+
    1 row in set (1.23 sec)
    
    mysql> select count(*) as zs from zs;
    +---------+
    | zs      |
    +---------+
    | 3992709 |
    +---------+
    1 row in set (2.39 sec)
    
    //这里是数据表对应的文件,
    [root@localhost tg]# du -ah
    9.1M    ./sd.ibd
    85M    ./qd.ibd
    4.0K    ./db.opt
    12K    ./bd.frm
    12K    ./zs.frm
    12K    ./jr.frm
    365M    ./zs.ibd
    45M    ./lg.ibd
    129M    ./jr.ibd
    145M    ./xt.ibd
    81M    ./at.ibd
    113M    ./gb.ibd
    12K    ./sd.frm
    12K    ./xt.frm
    12K    ./gb.frm
    12K    ./at.frm
    12K    ./qd.frm
    96K    ./bd.ibd
    12K    ./lg.frm
    966M    .

    三,innodb的主要优化

     init_connect='SET autocommit=0'    //关闭自动提交,这个对于innodb来说,很重要
     innodb-file-per-table=1            //使用独立表空间
     innodb-open-file=500               //打开最大文件数据是500,默认是300
     innodb_log_file_size=512M          //log文件大小
     innodb_log_buffer_size=8M          //缓冲日志数据的缓冲区的大小
     innodb_flush_log_at_trx_commit=0   //提交数据等级0是最快,但是有可能会丢数据
     innodb_buffer_pool_size=5G         //缓冲池大小,我把它设置内在的65%
     innodb_log_files_in_group=3        //日志文件总数
     innodb_file_io_threads=8           //根cpu核数是一样,读写文件进程数
     event_scheduler=1                  //开启动mysql event
    
    //添加一个mysql event
    CREATE EVENT `commit_event` ON SCHEDULE EVERY 5 MINUTE STARTS '2012-01-04 19:06:26' ON COMPLETION NOT PRESERVE ENABLE DO COMMit
    

    1,自动提交对innodb的影响非常大的,这个我做过测试,请参考,mysql autocommit对myisam,innodb的性能影响.

    2,innodb_flush_log_at_trx_commit我把它设置成0,我只要求速度最快,最是统计推广的弹窗,这些数据只是为了我们后期统计和分析用的,没有太大的价值。如果数据很重要就不要设置成0了。

    0代表日志只大约每秒写入日志文件并且日志文件刷新到磁盘.
    1InnoDB会在每次提交后刷新(fsync)事务日志到磁盘上
    2代表日志写入日志文件在每次提交后,但是日志文件只有大约每秒才会刷新到磁盘上.

    3,还有一点就是我用了mysql event功能,根linux的crontab差不多,以前没在生产环境中用过mysql event,这次试了一下,还是挺给力的。关于mysql event请参考,mysql event 是什么,有什么用.



    • 外贸虚拟主机

      1GB硬盘

      2个独立站点

      1000M带宽

      不限制流量

      美国外贸专用虚拟主机,cPanel面板,每天远程备份.
      服务器配置:2*E5 32核,96GB 内存,4*2TB 硬盘 RAID10 阵列.

      ¥180/年

    • 美国/荷兰外贸VPS

      2核CPU

      1G内存

      30硬盘

      10M带宽

      美国/荷兰外贸云服务器,专注外贸服务器行业12年.
      服务器配置:2*E5 32核,96GB 内存,4*2TB 硬盘 RAID10 阵列.

      ¥99/月

    • 全球外贸服务器

      8核CPU

      32G内存

      1TB硬盘

      1000M带宽

      已部署数据中心:美国洛杉矶/亚特兰大、荷兰、加拿大、英国伦敦、德国、拉脱维亚、瑞典、爱沙尼亚
      自有机柜(全球九大数据中心),稳定在线率:99.9%

      ¥999/月 原价1380

    7*24小时 在线提交工单

    如果您的问题没有得到解决,推荐您在线提交工单,我们的客服人员会第一时间为您解决问题

    展开