-
大数据查询 ELK 之 ES集群搭建
缘由前面我们讲解了ELK的搭建过程。最近在处理系统数据发现了一个问题，一个ES节点处理太慢了，基本上要20多个小时才能处理完。这样我们就只能增加ES节点，部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器，其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了，大家主要几个参数就可以了，主要注意以下几个参数就好了#集群的名字cluster.name:app-data#节点 -
MySQL 大表优化方案（长文）
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段1、尽量使用TINYINT、SMALLIN -
【Mysql数据库访问利器】phpMyadmin
缘由我们程序员难免要和数据库打交道，经过这几年的锻炼，感觉手写SQL语句已经忘记的差不错了，促使我一定要这篇文章的原因是，有一次晚上我更新某个系统的数据库的表（由于目前公司比较严格，数据库都只能通过命令行访问，无法通过GUI工具操作），然后由于where条件写错了，然后数据更新错了不少。痛定思痛：用好的工具来避免这种情况，那就是phpMyadminphpMyadminphpMyAdmin是一个以P -
【数据库】Invalid default value for 'create_date' timestamp field
问题最近遇到一个这样的问题，新建数据库表的时候提示错误如下Invaliddefaultvaluefor'created_time'timestampfield语句如下`created_time`timestampNOTNULLDEFAULT'0000-00-0000:00:00'COMMENT'插入时间'错误大致的意思就是不能为timestamp字段 -
论个人网站备份的重要性
为什么需要备份本人博客使用的数据库服务和WebServer服务放在一起，2016年发生了一件事情：博客服务器被封了，不让登陆，然后供应商让我重装系统，然后悲剧了：所有数据没有了。个人做博客写文章都是心血积累，一夜之间回到解放前。这件事情让我认识到数据备份非常重要。当然数据丢失还有其他可能，例如服务器由于某种设置不正确导致不能启动而重置电脑我是这么备份数据的数据库备份应用程序代码备份应用程序配置文件 -
phpexcel 读取数据
最近公司做一个客户导入会员的功能，以前导入都是使用csv格式导入的，但是客户反应问题挺多的，普遍是乱码（由于各种系统各种环境可能引起编码问题）。最近想着就把这个导入完全改成excel导入，就研究了下phpexcel，发现读取excel还是挺方便的，这样也方便客户了，比较excel无论用office还是wps打开都是没有问题的示例读取代码如下/**$pathexcel文件路径*$header_map -
用PHP编写一个APP的API
第一部分，通信接口的实现标签（空格分隔）：PHP手机后台api通信接口AndyPHP开发手机API时，一般返回XML或JSON数据类型的数据，除了要返回从源数据（程序本身需要的数据）外还应附上状态码，以下是一段封装后的数据，它使用JSON格式展现：{code:200,message:"Success",data:[{username:"安明哲",password:"123456",level:"1 -
来看看这20个顶尖的开源项目！
“我们在Github上的贡献者和提交者之中检查了用Python语言进行机器学习的开源项目，并挑选出最受欢迎和最活跃的项目。”1.Scikit-learnwww.github.com/scikit-learn/scikit-learnScikit-learn是基于Scipy为机器学习建造的的一个Python模块，他的特色就是多样化的分类，回归和聚类的算法包括支持向量机，逻辑回归，朴素贝叶斯分类器，随 -
大数据挑战与NoSQL数据库技术
本书共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术，并引入NoSQL数据库；系统篇主要介绍了各种类型NoSQL数据库的基本知识；应用篇对国内外几家知名公司在利用NoSQL数据库处理海量数据方面的实践做了阐述。本书对大数据时代面临的挑战，以及NoSQL数据库的基本知识做了清晰的阐述，有助于读者整理思路，了解需求，并更有针对性、有选择地深入学习相关知识。 -
大数据时代
《大数据时代》是国外大数据研究的先河之作，本书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历，早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。维克托•迈尔•舍恩伯格在书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲 -
高性能MySQL
《高性能mysql(第3版)》是mysql领域的经典之作，拥有广泛的影响力。第3版更新了大量的内容，不但涵盖了最新mysql5.5版本的新特性，也讲述了关于固态盘、高可扩展性设计和云计算环境下的数据库相关的新内容，原有的基准测试和性能优化部分也做了大量的扩展和补充。全书共分为16章和6个附录，内容涵盖mysql架构和历史，基准测试和性能剖析，数据库软硬件性能优化，复制、备份和恢复，高可用与高可扩展 -
Hadoop权威指南
《Hadoop权威指南(第2版)(修订•升级版)》从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章，3个附录，涉及的主题包括：Haddoop简介；MapReduce简介；Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；MapReduce的类型和格式；MapRe