• logrotate copytruncate 模式滚动切割日志

    问题最近我们遇到了一个问题，我们有的Job是常驻的，输出的日志是固定为了，例如如下命令（once.sh是一个死循环的脚本），这样所有的命令都要输出日志到notice_wechat.log{/bin/shjobs/bin/once.shnotice/wechat;}>>/data/logs/jobs/notice_wechat.log2>&1如果使用默认的logrotate
  • 大数据查询 ELK 之 ES集群搭建

    大数据查询 ELK 之 ES集群搭建

    缘由前面我们讲解了ELK的搭建过程。最近在处理系统数据发现了一个问题，一个ES节点处理太慢了，基本上要20多个小时才能处理完。这样我们就只能增加ES节点，部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器，其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了，大家主要几个参数就可以了，主要注意以下几个参数就好了#集群的名字cluster.name:app-data#节点

  • 【解决方法】ModuleNotFoundError: No module named '_ctypes'

    起源最近发下很多人在我的python课程下面提问，关于执行python3.7安装某些扩展有如下报错ModuleNotFoundError:Nomodulenamed‘_ctypes’出现原因Python3中有个内置模块叫ctypes，它是Python3的外部函数库模块，它提供兼容C语言的数据类型，并通过它调用Linux系统下的共享库(Sharedlibrary)，此模块需要使用CentOS7系统中

  • In aggregated query without GROUP BY, expression #1 of SELECT list contains

    起源最近发下很多人在我的python课程下面提问，关于执行python定时器Job会报错如下InaggregatedquerywithoutGROUPBY,expression#1ofSELECTlistcontains出现原因在MySQL5.7.5后，默认开启了ONLY_FULL_GROUP_BY，所以导致了之前的一些SQL无法正常执行，其实，是我们的SQL不规范造成的，因为groupby之后，
  • CentOS7 搭建ELK日志分析系统过程

    CentOS7 搭建ELK日志分析系统过程

    ELK简介ELK是什么？elk是三个开源软件的缩写，分别是：Elasticsearch、Logstash、Kibana。由于Logstash客户端太占用资源，对服务器的要求比较高，后来FileBeat出现了,解决了资源问题，官方也推荐这个工具。Elasticsearch：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能Logstash：日志收集，分析，过滤并转化到对应的存储库Kibana：
  • curl: (56) Recv failure: Connection reset by peer 分析解决过程

    curl: (56) Recv failure: Connection reset by peer 分析解决过程

    悲催的事情今天下午2点多（时间发生故障的时间是14:14，反馈时间却是：14:25）收到运营推广部门同事告知，网站打不开了，这个烦呀，怎么会打不开了，由于以前的系统有问题，都重新写了，切换到新的系统上面了，打不开就直接报错了，报错页面如下分析过程找到错误日志出现错误不可怕，这一点我们必须第一时间明确，千万不要担心，担心解决不了任何问题。对我们最有帮助的就是各种业务日志。通过查阅日志得出如下的错误，
  • Mac 下安装Fiddler抓包工具

    Mac 下安装Fiddler抓包工具

    需求我们都知道在Mac电脑下面有一个非常好的抓包工具：Charles。但是这个只能抓代理的数据包。但是有时候想要调试本地网卡的数据库Charles就没办法了。就想到了在windows下面的一个Fiddler。搜索了下相关文章发现还真可以在Mac下面安装Fiddler。Mono安装首先，Mac下需要使用.Net编译后的程序，需要用到跨平台的方案Mono(现阶段微软已推出跨平台的方案.NetCore，

  • 完美解决failed to open stream: HTTP request failed!(file_get_contents引起的)

    当使用php5自带的file_get_contents方法来获取远程文件的时候，有时候会出现file_get_contents():failedtoopenstream:HTTPrequestfailed!这个警告信息。google或者baidu一下，好多这样的问题，解决的方法都是修改PHP.ini，把allow_url_fopen给启用，改成allow_url_fopen=On这样做可以解决某些

  • 【数据库】Invalid default value for 'create_date' timestamp field

    问题最近遇到一个这样的问题，新建数据库表的时候提示错误如下Invaliddefaultvaluefor'created_time'timestampfield语句如下`created_time`timestampNOTNULLDEFAULT'0000-00-0000:00:00'COMMENT'插入时间'错误大致的意思就是不能为timestamp字段

  • 【php】命名空间 和 自动加载的关系

    目的本文的目的主要是说明命名空间的use关键词和newClassName这两个步骤，哪个步骤才会执行自动加载，这是逻辑有点混乱的表现，这种想法也是很正常的，让我们来解密吧命名空间（namespace）php从5.3加入了命名空间，我略懂一些java，所以命名空间还是比较好理解的，为什么需要命名空间啦？主要解决自己写的内部类/函数/常量和第三方的类/函数/常量冲突。引用命名空间下资源都要使用关键字u

  • 【ipv6惹的祸】curl 超时

    偶然发现最近在公司日志平台总是可以看到很多关于phpcurl的错误信息Operationtimedoutafter0millisecondswith0outof0bytesreceivedResolvingtimedoutafter5514milliseconds非常奇怪，以前都是好的，使用wget获取也非常慢,从下面的结果可以看出来dns解析比较慢wgetwww.domain.com--2016
  • 【No.5 Ionic】修改 应用名，icon，启动界面

    【No.5 Ionic】修改 应用名，icon，启动界面

    修改应用名直接修改config.xml中的name修改icon和启动界面在resources目录有个icon.png和splash.png文件，直接把文件覆盖执行重新生成命令ionicresources#重新生成icon和splashionicresources--icon#重新生成iconionicresources--splash#重新生成splash

  • php 请求参数限制

    公司有个群发短信的小项目，项目上线了很久也没有什么问题，最近有商家说我短信群发不能用现象是：发现有时候可以发送，有时候不可以发送，看截图发送的手机数量不一样通过调试php代码发现php只接受了1000个请求参数，然后参看nginx的access状态是200，正常。在查看php的errorlog发现有句提示如下Unknown:Inputvariablesexceeded1000这句提示就是最多100

  • 【运维工具】logrotate 日志管理神器

    服务器经常会产生各种各样的日志文件，我们需要定期清理日志的分类系统日志应用日志系统日志例如系统的history历史信息crontab的运行日志一般系统日志系统都帮我们运维好了，不需要额外配置应用日志例如nginx的access和error日志,php框架的运行日志，这些日志是我们排查问题的有力证据工具logrotatelogrotate是什么logrotate是大多数linux系统自带的日志切割工

  • Squid 操作实践

    Squid简介Squid可以做什么性能要素Squid安装Squid快速体验Squid配置Squid简介SquidisacachingproxyfortheWebsupportingHTTP,HTTPS,FTP,andmore.Itreducesbandwidthandimprovesresponsetimesbycachingandreusingfrequently-requestedwebpag
  • 【逗比作孽呀】网站缓存优化

    【逗比作孽呀】网站缓存优化

    为什么想到写篇缓存网站优化？都是逗比穷惹的祸，本人的vps内存比较小，而我自己又做了图片系统，博客的图片都是经过裁剪的，图片做裁剪可以非常占用内存了为了降低vps的压力，就只能在前端做缓存优化了。http真是一个伟大的协议，我们就来通过httpheader关键字来做网站优化1）修改时间：Last-Modified和IF_MODIFIED_SINCELast-Modified关键字是用来设置文档的最
  • iOS开发工具-网络封包分析工具Charles

    iOS开发工具-网络封包分析工具Charles

    简介Charles是在Mac下常用的截取网络封包的工具，在做iOS开发时，我们为了调试与服务器端的网络通讯协议，常常需要截取网络封包来分析。Charles通过将自己设置成系统的网络访问代理服务器，使得所有的网络访问请求都通过它来完成，从而实现了网络封包的截取和分析。Charles是收费软件，可以免费试用30天。试用期过后，未付费的用户仍然可以继续使用，但是每次使用时间不能超过30分钟，并且启动时将
  • 【RBAC】打造Web权限控制系统

    【RBAC】打造Web权限控制系统

    引言权限系统模块对于互联网产品是一个非常重要的功能，可以控制不同的角色合理的访问不同的资源从而达到安全访问的作用此外本次课程有视频讲解：http://www.imooc.com/learn/799,对应演示系统：http://rbac.54php.cn权限控制模型ACLRBAC基于角色的访问控制从上图我们可以看出，ACL是用户和权限直接关系的，RBAC则是通过角色间接关联用户和权限的。所以角色是R

  • 用PHP编写一个APP的API

    第一部分，通信接口的实现标签（空格分隔）：PHP手机后台api通信接口AndyPHP开发手机API时，一般返回XML或JSON数据类型的数据，除了要返回从源数据（程序本身需要的数据）外还应附上状态码，以下是一段封装后的数据，它使用JSON格式展现：{code:200,message:"Success",data:[{username:"安明哲",password:"123456",level:"1
  • Wireshark网络分析就这么简单

    Wireshark网络分析就这么简单

    Wireshark可能是世界上最好的开源网络包分析器，能在多种平台上(比如Windows、Linux和Mac)抓取和分析网络包，在IT业界有着广泛的应用。《Wireshark网络分析就这么简单》采用诙谐风趣的手法，由浅入深地用Wireshark分析了常见的网络协议，读者在学习Wireshark的同时，也会在不知不觉中理解这些协议。作者还通过身边发生的一些真实案例，分享了Wireshark的实战技巧
  • 简约至上

    简约至上

    追求简单易用是人类的本性，无论是互联网产品。还是移动应用。亦或其他交互式设计，简单易用始终都是赢得用户的关键。同时，简单易用的程度也与产品寿命的长短密切相关。在《简约至上:交互式设计四策略》中，作者Giles托20多年交互式设计的探索与实践。提出了合理删除、分层组织、适时隐藏和巧妙转移这四个达成简约至上的终极策略，讲述了为什么应该站在主流用户一边，以及如何从他们的真实需求和期望出发，简化设计，提升

  • php Only variables can be passed by reference

    最近做项目，发现了一个报错Onlyvariablescanbepassedbyreference，意思是“只有变量能通过‘引用’”就是在代码中使用了一个方法，这个方法的参数值传址引用的例如php的end方法php官网的说法(PHP4,PHP5)end—将数组的内部指针指向最后一个单元说明¶mixedend(array&$array)end()将array的内部指针移动到最后一个单元并返回其

  • MySQL 常用命令集

    1.mysqlbinlog工具使用方法如下：先使用showbinarylogs查看在使用导出命令mysqlbinlog-R-uroot-pxxxx-hxxx.xxx.xxx.xxx-ddb_name--base64-output=decode-rows--start-datetime='2015-08-1313:11:21'--stop-datetime="2015-08