• 【Selenium学习笔记】网页截图实践

    缘由我们有一个产品牵扯到核查数据,在核查数据过程中会发现有一些违规网站,这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦,需要截图之后上传到系统,增加了大家的工作量,我们就想着试着程序自动化截图解决方案由于我们爬虫都使用的pythonselenium调用的chrome无头浏览器,所以我们依然选择了selenium调用chrome进行截图。截图核心代码如下,非常简单###核心代码如下d
  • 局域网内网机器上网实操

    缘由最近我们接到一个客户项目,客户所有的东西必须部署在独立内网里面的,但是整个程序有一部分是需要访问外网的,可以理解为调用外部网址接口,所以我们就要出一个方案来解决这个问题。假如内网服务器列表如下服务器名称操作系统IP描述服务器ACentos7.9192.168.1.10程序服务器服务器BCentos7.9192.168.1.11程序服务器服务器CCentos7.9192.168.1.12这台机器
  • 时间同步ntpdate报错的其他解决方案

    缘由最近我们一台高防服务器,在同步服务器时间时报noserversuitableforsynchronizationfound,最后经查实是机房屏蔽了udp端口所致,因为ntpdate同步时间使用的是udp123端口。rdate解决方案既然ntp不行我们改用rdate完全可以解决因国内一些高防机房屏蔽UDP端口而造成的时间无法同步问题。安装yuminstallrdate同步安装完成之后可以先手动同
  • 乔布斯Jobs管理调度平台

    缘由由于公司系统相对来说还是挺多的,定时任务也非常多,一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题:定时Job太多,不清楚总共有多个Job,不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题:crontab在一定程度上解决了调度问题,但是调度不光光是运行状态。在实际工作中还会关注,什么时间运
  • CentOS7 搭建 多账号FTP

    ftp?还有人用?其实在没有出来跑以前也觉得FTP应该死绝了,在上海各个比较可以的互联网公司,听到研发用FTP不说都鄙视吧,至少很多人认为没技术追求。但是我不得不说,在研发人员眼里觉得很Low的工具,在非专业人员眼里。需求来源方是:在互联网公司都会有设计或者前端,有很多公司其实只做单页面的,根本不需要什么后端人员。让设计或者前端学习Git必要性不大,FTP又是一个交互非常有好的GUI工具服务,导致
  • CentOS7 搭建ELK日志分析系统过程

    ELK简介ELK是什么?elk是三个开源软件的缩写,分别是:Elasticsearch、Logstash、Kibana。由于Logstash客户端太占用资源,对服务器的要求比较高,后来FileBeat出现了,解决了资源问题,官方也推荐这个工具。Elasticsearch:实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能Logstash:日志收集,分析,过滤并转化到对应的存储库Kibana:
  • curl: (56) Recv failure: Connection reset by peer 分析解决过程

    悲催的事情今天下午2点多(时间发生故障的时间是14:14,反馈时间却是:14:25)收到运营推广部门同事告知,网站打不开了,这个烦呀,怎么会打不开了,由于以前的系统有问题,都重新写了,切换到新的系统上面了,打不开就直接报错了,报错页面如下分析过程找到错误日志出现错误不可怕,这一点我们必须第一时间明确,千万不要担心,担心解决不了任何问题。对我们最有帮助的就是各种业务日志。通过查阅日志得出如下的错误,
  • 【解决方案】Centos7 opencv-python缺少 libSM.so.6, libXrender.so.1, libXext.so.6

    缘起最近在网上看到一个非常厉害的项目:https://github.com/ouyanghuiyu/chineseocr_lite,可以进行图片OCR识别,并且识别率还可以,关注这个是为了风控系统中的网页图片识别做技术储备。大家可以去看看非常不错的一个项目问题在运行过程中遇到了几个,大致问题如下截图。总结起来就是去三个共享库,这三个共享库是opencv-python需要的:libSM.so.6、l
  • 【免费视频课程】从不知到全面了解HTTPS

    缘由为什么要录制关于HTTPS的一个小课程,本来我是准备给我们团队分享下关于HTTP请求过程的主题。最近关于数据安全的话题越来越多,2020也可以称之为数据治理年。所以计算要讲HTTP,那就把HTTPS一起讲了算了,不然可能PPT都凑不够30分钟哈哈。大纲HTTPS是什么HTTPS为什么安全如何申请HTTPS证书如何配置HTTPS证书HTTPS是什么解读HTTP请求流程HTTPS为什么安全如何申请
  • curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused

    缘由最近在录制从不知到全面了解HTTPS这个视频,在使用acme.sh申请ssl证书的时候,安装脚本出错,错误信息大致如下curl:(7)Failedtoconnecttoraw.githubusercontent.comport443:Connectionrefused解决方案绑定hosts的方式$vim/etc/hosts199.232.68.133raw.githubusercontent.
  • 号外!! Python Flask 从入门到精通 上线啦

    缘由在前面写过一个文章人生苦短,我用Python给大家简单介绍了一下Python能做什么。然后广告了下当时的新课程PythonFlask构建微信小程序订餐系统。该课程上线之后有些同学反馈没有详细讲解Flask的基础知识和课程改造的框架为什么这么来的。基于该原因,重新录制了一门新课程:PythonFlask从入门到精通。希望大家可以喜欢演示地址:http://movie.54php.cn大纲课程简介
  • CentOS7 安装和配置MySQL8全过程记录

    缘由最近由于工作调整,很多基础工作都要准备。对我们研发来讲,代码写完了还需要部署到生产环境。那就无法避免的要部署生产服务器的环境。由于软件一直会有更新迭代。这里我们就说下MySQL8.0在CentOS7安装的一个全过程配置源由于默认源已经不再有MySQL软件信息了,所以需要自己去官方下载并安装wgethttps://dev.mysql.com/get/mysql80-community-relea
  • 【实战】Docker入门实践二:Docker服务基本操作 和 测试Hello World

    操作环境操作系统:CentOS7.2内存:1GBCPU:2核Docker服务常用命令docker服务操作命令如下servicedockerstart#启动服务servicedockerstop#停止服务servicedockerrestart#重启服务servicedockerstatus#查看服务状态启动Docker服务docker是一个CS模型,需要先启动服务端,直接执行sudoservice
  • CentOS中service命令与/etc/init.d的关系以及centos7的变化

    缘由由于个人经常在ubuntu和centos系统中切换,习惯了以前的ubuntu中通过/etc/init.d/xxx进行软件服务控制。后来发现centos7中换了服务的控制方式:serviceservice关键字servicehttpdstart其实是启动了存放在/etc/init.d目录下的脚本。但是centos7的服务管理改规则了。CentOS7继承了RHEL7的新的特性,例如强大的syste
  • 【实战】Docker 入门实战一:ubuntu 和 centos 安装Docker

    Docker是什么Docker是一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似iPhone的app),更重要的是容器性能开销极低从这个解释我们不知道大家有没有想到一个优点类似的东西,没错就是