• 【课程章节更新】猫影项目新爬虫源代码

    起因        我在慕课有个flask入门的课程:点击这里查看慕课课程。当时课程讲解的使用学习的视频网站已经不再提供服务了,为了方便大家学习这里重新找了一个视频源。这里郑重声明:该代码仅用于学习演示,请大家妥善使用,不要给源网站造成任何压力。示例代码新建一个python文件,文件名称是movie2.py,代码如下#
  • ELK 之 GeoIP

    需求    我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件:logstash-filt
  • 聊聊公司的技术栈

    公司的技术栈    公司经历了1年的发展,慢慢也使用了很多技术服务。感觉创个业把上海学到的全部知识都搬出来了。我们主要技术栈如下技术团队组成    公司技术团队主要由前端+后端组成。运维岗和App研发岗都算在后端或者前端里面去了。目前招聘的大部分后端是写PHP的,但是如果会Python或者Go会加分。这里不讨论语言的哪
  • 【2021年度总结】创业摸索探索

    两年的变化   从2019年开始离开正常上下班的工作以来已经两年半了,我们列个时间线来说说这些事情。2019年6月谈定去广州白云的事情2019年7月初办完离职手续前往广州白云区进入项目中(在6月与7月之间电话远程面试,当时招聘了一个人,成立的公司叫做:广州威宇网络科技有限公司  已注销)2019年7月~2019年12月30日期间主要忙于当时承诺要做
  • Gitea - 企业搭建私有git服务器

    缘由    git目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求,因为代码也是公司的资产。这几年使用过好几个,最开始的是gitlab,我专门写过一篇文章:用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。Gitea    
  • OpenVPN实现客户端分流

    问题        由于公司使用了OpenVPN来保证网络的安全,但是发现每一次连接上VPN之后整个网络都变成服务器的出口IP了,这时候网络就非常慢了,并且这样也不对,应该需要走OpenVPN的再走。这时候就需要配置分流了。配置在服务端和客户端改一个都可以,由于改服务端影响比较大,所以那就改客户端的配置客户端路由分流路
  • NFS - CentOS实现服务器之间共享文件

    缘由        前面不是写过一个文章 局域网内网机器上网实操。基于这个情况,有时候需要某台机器的文件夹或者文件要被其他机器共享。假设服务器如下服务器名称操作系统IP描述服务器ACentos7.9192.168.1.10文件服务器服务器BCentos7.9192.168.1.11需要访问服务器A的文件技术方
  • ELK 之解析域名的TLD

    缘由    我们在大数据数据里面有一类数据是域名,例如www.jixuejima.cn ,我们需要把cn和jixuejima.cn提取处理,这个其实就是TLD(TOPLEVELDOMAIN)顶级域名解析过程。    大家看过我们前面ELK相关文章的,都知道我们处理过程是FileBeat->Redis-&
  • 运维神器:asciinema 记录你所有的操作

    缘由        最近看到了2个项目,促使我再次核查了以下这个软件是什么。这两个项目是 webterminal和jumpserver。这两个项目里面都有一个功能运维审计,用户行为录像。挺好奇这个录像怎么做的,就去找了下有咩有类似的开源软件。其实以前在上海安居客的时候我们运维也有这种软件,但是具体是不是叫这个
  • 大数据查询 ELK 之 ES集群搭建

    缘由    前面我们讲解了ELK的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了,大家主要几个参数就可以了,主要注意以下几个参数就好了#集群的名字

文章马上来