• 【工具分享】Mac无线投屏软件

    需求        大家常用的分享就是把电脑屏幕或者手机屏幕投屏到电视上面。这个一般手机都支持,电脑投屏到电视这个需要安装一些软件。        我的需求是将我的设备投屏到我的Mac电脑上面,这种需求听起来有点不太常用,但是对我来说常用,
  • SNAT和DNAT原理和应用场景

    问题        最近我们在重新部署线上云主机的堡垒机环境,其中用到了OpenVPN。最后安装好了之后发现,客户端虽然可以连接服务端,但是无法访问外网等网站,也就是只能访问这一台堡垒机。分析过程        我个人对网络其实不怎么熟悉,
  • 【课程章节更新】猫影项目新爬虫源代码

    起因        我在慕课有个flask入门的课程:点击这里查看慕课课程。当时课程讲解的使用学习的视频网站已经不再提供服务了,为了方便大家学习这里重新找了一个视频源。这里郑重声明:该代码仅用于学习演示,请大家妥善使用,不要给源网站造成任何压力。示例代码新建一个python文件,文件名称是movie2.py,代码如下#
  • ELK 之 GeoIP

    需求    我们都知道nginx日志里面有域名,同时也有用户的远程ip。但是ip其实我们看不出什么东西,我们知道通过ip其实可以查询一些地理位置信息出来的(很多网站都可以直接查的)。这个过程就是GeoIP:就是通过来访者的IP,定位他的经纬度,国家/地区,省市,甚至街道等位置信息。而在logstash里面就有一个解决这个需求的插件:logstash-filt
  • 聊聊公司的技术栈

    公司的技术栈    公司经历了1年的发展,慢慢也使用了很多技术服务。感觉创个业把上海学到的全部知识都搬出来了。我们主要技术栈如下技术团队组成    公司技术团队主要由前端+后端组成。运维岗和App研发岗都算在后端或者前端里面去了。目前招聘的大部分后端是写PHP的,但是如果会Python或者Go会加分。这里不讨论语言的哪
  • 【2021年度总结】创业摸索探索

    两年的变化   从2019年开始离开正常上下班的工作以来已经两年半了,我们列个时间线来说说这些事情。2019年6月谈定去广州白云的事情2019年7月初办完离职手续前往广州白云区进入项目中(在6月与7月之间电话远程面试,当时招聘了一个人,成立的公司叫做:广州威宇网络科技有限公司  已注销)2019年7月~2019年12月30日期间主要忙于当时承诺要做
  • Gitea - 企业搭建私有git服务器

    缘由    git目前已经是非常流行的版本管理工具了。当时我在安居客的时候就已经使用这个工具了。而代码私有化管理是正常的一个需求,因为代码也是公司的资产。这几年使用过好几个,最开始的是gitlab,我专门写过一篇文章:用GitLab搭建自己的私有GitHub。然后是gogs。目前我们使用的是gitea。Gitea    
  • ELK 之解析域名的TLD

    缘由    我们在大数据数据里面有一类数据是域名,例如www.jixuejima.cn ,我们需要把cn和jixuejima.cn提取处理,这个其实就是TLD(TOPLEVELDOMAIN)顶级域名解析过程。    大家看过我们前面ELK相关文章的,都知道我们处理过程是FileBeat->Redis-&
  • 大数据查询 ELK 之 ES集群搭建

    缘由    前面我们讲解了ELK的搭建过程。最近在处理系统数据发现了一个问题,一个ES节点处理太慢了,基本上要20多个小时才能处理完。这样我们就只能增加ES节点,部署集群模式了。当前是这种单节点服务集群搭建目的要搭建成3节点的服务器,其中3个节点是主节点也是数据节点其实配置ES集群是比较方便了,大家主要几个参数就可以了,主要注意以下几个参数就好了#集群的名字
  • 公司生产环境网络安全升级过程

    缘由      随着公司研发人员越来越多,为了安全控制要对服务器访问进行控制。为了让线上服务器更安全,所以要进行技术改造。如下图是以前的架构图图。技术人员主要通过SSH到堡垒机在通过堡垒机去链接其他服务器或者数据。此时堡垒机是要暴露一个公网SSH端口在外面的,这样不太安全。所以想到了用VPN解决改变之后的架构图对比之后我们可以发现,SSH

文章马上来