• 【Selenium学习笔记】分布式部署

    为什么需要分部署部署对于一般数据量不太或者对浏览器要求不多样化没必要多台机器部署。多台机器部署主要解决以下。数据量比较大,一台机器无法承受所有的请求需要不同的浏览器环境可远程调用,把业务代码和浏览器操作分离环境准备我们需要提前准备多台机器(可以是虚拟机)。由于是java的所以需要配置相对来说搞一些,个人建议最低2核4G主机名IP配置描述test-001192.168.40.52核4G主节点+任务节
  • 【Selenium学习笔记】网页截图实践

    缘由我们有一个产品牵扯到核查数据,在核查数据过程中会发现有一些违规网站,这一些违规网站我们要进行截图保留证据。如果是人工截图就非常麻烦,需要截图之后上传到系统,增加了大家的工作量,我们就想着试着程序自动化截图解决方案由于我们爬虫都使用的pythonselenium调用的chrome无头浏览器,所以我们依然选择了selenium调用chrome进行截图。截图核心代码如下,非常简单###核心代码如下d
  • 【解决方法】ModuleNotFoundError: No module named 'flask._compat'

    起源最近发下很多人在我的python课程下面提问,关于安装完扩展运行程序的时候出现如下的莫名其妙的错误Traceback(mostrecentcalllast):File"manage_web.py",line2,infromapplicationimportapp,managerFile"/data/www/private_deploy/python3_yuanwe
  • 【Selenium学习笔记】介绍和安装

    缘由目前由于工作需要,我们需要爬虫(本人严重申明:商业爬虫属于违规行为,请各位技术同事不要有意无意的做违规的事情)获取网页一些东西,但是大家都知道目前有很多网站都是用前后端分离的,使用curl请求是没办法获取到页面信息的,所以我们就基于目前我们相对擅长的技术点选择了“Selenium”。刚好自己又会一点Python。所以这样我们的技术方案就可以执行下去了。Selenium介绍Selenium是支持
  • 【解决方法】ModuleNotFoundError: No module named '_ctypes'

    起源最近发下很多人在我的python课程下面提问,关于执行python3.7安装某些扩展有如下报错ModuleNotFoundError:Nomodulenamed‘_ctypes’出现原因Python3中有个内置模块叫ctypes,它是Python3的外部函数库模块,它提供兼容C语言的数据类型,并通过它调用Linux系统下的共享库(Sharedlibrary),此模块需要使用CentOS7系统中
  • 乔布斯Jobs管理调度平台

    缘由由于公司系统相对来说还是挺多的,定时任务也非常多,一直使用crontab配置存在几个问题。这几个问题只要使用该方式应该都会深有感触。问题一管理维护问题:定时Job太多,不清楚总共有多个Job,不知道每个Job到底是谁写的主要功能是什么。如果Job部署在多台服务器那就更要人命了问题二调度监控问题:crontab在一定程度上解决了调度问题,但是调度不光光是运行状态。在实际工作中还会关注,什么时间运
  • 【框架发布】Python Flask CMS V2

    缘由我在工作过程中发现,我们经常会开发很多相同类似的东西,每一次都是从零开始,既浪费时间还没有意义,基本都是复制。我个人认为我们应该把很多基础东西开发好以后所有其他的应用系统都基于这个上面进行开发,既可以让基础越来越丰富,也可以统一维护。学过我Python视频课程的应该知道,我都是用了同一个自己整理过的Flask框架。用的多了慢慢就整理和优化了很多技巧。技术选型有很多人肯定有疑问,为什么我们要选择
  • 【解决方案】Centos7 opencv-python缺少 libSM.so.6, libXrender.so.1, libXext.so.6

    缘起最近在网上看到一个非常厉害的项目:https://github.com/ouyanghuiyu/chineseocr_lite,可以进行图片OCR识别,并且识别率还可以,关注这个是为了风控系统中的网页图片识别做技术储备。大家可以去看看非常不错的一个项目问题在运行过程中遇到了几个,大致问题如下截图。总结起来就是去三个共享库,这三个共享库是opencv-python需要的:libSM.so.6、l
  • 【课程章节更新】突破 没有支付权限的小程序 完成支付闭环

    起因大家都知道我有个PythonFlask构建微信小程序订餐系统课程。这个课程主要是讲解小程序在线商城的。但是有很多学生小程序的账号是没有支付权限的,那么如何完成整个闭环课程的学习咧?接下来我来给大家讲解整个过程。实现过程原理其实很简单,就是模拟支付完成跳过支付过程。这里我用两种方案给大家实现。如下图,由于没有支付权限就会导致支付回调没有。那么我们就得做一件事情:模拟支付回调等于就是自己做一个入口
  • 【分享】分层明确高度定制化的 Python Flask MVC

    缘由Python在AI,ARVR这块使用越来越广泛。同时在Web方面也有很多成熟的框架。而我本身由于使用Flask比较多,个人认为就是比较简单,容易入手,可定制化强。这里我将我经过多个项目多次迭代的自认为还可以的框架结构整理出来。方便自己可以更容易创建新项目。大家也知道我录制了两门关于python的课程都是基于这个定制化的分层结构的框架开发系统的目录结构.├──apiapi存放│├──contro
  • 微信小程序 订阅消息 对接详细记录

    起因由于我录制过一个小程序的课程,里面有消息模板的讲解。最近有几位同学反馈官方要取消消息模板,使用订阅消息。为了方便大家容易学PythonFlask构建微信小程序订餐系统课程。我把订阅消息结合这个课程讲解下如何实现实现过程其实对于我们来讲,对接第三方无非就是接口地址换了,或者流程上做一些调整。好,废话少说我们直接来通过实战讲解如何对接订阅消息第一步:阅读订阅消息官方文档对接任何东西必然要先了解这个
  • 使用Python Flask 开发微信机器人

    缘由由于我个人有个小博客,然后还录制了一些课程,所有就建立了对应的微信群,但是微信群的二维码是变化的,总不能经常换了。所以就想搞一个微信机器人,自动加微信,自动拉群。废话不多说,先上图效果展示大家可以试试效果,效果相当棒需求其他人可以通过二维码加我好友自动通过好友通过之后主动发送一些邀请入群链接和介绍信回复邀请、加群可以发送邀请入群链接所有聊天数据都要存储起来并且可以通过Web展示根据用户输入信息
  • 号外!! Python Flask 从入门到精通 上线啦

    缘由在前面写过一个文章人生苦短,我用Python给大家简单介绍了一下Python能做什么。然后广告了下当时的新课程PythonFlask构建微信小程序订餐系统。该课程上线之后有些同学反馈没有详细讲解Flask的基础知识和课程改造的框架为什么这么来的。基于该原因,重新录制了一门新课程:PythonFlask从入门到精通。希望大家可以喜欢演示地址:http://movie.54php.cn大纲课程简介
  • Python Flask jsonify a Decimal Error

    问题最近使用flaskjsonify进行序列号的过程发现如果是decimal类型就会出错,错误如下typeerrorobjectoftype'decimal'isnotjsonserializablejsonify解决方案根据https://github.com/pallets/flask/issues/835的解决方案如下pipinstallsimplejson
  • 编程浪子我的个人知识树

    开场白一转眼工作将近7个年头,时间过得好快哇。年少不懂事,上天惩罚我,婚也结了。不要暗恋哥,哥已是传说。恍恍惚惚过了这么多年,想整理下个人技能树,也提醒下自己我的技能树经常看到各种技能树,那我也来一发,我认为作为一个研发人员,不应该只会自己领域内的东西,不要让自己的路越走越窄。熟话说:技多不压身,有精力就多学点了。如下图(点击打开大图:我要看大图)个人实战过得系统工作这么多年,做过了不少东西,想到
  • 树莓派3 之 pi3Robot 控制系统配置

    需求个人正在用Python写一个控制系统,技术选型是python3+Flask+Mysql+Bootstrap。需要将这套系统直接部署到树莓派中.代码地址:https://github.com/apanly/pi3Robot目录结构准备sudomkdir-p/data/wwwsudochown-Rpi:pi/data/wwwmkdir-p/data/www/logs.|--logs|--pi3Ro
  • Python 资源大全中文版

    我想很多程序员应该记得GitHub上有一个Awesome-XXX系列的资源整理。awesome-python是vinta发起维护的Python资源列表,内容包括:Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由伯乐在线持续更新。Awesome系列虽然挺全,但基本只对收录的资源做了极为简要的介绍,如果有更详细的中文介绍
  • Python 虚拟环境Virtualenv

    本人也是Python爱好者,众所周知,Python扩展多,每次为了测试,安装各种各样的扩展,这样导致本地的Python环境非常混乱,就有人想到搞个隔离环境和本地环境没有关系,随时可以删除这个隔离环境,在创建,这就是Python虚拟环境Virtualenv(是不是感觉和虚拟操作系统有点相似Virtualbox)下面直接上操作步骤安装Virtualenv$sudoapt-getinstallpytho
  • 来看看这20个顶尖的开源项目!

    “我们在Github上的贡献者和提交者之中检查了用Python语言进行机器学习的开源项目,并挑选出最受欢迎和最活跃的项目。”1.Scikit-learnwww.github.com/scikit-learn/scikit-learnScikit-learn是基于Scipy为机器学习建造的的一个Python模块,他的特色就是多样化的分类,回归和聚类的算法包括支持向量机,逻辑回归,朴素贝叶斯分类器,随
  • Python自动化运维

    本书在中国运维领域将有“划时代”的重要意义:一方面,这是国内第一本从纵、深和实践角度探讨Python在运维领域应用的著作;一方面本书的作者是中国运维领域的“偶像级”人物,本书是他在天涯社区和腾讯近10年工作经验的结晶。因为作者实战经验丰富,所以能高屋建瓴、直指痛处,围绕Python自动化运维这个主题,不仅详细介绍了系统基础信息、服务监控、数据报表、系统安全等基础模块,而且深入讲解了自动化操作、系统