Bwin体育张戈博客 关注IT运维技术及互联网的个人博客view=3 allow-anchor-click interval-time=3000 hover-disable-interval show-anchor allow-keyboard allow-swipe

　　sub-trigger= auto-scrolling

　　最近我在改造手头负责的一个HTTP Restful API服务，集成对gRPC协议（在鹅厂叫tRPC，是gRPC的本土衍生版本）的支持。由于是从0学习这个协议，因此也踩了不少坑，这里用一篇文章来记录下，希望可以帮助到同样从0学习gRPC的朋友。列表参数赋值老的Rest接口中，大量用到了列表参数，看了下pb协议，给这个参数定义如下：message Foo { rep...

　　最近新来的实习生小伙子在重构一个我入职时开发的老系统，这个系统之前用的是Python twisted框架开发的，这次重构希望可以换到FastAPI，也就是我上一篇文章分享的Flyer开发框架。小伙子很给力，花了几天自学了下FastAPI和Flyer就开始开发了，结果用Flyer框架的时候，连接MySQL报错如下：sqlalchemy.exc.OperationalError: (...

　　概述我们经常会听到“不会开发的运维不是个好运维”，确实在运维工作当中，娴熟的开发经验能让运维工作如鱼得水，事半功倍！高级的运维除了需要精通Shell脚本编程之外，最好还需要掌握一门高级语言，比如Python、Golang、PHP、Lua等。高级语言除了可以解决一些更复杂的运维场景，还可以帮助我们更好的理解业务，做好业务运维，毕竟知己知彼才能百战不殆。经常看到很多运维同学写接口通常...

　　我们这有个内部网站同时支持2个域名访问，最近因升级需求希望统一到一个域名，即老域名做一个301跳转到新域名。这个在Nginx直接配置一个if逻辑，判断是老的host并跳转到新的域名即可。那这个Case在APISIX里面应该怎么配置呢？看了下APISIX文档，发现有两种跳转插件：redirect和response-rewrite，前者只能跳转uri不包含协议主机部分，后者可以通过修改返回头...

　　最近手头有个业务是基于Apache Karaf开发的，运行在K8S里面，跑了一堆的bundle，偶尔里面挂一两个bundle容器是没什么感知的，但是业务可能会局部异常。要推动业务优化的话，周期就会拉得很长，因此先弄个定时拨测来监控下bundle是不是都在正常运行的。看了下要查看Karaf里面的bundle需要ssh进去执行bundle list命令，因此基于之前的经验利用Python p...

　　APISIX为了提高性能，默认会打开keepalived特性，预设会线s，我们在部署网关的时候也保留了这个优化特性Bwin体育官方网站，恰好我的上游服务基于Gunicorn+FastAPI开发框架，也开启了keepalived，会线s。这样就有问题了：网关和上游服务建立连接后60s内，新请求会继续复用这个连接，但是上游却在5s后主动关闭了连接，因为网关将新请求转发给上游时，才发现连接已经被关闭了，因此就出现了上述报错。...

　　自从博客几乎断更之后，就已经很少关注SEO了。昨天机缘巧合在百度搜了下“zhang.ge”这个国外线路域名的时候，居然发现有如下提示：纳尼？还有这种事情？但是搜索“却没有，看起来应该是误报。点击打开会有如下提示：看到有个“申请解封”按钮，就点过去，填写表单提交了下：结果，没等多久，大概之后个把小时就收到了百度发来的审核通过的...

　　自从APISIX网关推广使用以来，在我们部门已经有很多生产业务接入使用。有一天被拉进了一个问题群，被告知APISIX网关性能有问题，整体表现还不如之前的ZUUL网关。纳尼？APISIX性能再怎么不济也不至于比ZUUL差吧？废话少说，直接上手弄了个串行请求对比测试了一下生产环境的APISIX网关和ZUUL网关，结果大跌眼镜！正常情况下，APISIX的耗时都优于ZUUL网关，但是AP...

　　Configmap的方式来配置APISIX。最开始我们就采用 Configmap的方式在腾讯云TKE上部署APISIX，当网络区域越开越多时，每个TKE集群都需要去定义一套config.yaml对应的Configmap，管理非常繁琐。因此，这里我们利用Python的Jinja2插件来自动化渲染APISIX的配置文件，整体非常方便！...

　　这个问题其实已经解决很久了，但是一直忘了来记录下，前几天还帮MOREOPEN解决了相同的问题，感觉虽然是个案，但可能还是有朋友会遇到类似的问题。所以，就简单的记录下，给不知所措的朋友一些参考。一、多说不同步评论到本地的问题很大一部分博客采用了多说评论，而侧边栏的最近留言却用的本地的数据（比如张戈博客），突然有一天，你发现侧边栏的最近留言怎么都不更新了。。。。。。出现这个问题的原因，可能是你...

　　申明：本资料转自批处理之家，版权归作者：namejm 所有，如需转载请注明。原帖地址:此文是俺学习批处理的启蒙教程，作者非常详细的分析了批处理最核心的for命令以及变量延迟，对于要学习批处理的童鞋非常值得仔细研读。一 前言二 for语句的基本用法三 for /f 含变量延迟四 fo...

　　根据Websense安全实验室最新的研究报告指出消费者PC端递交给微软的错误报告有可能被黑客截取，并依据这些信息帮助黑客制定相关攻击策略。当系统出现崩溃的时候会弹出相应的对话框，这些信息中详细包含了设备的运行状态，Windows的版本信息，应用等信息，而这些信息都有可能被黑客到。       虽然当系统或者应用程序崩溃的时候会弹出错误报告，通常需要用户的确认才是否将这些错...

　　前些天，一位开发同事找到我，说他测试环境的 mongodb 经常挂掉，要我写一个监控或复活的脚本。我觉得很奇怪，测试环境又没啥负载，经常挂掉肯定有非常规原因。跑过去看了一下日志，发现存在stop记录，我就纳闷了，没人操作他还会自己stop。这明显不是挂掉了，于是到history中看了下同事的启动命令：/usr/local/mongodb/bin/mongod --dbpath=/usr...

　　今天维护人员找的我说，最近要推Win7了，暂时桌面云没推广，还是使用手动安装Win7的方式。所以，需要我帮忙写一个脚本，大概功能就是在Ghost Win7之前先导出XP的IP信息，在Ghost完成之后，自动读取这个IP信息用于恢复IP设置。之前其实写过一个XP的，这次是Win7的，其实大同小异了，花了近半小时测试成功了，现在来记录一下。懒得去折腾兼容方法，就写了2个导出IP的脚本和...

　　昨天，发布了《完美实现移动主题在360网站卫士缓存全开情况下的切换》一文，通过JS实现了主题在移动端访问时的自动切换，最后提到了可以在电脑版和移动版的footer里面加上手动切换链接，实现手动版本切换功能。今早发现，电脑版切换到移动版是没问题了，但是移动版切换到电脑版，JS将会再次工作uaredirect.js会再次做UA判断，然后由又跳回了电脑版！ 也就是说，手机上浏览无法手动切换到电脑...

　　参考批处理之家写给百度知友的。→百度问答原址@echo off echo 批处理初始工作目录为%cd%,开始切换... for /f tokens=3 delims== %%i in (\Wmic Path Win32_LogicalDiskToPartition^find /i Disk #0\) do call :check %%i echo. ...

　　分享一个我曾经写过的功能代码：工具身份切换脚本，主要用于脚本执行期间其他身份(如administrator等)的切换，从而获取到所需权限。使用说明：1.将下面的代码保存为bat脚本，如switch.bat，其中的【你要加权执行的外部程序或脚本】需要根据实际情况修改成你将要执行的文件路径2.在你切换前启动的脚本中加入 call %~dp0switch.bat (%~dp0表示...

　　最近实在太忙，没时间研究和折腾，所以也没有什么可以分享到博客的。果然，个人博客坚持原创太不不容易了。张戈博客上线更、一周一更，直到现在2星期可能有一更的节奏。。。好了，废话不说了。翻了翻在工作上的印象笔记，发现还是有一些存货可以分享的。挺久之前，组内新申请了一批开发测试机，需要部署环境。除了一些常见的软件要安装之外，还有一个我之前很少用到的Samba。...

　　难得今天晚上9点前赶回家，而且最近草稿箱也压了不少“湿货”，就挑一篇发出来好了！不过在发文章之前先吐槽一下那个从昨天攻击张戈博客到现在还在继续的无聊蛋疼之人！本来就算开启了云加速全缓存也是扛不住的，因为静态中混着动态请求，比如浏览计数。还好灵机一动，对这些动态做了点小手脚，现在基本毫无压力了！粗略分析一下这个攻击博客的小人，无外乎是2种人：①、最近张戈博客流量大涨，估计遭人...

　　多年没写过批处理了，来新公司的第一个case却是需要写一个bat脚本，批量更新采集agent的配置文件，其中就涉及到远程IP的端口检测。本以为会和Linux一样可以简单判断：echo qtelnet -e \q\ $ip $port echo $ip:port 通echo $ip:port 不通结果发现Windows下面telnet退出并没有执行...

　　在之前的工作中，由于分区域管理，TCP设置有差异，所以编写过很多关于IP切换的脚本，作为大批量电脑维护的脚本，最重要的就是兼容性，可不能就测试的那几台电脑通过了，然后发布给同事使用的时候，出现各种状况！其中比较难解决的问题就是获取网络连线的实际名称,大部分人使用的IP设置脚本都是将【本地连接】写死在代码中，可实际上并不是所有电脑都叫本地连接；比如有的用户电脑可能升级了网卡驱动，或者更换了网...

　　导读：2个月前，张戈博客分享了一篇Python+Shell定时备份网站到阿里云OSS的教程，已经有非常多的站长朋友用上了，反馈还不错，也有不少朋友提出了很多优化建议，比如上传完成后能否删除本地压缩包之类的，本文将继续分享另一种云端备份方案。一、优点分析内网传输：和阿里云OSS一样，腾讯云COS同样支持内网和外网文件传输，对于腾讯云服务器，使用内网传输绝对是最快、最稳定的备...

　　最近一直很忙很忙，完全没时间打理博客，回家后基本上就是洗洗睡的节奏，我之前真的从未想过，我会有回到家不想碰电脑的情况。。。不但不想碰电脑，而且失眠症也消失无遗，因为实在是太疲劳了，总算是有了些好处。这几天实际上也有一些可以记录的工作经验，无奈一直没有头绪也没时间，刚好趁着今天午休间隔，先整理出一小部分好了，不然博客就真废了。。。一、故障案例①今天上午在给测试组的IIS新增https...

　　之前博客分享过一篇《Linux/vps本地七天循环备份和七牛远程备份脚本》，我自己也一直在用。某天检查备份的时候，突然发现数据库的备份的压缩包是空的！看了下crontab的日志，发现有如下错误：Access denied for user \dbuser\@\localhost\ to database \db\ when using LOCK TABLES原来，我在计划任务中备份...

　　本文记录2种因 /etc/mtab 文件异常导致 df 命令显示异常、分区丢失问题的解决过程，以备后用。一、根目录丢失前些日子，同事在RTX群里问大家，有台服务器执行 df -h 看不到根目录，该如何解决？[.126.12:~]# df -hFilesystem Size Used Avail Use% Mounted onudev...

　　跟了我5年多的本本已步入花甲，CPU严重老化，运行Windows异常吃力，于是考虑换成Linux试试。忙活了一天，测试了2个“家用”Linux发行版,一个是深度的Linux Deepin 2013,另一个是雨林木风的StartOS 5.1。在测试过程中也遇到一些有用的经验，现在就一一记录一下。这些发行版和ubuntu一样，root帐号都是停用的，在我安装完后，发现进行一些操作时，提示权限不...

　　最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和，一天都能存好几篇优质草稿。看来，张戈博客是首次进入瓶颈阶段了！没办法了，先转点基础教程充门面，当然也是为了温故而知新。vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用...

　　根据Websense安全实验室最新的研究报告指出消费者PC端递交给微软的错误报告有可能被黑客截取，并依据这些信息帮助黑客制定相关攻击策略。当系统出现崩溃的时候会弹出相应的对话框，这些信息中详细包含了设备的运行状态，Windows的版本信息，应用等信息，而这些信息都有可能被黑客到。       虽然当系统或者应用程序崩溃的时候会弹出错误报告，通常需要用户的确认才是否将这些错...

　　初识nfs还是在测试lvs负载均衡的时候，为了保证代码的一致性，将一台Realserver作为nfs服务器，而其他Realserver均以nfs将代码挂载过来。这样就保证了代码的一致性，但也是由很大隐患的，一旦那台Realserver宕机，那就全军覆没了...好了，废话不多说，进入nfs挂载简单步骤。一、安装nfs一般redhat是默认安装了nfs服务的，如果非默认安装且取消勾选nfs的话...

　　作为一个大公司的运维，手头管理了成百上千的服务器是家常便饭，甚至更多。而我们一般都是用跳板机登陆，由于这些机器一般都是克隆或者虚拟化出来的，所以登陆后的命令行提示符几乎是一个模子刻出来的，比如都是：[ ~]#这时，我们肯定会经常遇到这样一个困扰：操作服务器时因某事中断，回头继续操作的时候肯定会ifconfg确认下是否是我要操作的服务器，因为无法从表象识别...

　　本文展示了10个有趣的Linux动态命令，这些命令和实用功能无关，仅供娱乐！看完此文，你会对Linux有个全新的认识，谁说IT男就没有屌丝娱乐的一面呢？，就让我们开始看文章吧~看完之后记得亲自尝试一下哦！Linux最强大的一个特征就是它有大量的各种小命令工具，这也可以称做是它最有趣的一个地方了。在这些大量的有用的命令和脚本中，你会发现有少部 分命令工具不那么有用的——如果你不愿意说是完...

　　这也是一个老方法了，只是今天用到了，就过来记录下。总觉得公司服务器磁盘不给力，有时候vim编辑的时候都会卡顿，IO经常90%+，很纳闷，就测试了一下磁盘的读写速度。一、测试写速度：time dd if=/dev/zero of=/tmp/test bs=8k count=1000000测试结果：565 MB/s二、测试读速度：time dd if=/tmp/te...

　　昨天一个网友通过QQ联系我，说按照我博客之前分享的http2配置教程不能生效，想请我帮忙看看。经过测试，使用谷歌浏览器访问他的测试站点，确实没有开启http2，但他的配置和编译参数都正确的，这有点奇怪了。不过昨天太忙就没有继续帮他分析，他只好将服务器账号和密码都留言给了我。今天中午我抽空在他服务器重新编译测试了一把，才发现原来是这么一个梗！他在编译Nginx之前，使用的是yum...

　　张戈博客曾分享过不少关于七牛云存储的一些经验技巧，对七牛感兴趣或者遇到相关问题的朋友可以看一看以前的相关文章： 七牛又拍云CDN云存储节省GET次数的小技巧 WordPress简单代码开启七牛CDN及集成七牛缩略图的方法 浅谈网站使用七牛云存储之后的robots.txt该如何设置？ Linux/vps本地七天循环备份和七牛远程备份脚本前段时间，百度云加...

　　这个问题不知道有没有人遇到过，反正度娘和谷姐都没能帮到我！困扰了我挺长时间了，今天偶尔将代码放到Apache服务器下测试时，意外解决了！问题是这样的，我搭建了一个网站icon图标抓取的API接口，正常情况下对象的传参是通过$_GET[\url\]获取的，因此常规获取图标的地址应该是：或

　　今天，不知道写什么，就找来一篇很详细的Nginx安装教程，“滥竽充数”了，另外后面附上马哥关于nginx讲解的核心视频教程。Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，供大型的入口网站及搜索引擎Rambler（俄文：Рам...

　　很多业务系统都用到了Haproxy这个高性能反向代理负载均衡器。在日常运维当中，Haproxy后端节点的上（接入）、下（剔除）线操作绝对是家常便饭，而且人工重启的时候经常有胆颤心惊的感觉。下面分享一种命令行操作Haproxy后端节点平滑上下线的技巧。一、新增配置Haproxy自带了一个非常实用的管理页面，我们可以在harpxoy.cfg新增如下配置，开启Haproxy监控管理页面功...

　　在实际业务场景中，APISIX限速太笼统，达不到业务要求，最终，我们自己在limit-count插件基础上进行改造，重新设计一个限速机制，能够针对不同的服务给不同的Consumer设置差异化的访问限速，满足生产环境更精细化的限速需求。...

　　好久没打理博客，突然收到CDN流量预警，发现平均每天40G流量消耗！what？就现在这个访问量，不存在的。看了下CDN日志发现有小人一直在请求博客页面，其中被请求最多的就是CCkiller防御工具那个文章地址。呵呵，我就写一个简单的防御小工具，惹着你啦？实际上我用了CDN，也并没有安装这个工具，所以想试探、想测试效果的麻烦自己去安装使用，攻击我博客毫无意义，挂了又能怎么样？废话就扯...

　　上周有一个站长问到我一个问题，问fastcgi_cache和pagespeed加速有没有冲突。略微想了下，2个都是比较原生的主，应该不存在兼容问题。至于这个朋友问到这2个机制处理的先后问题，我思考了下。既然fastcgi_cache已经是缓存到本地的文件，那么pagespeed肯定是后处理的。通俗来说，就是当用户访问WEB时，Nginx 应该是先调用 fastcgi缓存，然后再进行page...

　　张戈博客目前用的是Nginx的fastcgi缓存方案，属于纯净态缓存模式，所以前台登录态什么的基本都没了。如果要兼顾前台登录态，又想速度快，有没有解决方案？之前在分享张戈博客优化方案时提到，要实现网站轻度缓存，方案还是有的，比如 DB Cache Reloaded、Redis、memcached等。最近恰好遇到一个数据缓存需求，因此尝试了下memcached方案，下面简单分享下我的...

　　Nginx内容替换模块http_substitutions_filter_module及实用案例分享

　　说到Nginx的内容替换功能，大部分人应该都听说过Nginx内置的的subs_filter替换模块，但是这个模块有个缺憾，就是只能替换一次，而且还不支持正则表达式，这就有些鸡肋了。不过，我们可以集成一个第三方的替换模块：ngx_http_substitutions_filter_module，来实现我们的各种需求。经过测试，这个模块至少有如下实用功能：①、支持多次替换②...

　　最近在复习运维常见的监控告警软件的时候，想起了zabbix，于是先用军哥的lnmp一键安装包快速搭建了lnmp环境，然后成功编译安装了zabbix，特地将安装过程和遇到的问题记录在此，以便自己或有需要的人来参考翻阅。由于已有php运行环境，所以只需要编译安装zabbix即可。一、安装依赖组件yum -y install net-snmp net-snmp-devel perl-DB...

　　4月27日，有幸参加了由Aftership组织、CloudFlare的大牛孟鑫主讲的《CloudFlare 最新边缘API，打造无服务器(Serverless)架构》课程，感觉收获颇丰。因为这个课程非常接地气，大部分内容都在实战，而不像有些分享一味的讲理论、拼PPT，听得云里雾里，分享的时候是一个样子，真正你去尝试的时候却是另外的样子，duang~，当然，还有一个原因就是张戈博客目前也在用Clo...