Python巨型集合运算的几种方法
我们有时候需要对巨型的集合（数量在百万，千万甚至更大）进行一下运算，包括交集、并集、差集。以下总结了在Python中实现的集中方法，以及其优缺点。 使用set方法： 并集 s.union(t) 或者 s | t 交集 s.intersection(t) 或者 s &
Mongodb Master-Slave模式配置及常见问题
master-slave是一种经典的数据复制模式，可以1个master + N个slave构成一个集群，一方面实现数据的冗余备份，一方面实现读写分离。在大型的web应用中经常使用。 配置mongodb的master-slave模式配置方式如下 keyFile 生成key_file
Python PIL & Pillow 安装
IntroductionPIL(Python Imaging Library)是python处理图片的库，Pillow is the “friendly PIL fork”。PIL最新版本是 1.1.7, 最近的更新是在2009年。推荐使用Pillow。 安装正常情况，只需pip
mongodb备份和恢复
dump & restore方法要备份一个数据库，mongorestore -d db /path/to/back_up例如:mongodump -d bookstore -o /data01/db_backup/该命令会dump出该DB所有的collection 从备
ssh 隧道和反向隧道
ssh 隧道使用场景我们经常要通过跳板机器去访问一些内部的机器，比如Production 环境中的一些服务器，正常模式下如果scp一些文件或者远程执行一些命令，都需要先登录跳板机器，再登录内部的服务器。ssh 隧道可以很方便的解决这个问题。 假设office里的PC是A， 跳板机
备份redis数据文件
看如下脚本，123456789#! /bin/bashPATH=/usr/local/bin:$PATHredis-cli SAVEdate=$(date +"%Y%m%d")cp /var/lib/redis/6379/dump.rdb /data01/cache_backup
回收被 mongodb 占用的硬盘空间
首先一点就是mongodb 不会释放已经占用的硬盘空间，即使drop collection也不行，除非drop database。如果一个db曾经有大量的数据一段时间后又删除的话，硬盘空间就是一个问题，如何收回被mongdodb占用的多余空间？方法有两种 1. dump &
备份nginx日志
我们经常需要每天rotate前一天的nginx log，如下是一个通用的脚本 123456789101112#! /bin/bashdate=$(date --date="-1 day" +"%Y-%m-%d")target_dir=/data01/log_backuptarge
格式化mongo shell的输出
mongo shell 默认的输出很乱，几乎没法阅读。解决办法如下。 .pretty() 方法db.collection.find().pretty()这样的输出会漂亮很多，每个field一行,1234567891011121314151617181920212223242526
nginx配置一个Basic Auth认证的下载服务
使用nginx可以方便的搭建一个服务列出服务器上指定目录下的文件供用户下载，本文讲述如何搭建该服务，并给出如何配置用户名密码。 建用户和文件夹 新建用户 shareuser 建data文件夹，并chown -R shareuser:shareuser /path/to/data
