[文章作者:张宴 本文版本:v1.0 最后修改:2008.11.20 转载请注明原文链接:http://blog.s135.com/post/380.htm]
Linux下限制网卡的带宽,可用来模拟服务器带宽耗尽,从而测试服务器在此时的访问效果。
1、安装iproute
yum -y install iproute
2、限制eth0网卡的带宽为50kbit:
/sbin/tc qdisc add dev eth0 root tbf rate 50kbit latency 50ms burst 1000
3、限制带宽为50kbit后,在百兆局域网中wget下载一个大文件:
[root@localhost ~]# wget http://192.168.1.7/test.zip
–19:40:27– http://192.168.1.7/test.zip
Connecting to 192.168.1.7:80… connected.
HTTP request sent, awaiting response… 200 OK
Length: 23862312 (23M) [application/zip]
Saving to: `test.zip'
继续阅读 »
有新来的小弟不懂怎么使用虚拟机NAT共享上网,由于平常也没怎么记这个东东
今天为了替他搞可以上网,特查了资料,现在留着记录备份
推荐VMware提供:桥接,Host Only和NAT三种连网方式. 我个人认为NAT方式较简单,用它来共享主机的IP,适合那种每台主机只允许一个IP的情况。具体设置如下:
1、VMware网络连接选择的是NAT方式。
2、VMware网络设置里的NAT项中查看VMnet8,NAT的网关设置为192.168.X.2。
3、在windows中,查看所有的网络连接,你应该发现除了原有的网卡之外,又多了Vmnet1和Vmnet8。vmnet1是hostonly的接口,而Vmnet8是就是我们要使用的NAT的网络接口。
继续阅读 »
一:Unison简介
Unison是windows和unix平台下都可以使用的文件同步工具,它能使两个文件夹(本地或网络上的)保持内容的一致。unison拥有其它一些同步工具或文件系统的相同特性,但也有自己的特点:
跨平台使用;
对内核和用户权限没有特别要求;
unison是双向的,它能自动处理两分拷贝中更新没有冲突的部分,有冲突的部分将会显示出来让用户选择更新策略;
只要是能连通的两台主机,就可以运行unison,可以直接使用socket连接或
继续阅读 »
Hadoop分布式文件系统:架构和设计要点
原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html
一、前提和设计目标
1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。
2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的低延迟问题,更关键的在于数据访问的高吞吐量。
3、HDFS以支持大数据集合为目标,一个存储在上面的典型文件大小一般都在千兆至T字节,一个单一HDFS实例应该能支撑数以千万计的文件。
4、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写,关闭之后就不需要改变。这一假设简化了数据一致性问题,使高吞吐量的数据访问成为可能。典型的如MapReduce框架,或者一个web crawler应用都很适合这个模型。
5、移动计算的代价比之移动数据的代价低。一个应用请求的计算,离它操作的数据越近就越高效,这在数据达到海量级别的时候更是如此。将计算移动到数据附近,比之将数据移动到应用所在显然更好,HDFS提供给应用这样的接口。
6、在异构的软硬件平台间的可移植性。
二、Namenode和Datanode
HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器,负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个,负责管理节点上它们附带的存储。在内部,一个文件其实分成一个或多个block,这些block存储在Datanode集合里。Namenode执行文件系统的namespace操作,例如打开、关闭、重命名文件和目录,同时决定block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。Namenode和Datanode都是设计成可以跑在普通的廉价的运行linux的机器上。HDFS采用java语言开发,因此可以部署在很大范围的机器上。一个典型的部署场景是一台机器跑一个单独的Namenode节点,集群中的其他机器各跑一个Datanode实例。这个架构并不排除一台机器上跑多个Datanode,不过这比较少见。

单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDFS元数据,因而用户数据就不需要通过Namenode(也就是说文件数据的读写是直接在Datanode上)。
继续阅读 »
mysql tuner-primer 是一个比较简单好用的检查mysql运行状态的shell脚本,它主要通过查询mysql中的variables设定和status 并结合当前系统情况给出mysql运行的状态和建议,主要包括以下内容的检查
slow query慢速查询
binlog 二进制日志
max connections 最大连接数
threads 线程数
key buffer size 关键字缓冲
query cache 查询缓存
sort operations 排序
join operations 多表联接
tmp tables 临时表
open files 打开文件数
table cache 表缓存
table locking 锁表
table scans 表扫描
innodb status
total memory used 内存使用
文件下载:
tuning-primer.zip
以前统计某个目录下的文件大小都用du * -sh
今天看了cu的一篇文章发现,这种方法统计出来的是占用磁盘空间大小,而不是准确的文件大小。
http://linux.chinaunix.net/bbs/thread-920176-2-1.html
如何统计当前目录下所有文件的大小?含子目录!精确到字节!
find ./ -type f | xargs ls -l | awk 'BEGIN { size=0;}{size+=$5};END{print size}'
文章引用自:
本文出自 “风吹云动” 博客,请务必保留此出处http://coolerfeng.blog.51cto.com/133059/76137
由于需要利用Nginx 在网通做一个电信的反代(动态网页),目前公司所有的站点都在电信,那么Nginx反代就需要做成高可用性,防止单点故障,于是就想到了做HA的强劲软件keepalived,keepalived做LVS健康检测的资料倒是比较多,不过做双机的资料不多,自己看了官方资料,利用VRRP做了双机高可用,特此记录:
1、服务器IP部署:
(1), Master(eth0:58.22.XXX.207/27接外网; eth1:10.2.1.207/8接内网)
(2), Backup(eth0:58.22.XXX.208/27接外网; eth1:10.2.1.208/8接内网)
VIP:58.22.XXX.202
网关:58.22.XXX.192
2、软件下载解压:
wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
tar zxvf keepalived-1.1.15.tar.gz
cd keepalived-1.1.15
3、编译安装
./configure –prefix=/
make
make install
这里需要动态链接库的支持,因为本例是使用Centos,所以可以直接使用yum 安装:
libpopt-dev
libssl-dev
继续阅读 »
不知道为什么,今天下班后吃完饭人感觉很郁闷!
好象没什么来由
莫名其妙的好象心理被一块石头压着
有一种想扁人的冲动!
老了,自己真的老了,到了更年期的时候了?