听风细雨 – 大型网站运维

Centos双机配置LVS+HA+LD+SQUID+SSL高可用负载均衡图片服务器

接了个任务,配置一组图片服务器前端CACHE

给的服务器就两台,要求实现: 高可用+负载均衡+SSL支持
才两台服务器,考虑来考虑去还是使用LVS+Heatbeat+ld+squid3.0+openssl的方式实现

一、基础配置（两台服务器同）
A、更新
1、更换更新源(服务器位于国内做此操作)

2、修改本机DNS（各机房所在位置的DNS）
vi /etc/resolv.conf

3、更新

[sepatator]

B、优化
1、增加以下内容到/etc/sysctl.conf末尾

执行：

使之生效

2、加大可允许打开的文件句柄数

3、时间校对

安装Squid 及cdn配置(转)

#以下代码经由本人执行过.

1.1. 安装Squid

Squid,有趣的鱿鱼代理服务器

1.1.1. squid2.5安装

1.1.1.1. 下载&安装

增加文件描述符,

vi /etc/security/limits.conf

在未段加下两行

* soft nofile 10240

* hard nofile 10240

##############################################结束

[root@xok.cn squid]ulimit -HSn 10240

#增加临时端口范围

加下列行到/etc/rc.local

echo "1024 40000" > /proc/sys/net/ipv4/ip_local_port_range

重启服务器

groupadd -g5300 squid

useradd -u 5300 -g 5300 -s /sbin/nologin squid

export CFLAGES='-O2 -mcpu=pentium4 -march=pentium4 -mmmx -msse -msse2'

(可以根据你的CPU选择相应的参数

GCC-3.1以上可針對CPU最佳化：

Pentium2: -O2 -mcpu=i686 -march=i686 -mmmx

Pentium3: -O2 -mcpu=pentium3 -march=pentium3 -mmmx -msse

Pentium4: -O2 -mcpu=pentium4 -march=pentium4 -mmmx -msse -mss)

squid的2.5最新版本是squid-2.5.STABLE6,先下载安装包,再安装:

#cd /tmp

#mkdir squidinstall

#cd squidinstall

#wget http://www.squid-cache.org/Versions/v2/2.5/squid-2.5.STABLE6.tar.gz

#tar xzvf squid-2.5.STABLE6.tar.gz

#cd squid-2.5.STABLE6

#./configure –prefix=/usr/local/squid –enable-async-io=100 –enable-storeio=aufs,coss,diskd,ufs –enable-icmp –enable-kill-parent-hack –enable-cache-digests –enable-default-err-language=Simplify_Chinese enable-err-language="Simplify_Chinese English" –enable-poll –enable-removal-policies="lru,heap" –disable-ident-lookups –disable-internal-dns –disable-hostname-checks –enable-truncate –enable-underscores –enable-stacktrace –disable-arp-acl

#make

#make install

mkdir /cache

chown -R squid:squid /cache

chown squid:squid -R /usr/local/squid

chown -R squid:squid /usr/local/squid/var

看到类似于下图的提示,并且没有出现 Error Code :1 之类的错误提示,证明Squid已经安装完成了!

2.1.

配置文件squid.conf

vi /usr/local/squid/etc/squid.conf

找到:

cache_dir ufs

修改列:

cache_dir aufs /cache 1800 16 256

找到:

# http_port 3128

修改列:

http_port 8080 (去掉注释)

找到下列行:

acl QUERY urlpath_regex cgi-bin ?

no_cache deny QUERY

改为:

acl QUERY urlpath_regex -i cgi-bin ? .php$ .asp$ /$ ^$

no_cache deny QUERY

acl nodown urlpath_regex -i .mp3$ .avi$ .wma$ .exe$ .rar$ .zip$

no_cache deny nodown

#禁止cgi-bin,php,asp,mp3,avi,zip等缓存

找到:

httpd_accel_with_proxy off

修改列:httpd_accel_with_proxy on

#这个很重要,疏忽了它我找了大半天为什么…..

找到:

# cache_effective_user nobody

修改列:

cache_effective_user squid

cache_effective_group squid

# 以下挨着去找并修改:

cache_mem 300 MB(改为约实际内存1/3)

maximum_object_size 2048 KB

maximum_object_size_in_memory 800 KB

cache_store_log none

emulate_httpd_log on

dns_children 20

hosts_file /usr/local/squid/etc/hosts

redirect_children 20

refresh_pattern . 0 50% 60

在行# And finally deny all other access to this proxy后改

http_access allow all

httpd_accel_host virtual

httpd_accel_uses_host_header on

logfile_rotate 24

log_icp_queries off

buffered_logs on

coredump_dir /cache

ie_refresh on

好了,运行你的Squid吧!

#/usr/local/squid/sbin/squid start

Q:如何判断已经成功实现缓存功能

A:

#ps -waux | grep squid

#cat /var/log/squid/cache.log (有没有正常输出)

#netstat -a | more (找3128端口)

在IE里代理设置好缓存服务器的地址端口.打一个URL,如:

blog.xok.cn

正常显示,就成功啦!!!

如果乱打blogaaa.xok.cn看到:

您所请求的网址（URL）无法获取

——————————————————————————–

当尝试读取以下网址（URL）时： http://blogaaa.xok.cn/

发生了下列的错误：

无法将您输入的主机名称：blogaaa.xok.cn转换成 IP 地址 域名服务器返回以下讯息：

Name Error: The domain name does not exist. 这表示：

The cache was not able to resolve the hostname presented in the URL. Check if the address is correct. 缓存服务器无法解析您输入网址（URL）中的主机名称，请检查该名称是否正确。

本缓存服务器管理员：xxx@xok.cn

——————————————————————————–

Generated Sun, 11 Jul 2004 06:00:58 GMT by blog.xok.cn(squid/2.5.STABLE5)

3.1.

浅谈Squid的ACL语法.

ACL,Access Control List,访问控制列表.它的语法是: (在/usr/local/squid/etc/squid.conf里添加)

acl 表名 表类型 [-i] 表的值

http_access [allow/deny] 表名下面分条解释:

表名:可以自定义

表类型:表类型有

src 源地址:客户机的IP地址

dst 目的地址:服务器的IP地址

srcdomain 源域:客户机所属的域

dstdomain 目的域:服务器所属的域

url_regex URL正则表达式(字符串部分)

urlpath_regex URL正则表达式中的路径

time [星期] [时间段]

maxconn 客户端的最大连接数

-i 这个参数使Squid不区分大小写

表的值:随表的类型不同而不同

注意:time中的星期要用如下字符:

S (Sunday,星期日) M(Monday,星期一) T(Tuesday,星期二) W(Wednesday,星期三)

H(Thursday,星期四) F(Friday,星期五) A(Saturday,星期六)

时间段的表示方式是: XX:00-YY:00 如: 20:00-22:00

http_access 选项允许你设置一个表是允许(allow)还是拒绝(deny)

下面举几个例子: 防3721的ACL.在squid.conf中加入:

acl badurls dstdomain -i www.3721.com www.3721.net download.3721.com cnsmin.3721.com

http_access deny badurls

acl badkeywords url_regex -i 3721.com 3721.net

http_access deny badkeywords

解释:

badurls 和 badkeywords 是你自定义的表名.

dstdomain 是服务器的域名(目的域) 而 url_regex 则是URL正则表达式(字符串部分)包含的内容.

http_access 选项的 deny 则是把表badurls和表badkeywords的访问拒绝.

禁止下载Flash:

acl badfiles urlpath_regex -i .swf$

http_access deny badfiles

大家在今后的配置中,慢慢体会ACL的用法吧! 达到目的喽:

错误

您所请求的网址（URL）无法获取

——————————————————————————–

当尝试读取以下网址（URL）时： http://www.3721.com/ 发生了下列的错误：

Access Denied. 拒绝访问

Access control configuration prevents your request from being allowed at this time. Please contact your service provider if you feel this is incorrect. 当前的存取控制设定禁止您的请求被接受，如果您觉得这是错误的，请与您网路服务的提供者联系。

Squid配置详解

源码编译安装

当然你也可以到下面的官方网站下载最新的版本进行编译安装：

http://www.squid-cache.org/

其中STABLE稳定版、DEVEL版通常是提供给开发人员测试程序的，假定下载了最新 的稳定版squid-2.5.STABLE2.tar.gz，用以下命令解开压缩包：

tar xvfz squid-2.5.STABLE.tar.gz

用bz2方式压缩的包可能体积更小，相应的命令是：

tar xvfj squid-2.5.STABLE.tar.bz2

然后，进入相应目录对源代码进行配置和编译，命令如下：

cd squid-2.5.STABLE2

配置命令configure有很多选项，如果不清楚可先用“-help”查看。通常情况下，用到的选项有以下几个：

–prefix=/web/squid

指定Squid的安装位置，如果只指定这一选项，那么该目录下会有bin、sbin、man、conf等目录，而主要的配置文件此时在conf子目录中。为便于管理，最好用参数–sysconfdir=/etc把这个文件位置配置为/etc。

–enable-storeio=ufs,null

使用的文件系统通常是默认的ufs，不过如果想要做一个不缓存任何文件的代理服 务器，就需要加上null文件系统。

–enable-arp-acl

这样可以在规则设置中直接通过客户端的MAC地址进行管理，防止客户使用IP欺骗。

–enable-err-languages="Simplify_Chinese"

–enable-default-err-languages="Simplify_Chinese"

上面两个选项告诉Squid编入并使用简体中文错误信息。

–enable-linux-netfilter

允许使用Linux的透明代理功能。

–enable-underscore

允许解析的URL中出现下划线，因为默认情况下Squid会认为带下划线的URL是 非法的，并拒绝访问该地址。 整个配置编译过程如下：

./configure –prefix=/var/squid –sysconfdir=/etc –enable-arp-acl –enable-linux-netfilter –enable-pthreads –enable-err-language="Simplify_Chinese" –enable-storeio=ufs,null –enable-default-err-language="Simplify_Chinese" –enable-auth="basic" –enable-baisc-auth-helpers="NCSA" –enable-underscore

其中一些选项有特殊作用，将在下面介绍它们。 最后执行下面两条命令，将源代码编译为可执行文件，并拷贝到指定位置。

make

sudo make install

[编辑] 基本配置

安装完成后，接下来要对Squid的运行进行配置（不是前面安装时的配置）。所有项目都在squid.conf中完成。Squid自带的squid.conf包括非常详尽的说明，相当于一篇用户手册，对配置有任何疑问都可以参照解决。

在这个例子中，代理服务器同时也是网关，内部网络接口eth0的IP地址为192.168.0.1，外部网络接eth1的IP地址为202.103.x.x。下面是一个基本的代理所需要配置选项：

http_port 192.168.0.1:3128

默认端口是3128，当然也可以是任何其它端口，只要不与其它服务发生冲突即可。为了安全起见，在前面加上IP地址，Squid就不会监听外部的网络接口。 下面的配置选项是服务器管理者的电子邮件，当错误发生时，该地址会显示在错误页面上，便于用户联系：

cache_mgr start@soocol.com

以下这些参数告诉Squid缓存的文件系统、位置和缓存策略：

cache_dir ufs /var/squid cache_mem 32MB cache_swap_low 90 cache_swap_high 95

在这里，Squid会将/var/squid目录作为保存缓存数据的目录，每次处理的缓存大小是32兆字节，当缓存空间使用达到95%时，新的内容将 取代旧的而不直接添加到目录中，直到空间又下降到90%才停止这一活动。

如果不想Squid缓存任何文件，如某些存储空间有限的专有系统，可以使用 null文件系统（这样不需要那些缓存策略）：

cache_dir null /tmp

下面的几个关于缓存的策略配置中，较主要的是第一行，即用户的访问记录，可以通过分析它来了解所有用户访问的详尽地址：

cache_access_log /var/squid/access.log cache_log /var/squid/cache.log cache_store_log /var/squid/store.log

下面这行配置是在较新版本中出现的参数，告诉Squid在错误页面中显示的服务器名称：

visible_hostname No1.proxy

以下配置告诉Squid如何处理用户，对每个请求的IP地址作为单独地址处理：

client_netmask 255.255.255.255

如果是普通代理服务器，以上的配置已经足够。但是很多Squid都被用来做透明代理。

所谓透明代理，就是客户端不知道有代理服务器的存在，当然也不需要进行任何与代理有关的设置，从而大大方便了系统管理员。相关的选项有以下几个：

httpd_accel_host virtual httpd_accel_port 80 httpd_accel_with_proxy on httpd_accel_user_host_header on

在Linux上，可以用iptables/ipchains直接将对Web端口80的请求直接转发到Squid端口3128，由Squid接手，而用户浏览器仍然认为它访问的是对方的80端口。例如以下这条命令：

iptables -t nat -A PREROUTING -s 192.168.0.200/32 -p tcp –dport 80 -j REDIRECT 3128

就是将192.168.0.200的所有针对80端口的访问重定向到3128端口。

所有设置完成后，关键且重要的任务是访问控制。Squid支持的管理方式很多，使用起来也非常简单（这也是有人宁愿使用不做任何缓存的Squid，也 不愿意单独使用iptables的原因）。

Squid可以通过IP地址、主机名、MAC地址、用户/密码认证等识别用户，也可以通过域名、域后缀、文件类 型、IP地址、端口、URL匹配等控制用户的访问，还可以使用时间区间对用户进行管理，所以访问控制是Squid配置中的重点。

Squid用ACL （Access Control List，访问控制列表）对访问类型进行划分，用http_access deny 或allow进行控制。根据需求首先定义两组用户advance和normal，还有代表所有未指明的用户组all及不允许上网的baduser，配置代 码如下：

acl advance 192.168.0.2-192.168.0.10/32 acl normal src 192.168.0.11-192.168.0.200/32 acl baduser src 192.168.0.100/32 acl baddst dst www.soocol.com acl all src 0.0.0.0/0 http_access deny baduser http_access allow advance http_access allow normal

可以看出，ACL的基本格式如下： acl 列表名称 控制方式 控制目标 比如acl all src 0.0.0.0/0，其名称是all，控制方式是src源IP地址，控制目标是0.0.0.0/0的IP地址，即所有未定义的用户。出于安全考虑，总是在最后禁止这个列表。 下面这个列表代表高级用户，包括IP地址从192.168.0.2到192.168.0.10的所有计算机：

acl advance 192.168.0.2-192.168.0.20/32

下面这个baduser列表只包含一台计算机，其IP地址是192.168.0.100：

acl baduser 192.168.0.100/32

ACL写完后，接下来要对它们分别进行管理，代码如下：

http_access deny baduser http_access allow advance http_access allow normal

上面几行代码告诉Squid不允许baduser组访问Internet，但advance、normal组允许（此时还没有指定详细的权限）。由 于 Squid是按照顺序读取规则，会首先禁止baduser，然后允许normal。如果将两条规则顺序颠倒，由于baduser在normal范围中， Squid先允许了所有的normal，那么再禁止baduser就不会起作用。

特别要注意的是，Squid将使用allow-deny-allow-deny……这样的顺序套用规则。例如，当一个用户访问代理服务器时， Squid会顺序测试Squid中定义的所有规则列表，当所有规则都不匹配时，Squid会使用与最后一条相反的规则。

就像上面这个例子，假设有一个用户 的IP地址是192.168.0.201，他试图通过这台代理服务器访问Internet，会发生什么情况呢？我们会发现，他能够正常访问，因为 Squid找遍所有访问列表也没有和192.168.0.201有关的定义，便开始应用规则，而最后一条是deny，那么Squid默认的下一条处理规则 是allow，所以192.168.0.201反而能够访问Internet了，这显然不是我们希望的。所以在所有squid.conf中，最后一条规则 永远是http_access deny all，而all就是前面定义的“src 0.0.0.0”。

[编辑] 高级控制

前面说过，Squid的控制功能非常强大，只要理解Squid的行为方式，基本上就能够满足所有的控制要求。下面就一步一步来了解Squid是如何进行控制管理的。

通过IP地址来识别用户很不可靠，比IP地址更好的是网卡的MAC物理地址。要在Squid中使用MAC地址识别，必须在编译时加上“–enable-arp-acl”选项，然后可以通过以下的语句来识别用户：

acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b …

它直接使用用户的MAC地址，而MAC地址一般是不易修改的，即使有普通用户将自己的IP地址改为高级用户也无法通过，所以这种方式比IP地址可靠得多。

假如不想让用户访问某个网站应该怎么做呢？可以分为两种情况：一种是不允许访问某个站点的某个主机，比如ok的主机是ok.sina.com.cn，而其它的新浪资源却是允许访问的，那么ACL可以这样写：

acl sinapage dstdomain ok.sina.com.cn … … http_access deny ok … …

由此可以看到，除了ok，其它如http://www.sina.com.cn、news.sina.c…??常访问。

另一种情况是整个网站都不许访问，那么只需要写出这个网站共有的域名即可，配置如下：

acl qq dstdomain .tcccent.com.cn

注意tcccent前面的“.”，正是它指出以此域名结尾的所有主机都不可访问，否则就只有tcccent.com.cn这一台主机不能访问。

如果想禁止对某个IP地址的访问，如202.118.2.182，可以用dst来控制，代码如下：

acl badaddr dst 202.118.2.182

当然，这个dst也可以是域名，由Squid查询DNS服务器将其转换为IP。

还有一种比较广泛的控制是文件类型。如果不希望普通用户通过代理服务器下载MP3、AVI等文件，完全可以对他们进行限制，代码如下：

acl mmxfile urlpath_regex .mp3$ .avi$ .exe$ http_access deny mmxfile

看到regex，很多读者应该心领神会，因为这条语句使用了标准的规则表达式（又叫正则表达式）。它将匹配所有以.mp3、.avi等结尾的URL请求，还可以用-i参数忽略大小写，例如以下代码：

acl mmxfile urlpath_regex -i .mp3$

这样，无论是.mp3还是.MP3都会被拒绝。当然，-i参数适用于任何可能需要区分大小写的地方，如前面的域名控制。

如果想让普通用户只在上班时间可以上网，而且是每周的工作日，用Squid应当如何处理呢？看看下面的ACL定义：

acl worktime time MTWHF 8:30-12:00 14:00-18:00 http_access deny !worktime

首先定义允许上网的时间是每周工作日（星期一至星期五）的上午和下午的固定时段，然后用http_access 定义所有不在这个时间段内的请求都是不允许的。

或者为了保证高级用户的带宽，希望每个用户的并发连接不能太多，以免影响他人，也可以通过Squid控制，代码如下：

acl conncount maxconn 3 http_access deny conncount normal http_access allow normal

这样，普通用户在某个固定时刻只能同时发起三个连接，从第四个开始，连接将被拒绝。

总之，Squid的ACL配置非常灵活、强大，更多的控制方式可以参考squid.conf.default。

[编辑] 认证

用户/密码认证为Squid管理提供了更多便利，最常用的认证方式是NCSA。从Squid 2.5版本开始，NCSA认证包含在了basic中，而非以前单独的认证模块。下面来看看实现认证的具体操作。

首先在编译时配置选项应包括以下配置：

–enable-auth="basic" –enable-basic-auth-helpers="NCSA"

“make install”以后，需要将“helpers/basic_auth/NCSA/ncsa_auth”拷贝到用户可执行目录中，如/usr/bin（如 果在该目录中找不到这个执行文件，在编译时请使用make all而不是make，或者直接在该目录中执行make），然后需要借助Apache的密码管理程序htpasswd来生成用户名/密码对应的文件，就像 下面这行代码：

htpasswd -c /var/squid/etc/password guest

在输入两遍guest用户的密码后，一个guest用户就生成了。如果以后需要添加用户，把上面的命令去掉-c参数再运行即可。

Squid 2.5在认证处理上有了较大的改变，这里就只讨论2.5版本的处理方法，2.4及以下版本请参考squid.conf.default。在2.5版的squid.conf中，包括以下几个相关选项：

该选项指出了认证方式（basic)、需要的程序（ncsa_auth）和对应的密码文件（password）

auth_param basic program /usr/bin/ncsa_auth /var/squid/etc/password

指定认证程序的进程数

auth_param basic children 5

浏览器显示输入用户/密码对话框时的领域内容

auth_param basic realm My Proxy Caching Domain

基本的认证有效时间

auth_param basic credentialsttl 2 hours

普通用户需要通过认证才能访问Internet

acl normal proxy_auth REQUIRED http_access allow normal

通过以上的配置即可完成认证工作。有的读者可能要问：认证只针对普通用户，而高级用户是直接上网的，该怎么处理呢？其实，这两种用户是可以共存的。

如 前所述，Squid是顺序处理http_access的，所以在http_access处理过程中，如果先处理normal用户，那么当前用户无论是否属 于高级用户，都会被要求进行认证；相反如果先处理高级用户，剩下的就只有需要认证的普通用户了。例如以下配置代码：

… http_access allow normal (需要认证) http_access allow advance （不需要认证） …

不管是否为noauth用户，都要求进行用户名/密码验证。正确的方法是将二者位置交换，代码如下：

… http_access allow advance http_access allow normal …

这时，高级用户不会受到任何影响。

[编辑] 总结

下面把整个squid.conf总结一下：

[编辑] 服务器配置

http_port 192.168.0.1:3128 cache_mgr start@soocol.com cache_dir null /tmp cache_access_log /var/squid/access.log cache_log /var/squid/cache.log cache_store_log /var/squid/store.log visible_hostname No1.proxy client_mask 255.255.255.255 httpd_accel_host virtual httpd_accel_port 80 httpd_accel_with_proxy on httpd_accel_user_host_header on

[编辑] 用户分类

acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b … acl normal proxy_auth REQUIED acl all src 0.0.0.0

[编辑] 行为分类

acl mmxfile urlpath_regex .mp3$ .avi$ .exe$ acl conncount maxconn 3 acl worktime time MTWHF 8:30-12:00 14:00-18:00 acl sinapage dstdomain ok.sina.com.cn acl qq dstdomain .tcccent.com.cn

[编辑] 处理

http_access allow advance http_access deny conncount normal http_access deny !worktime http_access deny mmxfile http_access deny sinapage http_access deny qq http_access allow normal

配置后的状况是，advance组可以不受任何限制地访问Internet，而normal组则只能在工作时间上网，而且不能下载多媒体文件，不能访问某些特定的站点，而且发送请求不能超过3个。

通过本文的介绍，它可以了解Squid的基本能力。当然，它的能力远不止此，可以建立强大的代理服务器阵列，可以帮助本地的Web服务器提高性能，可以提高本地网络的安全性等。要想发挥它的功效，还需要进一步控制。

squid 配置详解＋认证

在此，我们要配置一个只对内部网络提供代理服务的Proxy Server。它将用户分为高级用户和普通用户两种，对高级用户采用网卡物理地址识别的方法，普通用户则需要输入用户名和口令才能正常使用。高级用户没有访问时间和文件类型的限制，而普通用户只在上班时可以访问以及一些其它的限制。

　　安装

　　可以从Squid站点www.squid-cache.org获取该软件的源代码安装包，包括gz和bz2两种压缩方式。也可以使用Linux的发行版，如Red Hat提供的RPM包。

　　RPM方式安装很简单，命令如下：

　　$ rpm -ivh Squid-2.x.STALBx.i386.rpm

　　不过笔者认为，即便是系统中已经默认安装了Squid，也应当先删掉然后安装最新的源代码包。因为开源软件会不断修正问题、提供更新的功能，使用最新版本可以保证最高的性能及安全，而且源代码方式可以完全定制系统。不过STABLE稳定版、DEVEL版通常是提供给开发人员测试程序的，假定下载了最新的稳定版squid-2.5.STABLE2.tar.gz，用以下命令解开压缩包：

$ tar xvfz squid-2.5.STABLE.tar.gz

　　用bz2方式压缩的包可能体积更小，相应的命令是：

$ tar xvfj squid-2.5.STABLE.tar.bz2

　　然后，进入相应目录对源代码进行配置和编译，命令如下：

$ cd squid-2.5.STABLE2

　　配置命令configure有很多选项，如果不清楚可先用“-help”查看。通常情况下，用到的选项有以下几个：

–prefix=/web/squid

#指定Squid的安装位置，如果只指定这一选项，那么该目录下会有bin、sbin、man、conf等目录，而主要的配置文件此时在conf子目录中。为便于管理，最好用参数–sysconfdir=/etc把这个文件位置配置为/etc。

–enable-storeio=ufs,null

#使用的文件系统通常是默认的ufs，不过如果想要做一个不缓存任何文件的代理服

务器，就需要加上null文件系统。

–enable-arp-acl

#这样可以在规则设置中直接通过客户端的MAC地址进行管理，防止客户使用IP欺骗。

–enable-err-languages="Simplify_Chinese"

–enable-default-err-languages="Simplify_Chinese"

#上面两个选项告诉Squid编入并使用简体中文错误信息。

–enable-linux-netfilter

#允许使用Linux的透明代理功能。

–enable-underscore

#允许解析的URL中出现下划线，因为默认情况下Squid会认为带下划线的URL是

非法的，并拒绝访问该地址。

　　整个配置编译过程如下：

./configure –prefix=/var/squid

–sysconfdir=/etc

–enable-arp-acl

–enable-linux-netfilter

–enable-pthreads

–enable-err-language="Simplify_Chinese"

–enable-storeio=ufs,null

–enable-default-err-language="Simplify_Chinese"

–enable-auth="basic"

–enable-baisc-auth-helpers="NCSA"

–enable-underscore

　　其中一些选项有特殊作用，将在下面介绍它们。

　　最后执行make和make install两条命令，将源代码编译为可执行文件，并拷贝到指定位置。

　　基本配置

　　安装完成后，接下来要对Squid的运行进行配置（不是前面安装时的配置）。所有项目都在squid.conf中完成。Squid自带的squid.conf包括非常详尽的说明，相当于一篇用户手册，对配置有任何疑问都可以参照解决。

　　在这个例子中，代理服务器同时也是网关，内部网络接口eth0的IP地址为192.168.0.1，外部网络接口eth1的IP地址为202.103.x.x。下面是一个基本的代理所需要配置选项：

　　http_port 192.168.0.1:3128

　　默认端口是3128，当然也可以是任何其它端口，只要不与其它服务发生冲突即可。为了安全起见，在前面加上IP地址，Squid就不会监听外部的网络接口。

　　下面的配置选项是服务器管理者的电子邮件，当错误发生时，该地址会显示在错误页面上，便于用户联系：

cache_mgr start@soocol.com

　　以下这些参数告诉Squid缓存的文件系统、位置和缓存策略：

cache_dir ufs /var/squid

cache_mem 32MB

cache_swap_low 90

cache_swap_high 95

　　在这里，Squid会将/var/squid目录作为保存缓存数据的目录，每次处理的缓存大小是32兆字节，当缓存空间使用达到95%时，新的内容将取代旧的而不直接添加到目录中，直到空间又下降到90%才停止这一活动。如果不想Squid缓存任何文件，如某些存储空间有限的专有系统，可以使用null文件系统（这样不需要那些缓存策略）：

cache_dir null /tmp

　　下面的几个关于缓存的策略配置中，较主要的是第一行，即用户的访问记录，可以通过分析它来了解所有用户访问的详尽地址：

cache_access_log /var/squid/access.log

cache_log /var/squid/cache.log

cache_store_log /var/squid/store.log

　　下面这行配置是在较新版本中出现的参数，告诉Squid在错误页面中显示的服务器名称：

visible_hostname No1.proxy

　　以下配置告诉Squid如何处理用户，对每个请求的IP地址作为单独地址处理：

client_mask 255.255.255.255

　　如果是普通代理服务器，以上的配置已经足够。但是很多Squid都被用来做透明代理。所谓透明代理，就是客户端不知道有代理服务器的存在，当然也不需要进行任何与代理有关的设置，从而大大方便了系统管理员。相关的选项有以下几个：

httpd_accel_host virtual

httpd_accel_port 80

httpd_accel_with_proxy on

httpd_accel_user_host_header on

　　在Linux上，可以用iptables/ipchains直接将对Web端口80的请求直接转发到Squid端口3128，由Squid接手，而用户浏览器仍然认为它访问的是对方的80端口。例如以下这条命令：

iptables -t nat -A PREROUTING -s 192.168.0.200/32 -p tcp –dport 80 -j REDIRECT 3128

　　就是将192.168.0.200的所有针对80端口的访问重定向到3128端口。

　　所有设置完成后，关键且重要的任务是访问控制。Squid支持的管理方式很多，使用起来也非常简单（这也是有人宁愿使用不做任何缓存的 Squid，也不愿意单独使用iptables的原因）。Squid可以通过IP地址、主机名、MAC地址、用户/密码认证等识别用户，也可以通过域名、域后缀、文件类型、IP地址、端口、URL匹配等控制用户的访问，还可以使用时间区间对用户进行管理，所以访问控制是Squid配置中的重点。Squid 用ACL（Access Control List，访问控制列表）对访问类型进行划分，用http_access deny 或allow进行控制。根据需求首先定义两组用户advance和normal，还有代表所有未指明的用户组all及不允许上网的baduser，配置代码如下：

acl advance 192.168.0.2-192.168.0.10/32

acl normal src 192.168.0.11-192.168.0.200/32

acl baduser src 192.168.0.100/32

acl baddst dst www.soocol.com

acl all src 0.0.0.0/0

http_access deny baduser

http_access allow advance

http_access allow normal

　　可以看出，ACL的基本格式如下：

　　acl 列表名称 控制方式 控制目标

　　比如acl all src 0.0.0.0/0，其名称是all，控制方式是src源IP地址，控制目标是0.0.0.0/0的IP地址，即所有未定义的用户。出于安全考虑，总是在最后禁止这个列表。

　　下面这个列表代表高级用户，包括IP地址从192.168.0.2到192.168.0.10的所有计算机：

acl advance 192.168.0.2-192.168.0.20/32

　　下面这个baduser列表只包含一台计算机，其IP地址是192.168.0.100：

acl baduser 192.168.0.100/32

　　ACL写完后，接下来要对它们分别进行管理，代码如下：

http_access deny baduser

http_access allow advance

http_access allow normal

　　上面几行代码告诉Squid不允许baduser组访问Internet，但advance、normal组允许（此时还没有指定详细的权限）。由于Squid是按照顺序读取规则，会首先禁止baduser，然后允许normal。如果将两条规则顺序颠倒，由于baduser在normal 范围中，Squid先允许了所有的normal，那么再禁止baduser就不会起作用。

　　特别要注意的是，Squid将使用allow-deny-allow-deny……这样的顺序套用规则。例如，当一个用户访问代理服务器时， Squid会顺序测试Squid中定义的所有规则列表，当所有规则都不匹配时，Squid会使用与最后一条相反的规则。就像上面这个例子，假设有一个用户的IP地址是192.168.0.201，他试图通过这台代理服务器访问Internet，会发生什么情况呢？我们会发现，他能够正常访问，因为 Squid找遍所有访问列表也没有和192.168.0.201有关的定义，便开始应用规则，而最后一条是deny，那么Squid默认的下一条处理规则是allow，所以192.168.0.201反而能够访问Internet了，这显然不是我们希望的。所以在所有squid.conf中，最后一条规则永远是http_access deny all，而all就是前面定义的“src 0.0.0.0”。

　　高级控制

　　前面说过，Squid的控制功能非常强大，只要理解Squid的行为方式，基本上就能够满足所有的控制要求。下面就一步一步来了解Squid是如何进行控制管理的。

　　通过IP地址来识别用户很不可靠，比IP地址更好的是网卡的MAC物理地址。要在Squid中使用MAC地址识别，必须在编译时加上“–enable-arp-acl”选项，然后可以通过以下的语句来识别用户：

acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b …

　　它直接使用用户的MAC地址，而MAC地址一般是不易修改的，即使有普通用户将自己的IP地址改为高级用户也无法通过，所以这种方式比IP地址可靠得多。

　　假如不想让用户访问某个网站应该怎么做呢？可以分为两种情况：一种是不允许访问某个站点的某个主机，比如ok的主机是ok.sina.com.cn，而其它的新浪资源却是允许访问的，那么ACL可以这样写：

acl sinapage dstdomain ok.sina.com.cn

… …

http_access deny ok

… …

　　由此可以看到，除了ok，其它如www.sina.com.cn、news.sina.com.cn都可以正常访问。

　　另一种情况是整个网站都不许访问，那么只需要写出这个网站共有的域名即可，配置如下：

acl qq dstdomain .tcccent.com.cn

　　注意tcccent前面的“.”，正是它指出以此域名结尾的所有主机都不可访问，否则就只有tcccent.com.cn这一台主机不能访问。

　　如果想禁止对某个IP地址的访问，如202.118.2.182，可以用dst来控制，代码如下：

acl badaddr dst 202.118.2.182

　　当然，这个dst也可以是域名，由Squid查询DNS服务器将其转换为IP。

　　还有一种比较广泛的控制是文件类型。如果不希望普通用户通过代理服务器下载MP3、AVI等文件，完全可以对他们进行限制，代码如下：

acl mmxfile urlpath_regex .mp3$ .avi$ .exe$

http_access deny mmxfile

　　看到regex，很多读者应该心领神会，因为这条语句使用了标准的规则表达式（又叫正则表达式）。它将匹配所有以.mp3、.avi等结尾的URL请求，还可以用-i参数忽略大小写，例如以下代码：

acl mmxfile urlpath_regex -i .mp3$

　　这样，无论是.mp3还是.MP3都会被拒绝。当然，-i参数适用于任何可能需要区分大小写的地方，如前面的域名控制。

　　如果想让普通用户只在上班时间可以上网，而且是每周的工作日，用Squid应当如何处理呢？看看下面的ACL定义：

acl worktime time MTWHF 8:30-12:00 14:00-18:00

http_access deny !worktime

　　首先定义允许上网的时间是每周工作日（星期一至星期五）的上午和下午的固定时段，然后用http_access 定义所有不在这个时间段内的请求都是不允许的。

　　或者为了保证高级用户的带宽，希望每个用户的并发连接不能太多，以免影响他人，也可以通过Squid控制，代码如下：

acl conncount maxconn 3

http_access deny conncount normal

http_access allow normal

　　这样，普通用户在某个固定时刻只能同时发起三个连接，从第四个开始，连接将被拒绝。

　　总之，Squid的ACL配置非常灵活、强大，更多的控制方式可以参考squid.conf.default。

　　认证

　　用户/密码认证为Squid管理提供了更多便利，最常用的认证方式是NCSA。从Squid 2.5版本开始，NCSA认证包含在了basic中，而非以前单独的认证模块。下面来看看实现认证的具体操作。

　　首先在编译时配置选项应包括以下配置：

–enable-auth="basic" –enable-basic-auth-helpers="NCSA"

　　“make install”以后，需要将“helpers/basic_auth/NCSA/ncsa_auth”拷贝到用户可执行目录中，如/usr/bin（如果在该目录中找不到这个执行文件，在编译时请使用make all而不是make，或者直接在该目录中执行make），然后需要借助Apache的密码管理程序htpasswd来生成用户名/密码对应的文件，就像下面这行代码：

htpasswd -c /var/squid/etc/password guest

　　在输入两遍guest用户的密码后，一个guest用户就生成了。如果以后需要添加用户，把上面的命令去掉-c参数再运行即可。

　　Squid 2.5在认证处理上有了较大的改变，这里就只讨论2.5版本的处理方法，2.4及以下版本请参考squid.conf.default。在2.5版的squid.conf中，包括以下几个相关选项：

#该选项指出了认证方式（basic)、需要的程序（ncsa_auth）和

对应的密码文件（password）

auth_param basic program /usr/bin/ncsa_auth /var/squid/etc/password

# 指定认证程序的进程数

auth_param basic children 5

# 浏览器显示输入用户/密码对话框时的领域内容

auth_param basic realm My Proxy Caching Domain

# 基本的认证有效时间

auth_param basic credentialsttl 2 hours

# 普通用户需要通过认证才能访问Internet

acl normal proxy_auth REQUIRED

http_access allow normal

　　通过以上的配置即可完成认证工作。有的读者可能要问：认证只针对普通用户，而高级用户是直接上网的，该怎么处理呢？其实，这两种用户是可以共存的。如前所述，Squid是顺序处理http_access的，所以在http_access处理过程中，如果先处理normal用户，那么当前用户无论是否属于高级用户，都会被要求进行认证；相反如果先处理高级用户，剩下的就只有需要认证的普通用户了。例如以下配置代码：

…

http_access allow normal (需要认证)

http_access allow advance （不需要认证）

…

　　不管是否为noauth用户，都要求进行用户名/密码验证。正确的方法是将二者位置交换，代码如下：

…

http_access allow advance

http_access allow normal

…

　　这时，高级用户不会受到任何影响。

　　总结

　　下面把整个squid.conf总结一下：

# 服务器配置

http_port 192.168.0.1:3128

cache_mgr start@soocol.com

cache_dir null /tmp

cache_access_log /var/squid/access.log

cache_log /var/squid/cache.log

cache_store_log /var/squid/store.log

visible_hostname No1.proxy

client_mask 255.255.255.255

httpd_accel_host virtual

httpd_accel_port 80

httpd_accel_with_proxy on

httpd_accel_user_host_header on

# 用户分类

acl advance arp 00:01:02:1f:2c:3e 00:01:02:3c:1a:8b …

acl normal proxy_auth REQUIED

acl all src 0.0.0.0

# 行为分类

acl mmxfile urlpath_regex .mp3$ .avi$ .exe$

acl conncount maxconn 3

acl worktime time MTWHF 8:30-12:00 14:00-18:00

acl sinapage dstdomain ok.sina.com.cn

acl qq dstdomain .tcccent.com.cn

# 处理

http_access allow advance

http_access deny conncount normal

http_access deny !worktime

http_access deny mmxfile

http_access deny sinapage

http_access deny qq

http_access allow normal

　　配置后的状况是，advance组可以不受任何限制地访问Internet，而normal组则只能在工作时间上网，而且不能下载多媒体文件，不能访问某些特定的站点，而且发送请求不能超过3个。

　　通过本文的介绍，它可以了解Squid的基本能力。当然，它的能力远不止此，可以建立强大的代理服务器阵列，可以帮助本地的Web服务器提高性能，可以提高本地网络的安全性等。要想发挥它的功效，还需要进一步控制。