SQUID Часто задаваемые вопросы

• 1 О Squid, этот FAQ, и другая информация по Squid
• 1.1 Что такое Squid?
• 1.2 Что такое кеширование объектов интернет?
• 1.3 Почему Squid?
• 1.4 Какая последняя версия Squid?
• 1.5 Кто автор Squid?
• 1.6 Где можно взять Squid?
• 1.7 Где подписаться на список рассылки Squid?
• 1.8 Web страницы посвященные Squid
• 1.9 Какой официальный статус Squid?
• 1.10 Распространители Squid FAQ
• 2 Инсталляция
• 2.1 Какие файлы следует брать?
• 2.2 Как мне установить Squid?
• 2.3 На каких операционных системах работает Squid?
• 2.4 Для чего нужен файл squid.conf?
• 2.5 А есть ли пример squid.conf?
• 2.6 Как мне запустить squid?
• 2.7 Как мне узнать что Squid запущен?
• 2.8 Как использовать патчи?
• 3 Конфигурирование
• 3.1 Как сделать иерархию прокси?
• 3.2 Как мне подключиться к иерархии NLANR?
• 3.3 Почему я должен подключаться к иерархии NLANR?
• 3.4 Как мне зарегистрировать свой кеш на NLANR?
• 3.5 Как мне найти ближайшие ко мне кеши и организовать родительские/дочерние/братские отношения с ними?
• 3.6 Что такое режим httpd-ускорителя?
• 3.7 Как мне задать, чтобы Squid работал за брандмауэром?
• 3.8 У меня несколько dnsserver процессов, которые не используются, могу я уменьшить их число в squid.conf?
• 3.9 Мы бы хотели использовать Squid, но нам нужно использовать socks для подключения к внешнему миру. Поддерживает ли Squid Socks?
• 3.10 Как Squid решает когда обновить объект кеша?
• 4 Squid и браузеры
• 4.1 Ручная настройка Netscape
• 4.2 Автоматическая настройка Netscape
• 4.3 Настройка Lynx и Mosaic
• 4.4 Настройка Microsoft Internet Explorer
• 4.5 Настройка Netmanage Internet Chameleon WebSurfer
• 4.6 Как сделать, чтобы пользователи браузеров пользовались кешем без их настройки?
• 4.6.1 Прозрачный прокси для Solaris, SunOS, и BSD систем
• 4.6.2 Прозрачный прокси для Linux
• 5 Описание работы
• 5.1 Как посмотреть системную статистику работы Squid?
• 5.2 Что я могу узнать из log файлов?
• 5.3 Какие log файлы я могу удалять?
• 5.4 Как мне найти самый большой объект кеша?
• 5.5 Я хочу перезапустить Squid с чистым кешем
• 6 Кеш-менеджер
• 6.1 Что такое кеш-менеджер?
• 6.2 Как его установить?
• 6.3 Настройка CERN httpd 3.0 для работы с кеш-менеджером
• 6.4 Настройка Apache для работы с кеш-менеджером
• 6.5 Задание ACL (списка пользователей) для кеш-менеджера в squid.conf
• 6.6 Почему он спрашивает у меня какой-то пароль и URL?
• 6.7 Я хочу удаленно остановить кеш. Какой пароль?
• 6.8 Как сделать, чтобы в поле cache host по умолчанию было имя моего кеша?
• 6.9 Какая разница между TCP и UDP соединениями Squid?
• 6.10 Он говорит, что срок хранения кеша истечет в 1970 году!
• 6.11 Что значат записи мета-данных?
• 6.12 Pool for in-memory objects огромен и не становится меньше! Это что утечка памяти?
• 6.13 Значение поля "Total accounted" не совпадает с размером занимаемым моим squid!
• 6.14 В разделе utilization, что есть Other?
• 6.15 В разделе utilization, почему колонка Transfer KB/sec всегда нулевая?
• 6.16 В разделе utilization, что значит Object Count?
• 6.17 В разделе utilization, что значит Max/Current/Min KB?
• 6.18 О чем раздел I/O?
• 6.19 Что находится в разделе Objects?
• 6.20 Для чего раздел VM Objects?
• 6.21 Что значит AVG RTT?
• 6.22 В разделе IP cache , какая разница между hit, negative hit и miss?
• 6.23 Что значит содержимое раздела IP cache?
• 6.24 Как анализировать использование памяти из данных cachemgr.cgi?
• 6.25 Что такое fqdncache и чем отличается от ipcache?
• 7 Troubleshooting
• 7.1 Почему у меня нет доступа к прокси: "Proxy Access Denied"?
• 7.2 Не работает local_domain.
• 7.3 Когда кеш пытается получить объект с братского кеша, получает Connection Refused, даже когда тот кеш считает, что объект получен успешно.
• 7.4 Не хватает файловых дескрипторов
• 7.5 Мой squid периодически вываливается с ошибкой, что не может malloc(3) больше памяти, но у меня достаточно ОЗУ!
• 7.6 Что за странные строки об удалении объектов?
• 7.7 Почему я не могу задать cache_effective_user в nobody под Linux?
• 7.8 Могу я указать Windows NT FTP серверу выводить директории в Unix формате?
• 7.9 Почему так часто появляются сообщения ERR_NO_CLIENTS_BIG_OBJ?
• 7.10 Почему Squid требует так много памяти!?
• 7.11 Почему я получаю "Ignoring MISS from non-peer x.x.x.x"?
• 8 Как Squid работает?
• 8.1 Какие объекты кешируются?
• 8.2 Что за протокол ICP?
• 8.3 Что такое dnsserver?
• 8.4 Для чего нужна программftpget?
• 8.5 FTP PUT не работает
• 8.6 Что такое иерархия кешей? Что такое родительские и братские кеши?
• 8.7 Каков алгоритм разрешения кеша Squid?
• 8.8 Над какими возможностями Squid разработчики сейчас работают?
• 8.9 Где найти информацию о загрузке Internet трафика
• 8.10 Какие преимущества кеширования совместно с кеширующей системой NLANR?
• 8.11 Где найти информацию по брандмауэрам?

1 О Squid, этот FAQ, и другая информация по Squid

1.1 Что такое Squid?

Squid состоит из - основной программы squid, программы обработки DNS запросов dnsserver, программы скачивания ftp данных ftpget, а также некоторых инструментов управления. Когда squid запускается, он запускает заданное число dnsserver-ов, каждый из которых работает самостоятельно, блокируя только DNS запросы. Таким образом уменьшается общее время ожидания ответа DNS.

Squid берет свое начало с основанного ARPA проекта Harvest. http://harvest.cs.colorado.edu/

1.2 Что такое кеширование объектов интернет?

1.3 Почему Squid?

Нам нужно было как-то отличаться от кеша Harvest. Squid было кодовое название на начальной стадии разработки, а потом оно прилипло.

1.4 Какая последняя версия Squid?

1.5 Кто автор Squid?

1.6 Где можно взять Squid?

ftp://squid.nlanr.net/pub/.

http://squid.nlanr.net/Squid/mirrors.html

1.7 Где подписаться на список рассылки Squid?

• squid-users@nlanr.net: общая информация о Squid.

Подписка через squid-users-request@nlanr.net
• squid-users-digest: дайджест (ежедневный) того же.

Подписка через squid-users-digest-request@nlanr.net
• squid-announce@nlanr.net: Анонс новых версий (только получение).

Подписка через squid-announce-request@nlanr.net
• squid-bugs@nlanr.net : Закрытый список для сообщения о багах.
• squid@nlanr.net: Закрытый список с пожеланиями и предложениями.
• squid-faq@nlanr.net: Закрытый список для обратной связи, обновлений и дополнений в Squid FAQ.

1.8 Web страницы посвященные Squid.

1.9 Какой официальный статус Squid?

This program is free software; you can redistribute it and/or
modify it under the terms of the GNU General Public License as
published by the Free Software Foundation; either version 2 of the
License, or (at your option) any later version.

This program is distributed in the hope that it will be useful, but
WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
General Public License for more details.

You should have received a copy of the GNU General Public License
along with this program; if not, write to the Free Software
Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.

1.10 Распространители Squid FAQ

Пожалуйста шлите исправления, обновления и комментарии на: squid-faq@nlanr.net.

2 Инсталляция

2.1 Какие файлы следует брать?

2.2 Как мне установить Squid?

% gzip -dc squid-x.y.z-src.tar.gz | tar xvf -

Затем нужно отконфигурировать, откомпилировать и установить

% cd squid-x.y.z
% ./configure
% make all
% make install

Лучше всего использовать GNU C (gcc) компилятор. Последние версии имеют формат ANSI C, так что старые компиляторы могут не работать. GNU C компилятор доступен на ftp://prep.ai.mit.edu/pub/gnu/. Можно задать несколько параметров конфигурационного скрипта. Наиболее полезный --prefix для установки в другую директорию. По умолчанию это /usr/local/squid.Чтобы поменять следует сделать следующее:

% cd squid-x.y.z
% ./configure --prefix=/some/other/directory/squid

2.3 На каких операционных системах работает Squid?

2.4 Для чего нужен файл squid.conf?

2.5 А есть ли пример squid.conf?

2.6 Как мне запустить squid?

/usr/local/squid/bin/RunCache &

2.7 Как мне узнать что Squid запущен?

% client http://www.netscape.com/ > test

Существуют и другие HTTP программы-клиенты работающие в командной строке. Эти две Вы можете найти полезными:url_get, по адресу ftp://ftp.pasteur.fr/pub/Network/url_get/, иechoping, по адресу ftp://ftp.pasteur.fr/pub/Network/echoping/. Также проверьте наиболее важные файлы access.log иcache.log.

2.8 Как использовать патчи?

 cd squid-1.1.x
 patch < /tmp/fixes.patch

Но время от времени могут попадаться патчи
созданные из директории 'src', тогда нужно:

 cd squid-1.1.x/src
 patch < /tmp/fixes.patch

Если программа patch будет чем-то недовольна
и будет отказываться работать надо будет взять более
новую версию, например здесь GNU FTP site.

3 Конфигурирование

3.1 Как сделать иерархию прокси?

Например, приведенный нижеsquid.conf на childcache.example.com сконфигурирован так, что его кеш получает данные с одного родительского и с двух братских кешей:

# squid.conf - On the host: childcache.example.com
#
# Format is: hostname type http_port udp_port
#
cache_host parentcache.example.com parent 3128 3130
cache_host childcache2.example.com sibling 3128 3130
cache_host childcache3.example.com sibling 3128 3130

# squid.conf - On the host: sv.cache.nlanr.net
#
# Format is: hostname type http_port udp_port
#

cache_host electraglide.geog.unsw.edu.au parent 3128 3130
cache_host cache1.nzgate.net.nz parent 3128 3130
cache_host pb.cache.nlanr.net parent 3128 3130
cache_host it.cache.nlanr.net parent 3128 3130
cache_host sd.cache.nlanr.net parent 3128 3130
cache_host uc.cache.nlanr.net sibling 3128 3130
cache_host bo.cache.nlanr.net sibling 3128 3130
cache_host_domain electraglide.geog.unsw.edu.au .au
cache_host_domain cache1.nzgate.net.nz .au .aq .fj .nz
cache_host_domain pb.cache.nlanr.net .uk .de .fr .no .se .it
cache_host_domain it.cache.nlanr.net .uk .de .fr .no .se .it
cache_host_domain sd.cache.nlanr.net .mx .za .mu .zm

3.2 Как мне подключиться к иерархии NLANR?

3.3 Почему я должен подключаться к иерархии NLANR?

3.4 Как мне зарегистрировать свой кеш на NLANR?

cache_announce 24
announce_to sd.cache.nlanr.net:3131

Примечание: анонсирование кеша это не тоже
самое что вступление в иерархию NLANR. Вы можете
вступить в иерархию NLANR без регистрации, и можно
зарегистрироваться без вступления в иерархию
кешей NLANR.

3.5 Как мне найти ближайшие ко мне кеши и организовать родительские/дочерние/братские отношения с ними?

3.6 Что такое режим httpd-ускорителя?

Ускоритель кеширует приходящие запросы для исходящих данных (например, тех что Вы опубликовали на своем сервере). Тем самым он забирает загрузку с Вашего HTTP сервера и внутренней сети. Вы убираете сервер с 80 порта (или какой он у Вас там), и подставляете ускоритель, который пробрасывает HTTP данные с "реального" HTTP сервера (только ускоритель должен знать где реальный сервер). Внешний мир не видит ни какой разницы (кроме разве увеличения скорости доступа).

Кроме разгрузки реального web сервера, ускоритель может находиться снаружи брандмауэра или любого другого узкого места в сети и общаться с HTTP серверами внутри, уменьшая траффик через узкое место и упрощая конфигурацию. Два или более ускорителя соединенные через ICP могут увеличить скорость и устойчивость web сервера к любому одиночному сбою.

Редиректор Squid может заставить ускоритель работать как одну связную машину для нескольких серверов. Если Вам нужно перенести части Вашей файловой системы с одного сервера на другой, или если отдельно администрируемые HTTP сервера должны логически появляться под единой URL иерархией, ускоритель сделает это.

Если Вы хотите лишь кешировать "остальной мир" для увеличения эффективности доступа локальных пользователей в Интернет, то режим ускорителя следует отключить. Компании, которые держат свой web-сервер используют ускоритель для повышения эффективности доступа к нему. Те же, кому важен эффективный доступ локальных пользователей в Интернет используют кеширующий прокси. Многие, и мы в том числе пользуются и тем и этим.

Сравнение кеша Squid и его аналога Harvest показывает увеличение на порядок производительности первого по сравнению с CERN и другими широко распространнеными кеширующими программами. Это преимущество позволяет кешу работать как httpd ускорителю, кешу сконфигурированному как главный web-сервер (на 80 порту), перенаправляя неправильные ссылки на реальный httpd (на 81 порт).

В такой конфигурации администратор web узла переносит все не подлежащие кешированию URL на 81 порт httpd. Кеш обслуживает ссылки на кешируемые объекты, такие как HTML страницы и GIF-ы, а реальный httpd (на 81 порту) - все некешируемые, например запросы и cgi-bin программы. Если пользование сервером напрямую зависит от кешируемых объектов, то такая конфигурация может существенно снизить загрузку web-сервера.

При этом помните, что лучше всего не запускать squid как httpd-ускоритель и как кеширующий прокси одновременно, так как они имеют различные рабочие режимы. Более высокую производительность Вы получите запуская их на разных машинах. Все же Squid может одновременно работать и как httpd-ускоритель и как кеширующий прокси, если напротив httpd_accel_with_proxy Вы поставите on в своем squid.conf.

3.7 Как мне задать, чтобы Squid работал за брандмауэром?

Нужно воспользоваться директивой inside_firewall в squid.conf чтобы задать список внутренних по отношению к брандмауэру доменов. Например:

inside_firewall example.com

Можно задать несколько:

inside_firewall example.com example.org example.net

Использование inside_firewall приводит к двум путям выбора сервера. Объекты не подпадающие ни под один из перечисленных доменов будут рассматриваться вне брандмауэра. Для этого же случая:

• Не будет DNS запросов для URL этого хоста.
• Кеш будет всегда забирать объект с одного из родительского или братского кеша.

3.8 У меня несколько dnsserver процессов, которые не используются, могу я уменьшить их число в squid.conf?

Поэтому очень важно чтобы было достаточно dnsserver процессов чтобы обработать каждое обращение, в противном случаеsquid может неожиданно повисать. На практике надо определить максимальное число dnsserver-ов, которые могут понадобиться squid, и добавить еще два на всякий случай. Другими словами, если Вы видели в работе только три dnsserver процесса, оставьте как минимум пять. И помните, чтоdnsserver маленький и при простое особо не загружает систему.

3.9 Мы бы хотели использовать Squid, но нам нужно использовать socks для подключения к внешнему миру. Поддерживает ли Squid Socks?

Чтобы пользоваться socks5, не требуется никак изменений кода Squid. Все что надо, это добавить строку -Dbind=SOCKSbind etc в строку компиляции и -lsocks в строку линков.

3.10 Как Squid решает когда обновить объект кеша?

4 Squid и браузеры

4.1 Ручная настройка Netscape

Здесь вид экрана ручной настройки прокси Netscape Navigator.

4.2 Автоматическая настройка Netscape

Здесь вид экрана автоматической настройки прокси Netscape Navigator. Вы также можете обратиться к документации Netscape по системе конфигурации прокси Navigator при помощи JavaScript по адресу http://home.netscape.com/eng/mozilla/2.0/relnotes/demo/proxy-live.html

Здесь пример автоконфигурации на JavaScript от Oskar Pearson:

//We (www.is.co.za) run a central cache for our customers that they
//access through a firewall - thus if they want
//to connect to their intranet
//system (or anything in their domain at all) they have to connect
//directly - hence all the "fiddling" to see
//if they are trying to connect
//to their local domain.

//Replace each occurrence of company.com with your domain name
//and if you have some kind of intranet system, make sure
//that you put it's name in place of "internal" below.

//We also assume that your cache is called "cache.company.com", and
//that it runs on port 8080. Change it down at the bottom.

//(C) Oskar Pearson and the Internet Solution (http://www.is.co.za)
function FindProxyForURL(url, host)
{
//If they have only specified a hostname, go directly.
if (isPlainHostName(host))
return "DIRECT";
//These connect directly if the machine they are trying to
//connect to starts with "intranet" - ie http://intranet
//Connect directly if it is intranet.*
//If you have another machine that you want them to
//access directly, replace "internal*" with that
//machine's name
if (shExpMatch( host, "intranet*")||
shExpMatch(host, "internal*"))
return "DIRECT";
//Connect directly to our domains (NB for Important News)
if (dnsDomainIs( host,"company.com")||
//If you have another domain that you wish to connect to
//directly, put it in here
dnsDomainIs(host,"sistercompany.com"))
return "DIRECT";
//So the error message "no such host" will appear through the
//normal Netscape box - less support queries :)
if (!isResolvable(host))
return "DIRECT";
//We only cache http, ftp and gopher
if (url.substring(0, 5) == "http:" ||
url.substring(0, 4) == "ftp:"||
url.substring(0, 7) == "gopher:")
//Change the ":8080" to the port that your cache
//runs on, and "cache.company.com" to the machine that
//you run the cache on
return "PROXY cache.company.com:8080; DIRECT";
//We don't cache WAIS
if (url.substring(0, 5) == "wais:")
return "DIRECT";
else
return "DIRECT";
}

4.3 Настройка Lynx и Mosaic

% setenv http_proxy http://mycache.example.com:3128/
% setenv gopher_proxy http://mycache.example.com:3128/
% setenv ftp_proxy http://mycache.example.com:3128/

Для Lynx настройки прокси можно сделать в файле lynx.cfg. При такой настройке все пользователи Lynx смогут пользоваться прокси без дополнительного задания окружения для каждого пользователя. Например:

 http_proxy:http://mycache.example.com:3128/
 ftp_proxy:http://mycache.example.com:3128/
 gopher_proxy:http://mycache.example.com:3128/

4.4 Настройка Microsoft Internet Explorer

Здесь вид экрана настройки прокси Internet Explorer.

Microsoft также собирается поддерживать как у Netscape автоматическую настройку прокси через JavaScript. Сейчас, только MSIE версии 3.0a для Windows 3.1 и Windows NT 3.51 поддерживает эту возможность (например, в версии 3.01 build 1225 для Windows 95 и NT 4.0, ее нет).

Если Ваша версия MSIE поддерживает такую возможность, выберите Options из меню View. Щелкните на закладке Advanced и в левом нижнем углу щелкните на кнопке Automatic Configuration. Впишите URL Вашего файла JavaScript. Потом перезапустите MSIE. MSIE будет пересчитывать файл JavaScript каждый раз при запуске.

4.5 Настройка Netmanage Internet Chameleon WebSurfer

Вид экрана прилагается.

В этом же окне есть кнопка вызывающая окно исключений, где можно задать хосты или домены, котрые не надо кешировать. Здесь вид экрана.

4.6 Как сделать, чтобы пользователи браузеров пользовались кешем без их настройки?

4.6.1 Прозрачный прокси для Solaris, SunOS, и BSD систем

4.6.2 Прозрачный прокси для Linux

Warning: this technique has several significant shortcomings!

В файле access.log не отображаются имена хостов в URL.

Вместо этого печатаются исходные IP адреса. Это из-за того, что адрес назначения определяется системным вызовом getsockname(2). Это значит, что родительский или братский кеш работают не корректно. Сами эти кеши пишут в URL'е имена, а не IP адреса. Эти URL'ы разные и не происходит попадания в кеш при повторном запросе. Это значит, что Вы теряете преимущество от иерархического прокси, если используете прозрачное кеширование.

Данный метод поддерживает только HTTP протокол, и не поддерживает gopher или FTP

Так как в браузере не установлена поддержка прокси, то он использует FTP протокол (с 21 портом назначения), а не требуемый HTTP. Нельзя задать правила перенаправления на прокси, так как браузер использует другой протокол. Та же ситуация и с gopher. Обычно все запросы к прокси транслируются клиентом в HTTP протокол, но раз клиент ничего не знает о перенаправлении, то ничего не происходит.

 #
 # Code maturity level options
 #
 CONFIG_EXPERIMENTAL=y
 #
 # Networking options
 #
 CONFIG_FIREWALL=y
 # CONFIG_NET_ALIAS is not set
 CONFIG_INET=y
 CONFIG_IP_FORWARD=y
 # CONFIG_IP_MULTICAST is not set
 CONFIG_IP_FIREWALL=y
 # CONFIG_IP_FIREWALL_VERBOSE is not set
 CONFIG_IP_MASQUERADE=y
 CONFIG_IP_TRANSPARENT_PROXY=y
 CONFIG_IP_ALWAYS_DEFRAG=y
 # CONFIG_IP_ACCT is not set
 CONFIG_IP_ROUTER=y

/etc/rc.d/rc.firewall:

#!/bin/sh
# rc.firewall Linux kernel firewalling rules
FW=/sbin/ipfwadm

# Flush rules, for testing purposes
for i in I O F # A # If we enabled accouting too
do
${FW} -$i -f
done

# Default policies:
${FW} -I -p rej # Incoming policy: reject (quick error)
${FW} -O -p acc # Output policy: accept
${FW} -F -p den # Forwarding policy: deny

# Input Rules:

# Loopback-interface (local access, eg, to local nameserver):
${FW} -I -a acc -S localhost/32 -D localhost/32

# Local Ethernet-interface:

# Redirect to Squid proxy server:
${FW} -I -a acc -P tcp -D default/0 80 -r 80

# Accept packets from local network:
${FW} -I -a acc -P all -S localnet/8 -D default/0 -W eth0

# Only required for other types of traffic (FTP, Telnet):

# Forward localnet with masquerading (udp and tcp, no icmp!):
${FW} -F -a m -P tcp -S localnet/8 -D default/0
${FW} -F -a m -P udp -S localnet/8 -D default/0


Весь траффик локальной сети с любым адресом
назначения перенаправляется на локальный 80 порт.
Правила можно посмотреть и они будут выглядеть
как-то так:

 IP firewall input rules, default policy: reject
 type prot source destination ports
 acc all 127.0.0.1 127.0.0.1 n/a
 acc/r tcp 10.0.0.0/8 0.0.0.0/0 * -> 80 => 80
 acc all 10.0.0.0/8 0.0.0.0/0 n/a
 acc tcp 0.0.0.0/0 0.0.0.0/0 * -> *

 http_port 80
 icp_port 3130
 httpd_accel virtual 80
 httpd_accel_with_proxy on

Я протестировал на Windows 95 как с Microsoft Internet Explorer 3.01 так и Netscape Communicator и это работает с обоими с отключенными установками прокси.

Один раз squid кажется зациклился когда я указал браузеру на локальный 80 порт. Но этого можно избежать добавив строку:

 ${FW} -I -a rej -P tcp -S localnet/8 -D dec/32 80


 IP firewall input rules, default policy: reject
 type prot source destination ports
 acc all 127.0.0.1 127.0.0.1 n/a
 rej tcp 10.0.0.0/8 10.0.0.1 * -> 80
 acc/r tcp 10.0.0.0/8 0.0.0.0/0 * -> 80 => 80
 acc all 10.0.0.0/8 0.0.0.0/0 n/a
 acc tcp 0.0.0.0/0 0.0.0.0/0 * -> *

Если на брандмауэре или прокси сервере работает DNS сервер (что является хорошей идеей IMHO) пусть рабочие станции используют его.

5 Описание работы

5.1 Как посмотреть системную статистику работы Squid?

5.2 Что я могу узнать из log файлов?

access.log, общий формат:

 Host Ident - [D/M/Yr:H:M:S TZ] "Method URL" Status Size

 Time Elapsed Host Status/HTTP/Hier_Status Size Method URL

Time Elapsed Host Status/HTTP Size Method
 URL Ident Hier_Status/Hier_Host

 [D/M/Yr:H:M:S TZ] URL Hier_Status Hier_Host

Host

IP адреса запрашиваемых хостов (в версии v1.1, если задано может быть FQDN).

Ident

Обычно '-'. В версии 1.1 ответ Ident (RFC 931), если задано.

Method

GET, HEAD, POST для TCP запросов или ICP_QUERY для UDP запросов.

URL

Запрашиваемый объект.

Status

Результат запроса (TCP_HIT для ранее кешируемых объектов, TCP_MISS если запрашиваемый объект взят не из локального кеша, UDP_HIT и UDP_MISS то же для братских запросов).

HTTP

Возвращаемый HTTP код: 200 для удачных, 000 для UDP запросов, 403 для перенаправлений, 500 для ошибок, и т.д.

Size

Количество байт переданных клиенту.

Hier_Status

Результат запросов к братским/родительским кешам. Может быть PARENT_MISS, SIBLING_HIT и т.д.

Hier_Host

Хост, с которого взят объект.

Time

Время с Jan 1, 1970 в миллисекундах.

Elapsed

Затраченное время в миллисекундах.

5.3 Какие log файлы я могу удалять?

kill -USR1 `cat /usr/local/squid/logs/squid.pid`

Примечание: Строка logfile_rotate в squid.conf делает необязательным ручное удаление старых log файлов. Просто установите значение logfile_rotate в желаемую величину. Как только значение logfile_rotate будет достигнуто, старый log будет удален автоматически. Выставите нужное значение logfile_rotate и пропишите в crontab посылку squid 'у сигнала SIGUSR1, например в полночь каждого дня:

0 0 * * * /bin/kill -USR1 `cat /usr/local/squid/logs/squid.pid`

Единственный файл, котрый нельзя удалять это log, который обычно находится в первой cache_dir директории. Этот файл содержиит данные, необходимые для восстановления кеша призапуске Squid. Удаление этого файла приведет к потере кеша.

5.4 Как мне найти самый большой объект кеша?

sort -r -n +4 -5 access.log | awk '{print $5, $7}' | head -25

5.5 Я хочу перезапустить Squid с чистым кешем

Другой, возможно более простой, удалить файл log из директории cache_dir.

6 Кеш-менеджер

6.1 Что такое кеш-менеджер?

6.2 Как его установить?

После того как Вы изменили конфигурационные файлы сервера, нужно или перезапустить web сервер, либо послать ему SIGHUP, чтобы он пересчитал файлы настройки.

Когда Вы закончите конфигурировать web сервер, то сможете подключиться браузером к кеш-менеджеру по URL:

http://www.example.com/Squid/cgi-bin/cachemgr.cgi

6.3 Настройка CERN httpd 3.0 для работы с кеш-менеджером

 Protection MGR-PROT {
 Mask @(workstation.example.com)
 }

Также следует добавить:

 Protect /Squid/* MGR-PROT
 Exec /Squid/cgi-bin/*.cgi /usr/local/squid/bin/*.cgi

6.4 Настройка Apache для работы с кеш-менеджером

ScriptAlias /Squid/cgi-bin/ /usr/local/squid/cgi-bin/

Затем, надо задать рабочие станции имеющие доступ к кеш-менеджеру. Это задается в файле access.conf Apache, а не в squid.conf. В конце access.conf, вставьте:

 <Location /Squid/cgi-bin/cachemgr.cgi>
 order deny,allow
 deny from all
 allow from workstation.example.com
 </Location>

Также, cachemgr.cgi может быть защищен паролем. Надо добавить следующие строки в access.conf:

 <Location /Squid/cgi-bin/cachemgr.cgi>
 AuthUserFile /path/to/password/file
 AuthGroupFile /dev/null
 AuthName User/Password Required
 AuthType Basic
 <Limit GET>
 require user cachemanager
 </Location>

6.5 Задание ACL (списка пользователей) для кеш-менеджера в squid.conf

 acl manager proto cache_object
 acl localhost src 127.0.0.1/255.255.255.255
 acl all src 0.0.0.0/0.0.0.0

 http_access deny manager !localhost
 http_access allow all

telnet mycache.example.com 3128
GET cache_object://mycache.example.com/info HTTP/1.0

По умолчанию, если запрос для cache_object, и запрос не с локальной машины, то доступ будет закрыт, в противном случае - открыт.

Фактически, так как доступ разрешен только с локальной машины, то в поле cachemgr.cgi можно указать в качестве кеш хоста localhost. Мы рекомендуем следующее:

 acl manager proto cache_object
 acl localhost src 127.0.0.1/255.255.255.255
 acl example src 123.123.123.123/255.255.255.255
 acl all src 0.0.0.0/0.0.0.0

 http_access deny manager !localhost !example
 http_access allow all

Не забывайте каждый раз после изменения squid.conf посылать SIGHUP squid'у.

6.6 Почему он спрашивает у меня какой-то пароль и URL?

6.7 Я хочу удаленно остановить кеш. Какой пароль?

6.8 Как сделать, чтобы в поле cache host по умолчанию было имя моего кеша?

 HOST_OPT = # -DCACHEMGR_HOSTNAME="getfullhostname()"

 HOST_OPT = -DCACHEMGR_HOSTNAME=\"mycache.example.com\"

6.9 Какая разница между TCP и UDP соединениями Squid?

6.10 Он говорит, что срок хранения кеша истечет в 1970 году!

6.11 Что значат записи мета-данных?

StoreEntry

Запись описывает объект кеша.

IPCacheEntry

Запись в кеше DNS.

Hash link

Звено в структуре хэш-таблицы.

URL strings

Сами строки URL, указывающие на номер объекта в кеше, позволяющие обращаться к StoreEntry.

PoolMemObject structures

Информация об объектах находящихся в памяти, (например, в процессе передачи).

Pool for Request structures

Информация о каждом запросе.

Pool for in-memory object

Пространство для принятых объектов.

6.12 Pool for in-memory object огромен и не становится меньше! Это что утечка памяти?

6.13 Значение поля "Total accounted" не совпадает с размером занимаемым моим squid!

Если squid занимает гораздо меньше, чем в этом поле, будьте осторожны! Что-то не так, следует перезапустить squid.

6.14 В разделе utilization, что есть Other?

6.15 В разделе utilization, почему колонка Transfer KB/sec всегда нулевая?

6.16 В разделе utilization, что значит Object Count?

6.17 В разделе utilization, что значит Max/Current/Min KB?

6.18 О чем раздел I/O?

6.19 Что находится в разделе Objects?

6.20 Для чего раздел VM Objects?

6.21 Что значит AVG RTT?

6.22 В разделе IP cache , какая разница между hit, negative hit и miss?

6.23 Что значит содержимое раздела IP cache?

Для колонки Flags:

C

Кеширован.

N

Не кеширован.

P

Запрос отложен для посылки.

D

Запрос послан и ожидается ответ.

L

Запись блокирована, потому что выступает в роли родителя или брата.

Колонка N это число IP адресов, которые имеет данный hostname.

В конце строки перечислены остальные IP адреса, относящиеся к этой записи в IP cache.

6.24 Как анализировать использование памяти из данных cachemgr.cgi?

 Memory usage for squid via mallinfo():
 Total space in arena: 94687 KB
 Ordinary blocks: 32019 KB 210034 blks
 Small blocks: 44364 KB 569500 blks
 Holding blocks: 0 KB 5695 blks
 Free Small blocks: 6650 KB
 Free Ordinary blocks: 11652 KB
 Total in use: 76384 KB 81%
 Total free: 18302 KB 19%


 Meta Data:
 StoreEntry 246043 x 64 bytes = 15377 KB
 IPCacheEntry 971 x 88 bytes = 83 KB
 Hash link 2 x 24 bytes = 0 KB
 URL strings = 11422 KB
 Pool MemObject structures 514 x 144 bytes = 72 KB ( 70 free)
 Pool for Request structur 516 x 4380 bytes = 2207 KB ( 2121 free)
 Pool for in-memory object 6200 x 4096 bytes = 24800 KB ( 22888 free)
 Pool for disk I/O 242 x 8192 bytes = 1936 KB ( 1888 free)
 Miscellaneous = 2600 KB
 total Accounted = 58499 KB

Из этих 94M, 81% (76M) реально используется в этот момент. Остальное высвобождено, или зарезервировано malloc(3) и пока не используется.

Из 76M используемых, можно рассчитывать на 58.5M (76%). Остальное отведено под вызовы malloc(3).

Список Meta Data содержит информацию о том, куда потрачена доступная память. 45% ушло на StoreEntry и хранение URL строк. Другие 42% потрачены на хранение объектов в виртуальной памяти, пока они доставляются клиентам (Pool for in-memory object).

Размеры пула задаются в squid.conf. В версии 1.0, они несколько туповатые: там хранится стек неиспользованных страниц, вместо того чтобы освобождать этот блок. В Pool for in-memory object, размер этого стека составляет 1/2 cache_mem. Размер Pool for disk I/O жестко задан в 200. Для MemObject и Request это 1/8 величины FD_SETSIZE.

Если Вам нужно снизить количество памяти процесса, мы рекомендуем уменьшить максимальные размеры объектов в строках 'http', 'ftp' и 'gopher' конфигурации. Также можно уменьшить cache_mem. Но если сделать cache_mem слишком маленьким, то некоторые объекты могут не сохраняться на диск при большой загрузке. Новые версии Squid позволяют задать memory_pools off отключая таким образом пул свободной памяти.

6.25 Что такое fqdncache и чем отличается от ipcache?

Например:

============================================================



IP Cache Contents:
Hostname Flags lstref TTL N [IP-Number]
gorn.cc.fh-lippe.de C 0 21581 1 193.16.112.73
lagrange.uni-paderborn.de C 6 21594 1 131.234.128.245
www.altavista.digital.com C 10 21299 4 204.123.2.75
2/ftp.symantec.com DL 1583 -772855 0



Flags: C --> В кеше
 D --> Отправлен
 N --> Не кеширован
 L --> Блокирован

lstref: Время с момента последнего использования
 TTL: Time-To-Live (время жизни) пока не истечет
  срок хранения информации
 N: Число адресов



=================================================================



FQDN Cache Contents:

IP-Number Flags TTL(?) N Hostname]

130.149.17.15 C -45570 1 andele.cs.tu-berlin.de
194.77.122.18 C -58133 1 komet.teuto.de
206.155.117.51 N -73747 0

Flags: C --> В кеше
 D --> Отправлен
 N --> Не кеширован
 L --> Блокирован
 TTL: Time-To-Live
 N: Число имен

7 Troubleshooting

7.1 Почему у меня нет доступа к прокси: "Proxy Access Denied"?

http_accel_with_proxy on

Также, возможно Вы неправильно задали ACL. Проверьте файлы access.log и squid.conf.

7.2 Не работает local_domain.

Директива local_domain не запрещает кешировать локальные объекты. Она предотвращает использование братских кешей для локальных объектов. Если Вам все таки это нужно, то воспользуйтесь опциями cache_stoplist или http_stop (в зависимости от версии).

7.3 Когда кеш пытается получить объект с братского кеша, получает Connection Refused, даже когда тот кеш считает, что объект получен успешно.

7.4 Не хватает файловых дескрипторов

Для Linux, есть патч filehandle.patch.linux от Michael O'Reilly <michael@metal.iinet.net.au>.

Для Solaris, добавьте следующее в файл /etc/system:

set rlim_fd_max = 4096
set rlim_fd_cur = 1024

Также следует задать #define SQUID_FD_SETSIZE в include/config.h в то же значение, что и rlim_fd_max. Не следует задавать меньше 4096.

Solaris select(2) позволяет задать только 1024 дескриптора, если надо больше отредактируйте src/Makefile и разрешите $(USE_POLL_OPT). Потом пересоберите squid.

Для FreeBSD (от Torsten Sturm <torsten.sturm@axis.de>):

Как узнать максимальное значение файловых дескрипторов?

По команде sysctl -a значение kern.maxfilesperproc.

Как их увеличить?

sysctl -w kern.maxfiles=XXXX

sysctl -w kern.maxfilesperproc=XXXX
Внимание: Увеличивая значения, учитывайте соотношение maxfiles > maxfilesperproc.

Какой верхний предел?

Я не думаю, что есть формальное ограничение внутри ядра. Ведь структуры под данные выделяются динамически. На практике же, могут возникать непонятные явления (например, ядро будет тратить слишком много времени на поиск в таблицах).

Как узнать максимальное значение файловых дескрипторов?

По команде pstat -T значение files, обычно отображаемое как отношение current/maximum.

Как увеличить это значение?

Первый метод - увеличить значение переменной maxusers в конфигурации ядра и пересобрать его. Это очень быстрый и простой метод, но приводит к увеличению ряда других переменных, менять которые Вам может и не надо.

А существует более точный способ?

Найти файл param.c в исходниках ядра и изменить соотношение между maxusers и максимальным числом открытых файлов по нижеприведенным выражениям.

SunOS

Измените значение nfile в /usr/kvm/sys/conf.common/param.c меняя значения в этом выражении:

int nfile = 16 * (NPROC + 16 + MAXUSERS) / 10 + 64;
Где NPROC определяется как:
#define NPROC (10 + 16 * MAXUSERS)

FreeBSD (начиная с ядра 2.1.6)

Очень похоже на SunOS, отредактируйте /usr/src/sys/conf/param.c вычислив соотношение между переменными maxusers, maxfiles и maxfilesperproc:

int maxfiles = NPROC*2;
int maxfilesperproc = NPROC*2;
Где NPROC задан как:
#define NPROC (20 + 16 * MAXUSERS)
Ограничение числа дескрипторов на процесс также может быть задано в конфигурации ядра этой директивой:
options OPEN_MAX=128

BSD/OS (начиная с ядра 2.1)

Поправьте /usr/src/sys/conf/param.c и задайте maxfiles в соответствии с:

int maxfiles = 3 * (NPROC + MAXUSERS) + 80;
Где NPROC задан как:
#define NPROC (20 + 16 * MAXUSERS)
Также следует задать значение OPEN_MAX, чтобы изменить ограничение числа дескрипторов на процесс.

 cd squid-1.1.x
 make realclean
 ./configure --prefix=/usr/local/squid
 make

7.5 Мой squid периодически вываливается с ошибкой, что не может malloc(3) больше памяти, но у меня достаточно ОЗУ!

options DFLDSIZ=67108864 # 64 meg default max data size (was 16)
options MAXDSIZ=134217728 # 128 meg max data size (was 64)

В Digital UNIX, отредактируйте файл /etc/sysconfigtab и добавьте строку...

proc:
 per-proc-data-size=1073741824

Редактирование /etc/sysconfigtab требует перезагрузки, а команда limit - нет.

7.6 Что за странные строки об удалении объектов?

97/01/23 22:31:10| Removed 1 of 9 objects from bucket 3913
97/01/23 22:33:10| Removed 1 of 5 objects from bucket 4315
97/01/23 22:35:40| Removed 1 of 14 objects from bucket 6391

На странице cache information вcachemgr.cgi найдите строку типа этой:

 Storage LRU Expiration Age: 364.01 days

7.7 Почему я не могу задать cache_effective_user в nobody под Linux?

FATAL: Don't run Squid as root, set 'cache_effective_user'!

Также можно поменять UID nobody с 65535 на 65534.

7.8 Могу я указать Windows NT FTP серверу выводить директории в Unix формате?

• Start
• Programs
• Microsoft Internet Server (Common)
• Internet Service Manager

Дальше надо выбрать сервер (должен быть только один), потом выберите "Properties" из меню, закладку "directories", будет опция "Directory listing style." Выберите "Unix" type, а не "MS-DOS" type.

7.9 Почему так часто появляются сообщения ERR_NO_CLIENTS_BIG_OBJ?

1. больше, чем maximum_object_size
2. доставлен с соседнего кеша, у которого установлена опция proxy-only.

7.10 Почему Squid требует так много памяти!?

• 6.12 Pool for in-memory objects огромен и не становится меньше! Это что утечка памяти?
• 6.24 Как анализировать использование памяти из данных cachemgr.cgi?
• 7.5 Мой squid периодически вываливается с ошибкой, что не может malloc(3) больше памяти, но у меня достаточно ОЗУ!

• GNU Malloc, доступной на ftp://ftp.gnu.ai.mit.edu/pub/gnu/malloc.tar.gz. Проверка на 'libgnumalloc.a' включена в конфигурационный скрипт Squid'а. Если libgnumalloc.a найдена, то автоматически подлинковывается.

7.11 Почему я получаю "Ignoring MISS from non-peer x.x.x.x"?

(1) Если на том конце несколько интерфейсов и пакеты идут с того, который не прописан в DNS. Вообще-то, это их проблема. Вы можете сказать им или прописать IP адрес интерфейса в DNS, или использовать опцию Squid 'udp_outgoing_address'.

Например:

# (squid.conf родительского кеша)
#
udp_outgoing_address proxy.parent.com


# (Ваш squid.conf)
#
cache_host proxy.parent.com parent 3128 3130

8 Как Squid работает?

8.1 Какие объекты кешируются?

8.2 Что за протокол ICP?

ICP прежде всего используется в иерархии кешей для поиска определенных объектов в братских кешах. Если squid не находит нужного документа, то посылает ICP запрос братским кешам, которые в свою очередь отвечают ICP ответами "HIT" ("попадание") или "MISS" ("промах"). Затем кеш использует ответы для выбора при помощи какого кеша разрешать свои ответы MISS.

ICP также поддерживает сложные передачи множества объектов через одно TCP соединение. ICP сейчас работает поверх UDP. Текущие версии Squid также поддерживают множественные запросы ICP.

8.3 Что такое dnsserver?

У Squid не должен блокироваться процесс ввода/вывода, поэтому DNS обращения выполнены как внешний к основному процесс. Процессы dnsserver не кешируют запросы DNS, это делается самим squid`ом.

8.4 Для чего нужна программftpget?

8.5 FTP PUT не работает

На данный момент нет, для поддержки этого нужна будет программа ftpput.

8.6 Что такое иерархия кешей? Что такое родительские и братские кеши?

Кроме родительских/дочерних отношений, squid поддерживает понятие братских кешей, то есть находящихся на одном уровне иерархии, призванных распределить нагрузку. Каждый кеш в иерархии независимо ни от кого решает откуда брать объект, либо с сервера в Internet, либо с родительского или братского кеша, используя простой механизм разрешения. Братские кеши не будут забирать объект для другого кеша того же уровня, получив от них "промах".

8.7 Каков алгоритм разрешения кеша Squid?

1. Разослать ICP запросы всем соответствующим братским кешам
2. Дождаться всех ответов, пришедших в течение заданного времени (по умолчанию две секунды).
3. Получив первый ответ HIT начать скачивание объекта , или
4. Взять объект с первого родительского кеша, ответившего MISS (зависит от весовых коэффициентов), или
5. Забрать объект из Internet

Директива single_parent_bypass предотвращает рассылку ICP запросов, в случае когда соответствующий братский кеш это родительский (то есть, если больше неоткуда брать объект, зачем напрасно запрашивать?)

8.8 Над какими возможностями Squid разработчики сейчас работают?

Текущий список будущих возможностей, доступен здесь http://squid.nlanr.net/Squid/Devel/todo.html.

Разработчикам будущих версий следует обратиться сюда http://squid.nlanr.net/Squid/Devel/.

8.9 Где найти информацию о загрузке Internet трафика

8.10 Какие преимущества кеширования совместно с кеширующей системой NLANR?

8.11 Где найти информацию по брандмауэрам?