Блог системного администратора » FreeBSD

Двухнодовый кластер MySQL на FreeBSD

admin — Wed, 17 Aug 2011 07:49:16 +0000

Минимальные требования для кластера mysql это два сервера для данных и один сервер для управления. Сервер управления нужен лишь во время запуска кластера, но желательно держать его постоянно включенным. Итого требуется 3 физических компьютера, либо 3 виртуальные машины на двух физических серверах.

Пусть ноды с данными будут node1.host.ru и node2.host.ru, а управляющая нода mgmt.host.ru. DNS настроен, все ноды видят друг друга как по IP так и по FQDN. Так же необходимо чтобы на нодах данных был открыт порт 3306 для всех нод-участников кластера, а на ноде управления открыт порт 1186.

Допустим IP адреса у серверов такие:

node1 192.168.1.1
node2 192.168.1.2
mgmt 192.168.1.3

Добавим кластерную конфигурацию, создадим конфигурационный файл /etc/my.cnf со следующими парамметрами:

[mysqld]
ndbcluster
ndb-connectstring='host=192.168.1.3:1186'
[mysql_cluster]
ndb-connectstring='host=192.168.1.3:1186'
[DB DEFAULT]
DataMemory: 500M
IndexMemory: 100M

Далее создадим на каждой ноде каталог /var/lib/mysql-cluster/
Ставим из портов /usr/ports/misc/compat6x

make
make install
rehash

Создаем пользователя и группу mysql

Скачиваем последнюю версию дистрибутива 5.0 с сайта разработчика (в версиях 5.1 и 6.0 кластерная составляющая отсутствует, к тому же в коллекции портов FreeBSD даже в версии 5.0 ее тоже нет) и распаковываем архив в /usr/local/

переименовываем папку в mysql чтобы получилось /usr/local/mysql
идем туда и создаем системные базы данных

scripts/mysql_install_db —user=mysql

Меняем права на папки (находясь в каталоге /usr/local/mysql):

chown -R root .
chown -R mysql data
chgrp -R mysql .

копируем стартстопный скрипт

cp support-files/mysql.server /usr/local/etc/rc.d/mysql.server

Запускаем его

/usr/local/etc/rc.d/mysql.server start

создаем файл etc/rc.local и добавляем туда скрипты старта кластера

/usr/local/mysql/bin/ndbd
/usr/local/etc/rc.d/mysql.server start

Меняем пароли root сервера mysql:

node1:

/usr/local/mysql/bin/mysqladmin -u root -h node1.domain.ru password пароль
/usr/local/mysql/bin/mysqladmin -u root password пароль

node2:

/usr/local/mysql/bin/mysqladmin -u root -h node2.domain.ru password пароль
/usr/local/mysql/bin/mysqladmin -u root password пароль

Оставим пока сервера данных и займемся нодой управления:

Ставим из портов /usr/ports/misc/compat6x

make
make install
rehash

Нам нужны консоль и демон управления ndb_mgm и ndb_mgmd соответственно. Взять их можно из архива дистрибутива mysql в каталоге /bin. Распаковываем эти два файла в /usr/local/bin

Создаем каталог /var/lib/mysql-cluster/ и создаем в нем конфигурационный файл для управления config.ini:

[NDBD DEFAULT]
NoOfReplicas=2
TimeBetweenWatchDogCheck= 30000
MaxNoOfOrderedIndexes= 512
[MYSQLD DEFAULT]
[NDB_MGMD DEFAULT]
[TCP DEFAULT]
[NDB_MGMD]
HostName=192.168.1.3
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=192.168.1.1
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=192.168.1.2
DataDir=/var/lib/mysql-cluster
[MYSQLD]
[MYSQLD]
[MYSQLD]
[MYSQLD]

Стартуем демон управления(для автозапуска при загрузке сервера эту строку нужно добавить в /etc/rc.local):

#/usr/local/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini

Запускаем проверку работоспособности консоли:

/usr/local/bin/ndb_mgm

в окне приглашения вводим show, и видим следующую картину:

Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=3 (not connected, accepting connect from 192.168.1.1)
id=4 (not connected, accepting connect from 192.168.1.2)

[ndb_mgmd(MGM)] 2 node(s)
id=1 @192.168.1.3 (Version: 5.0.85)

[mysqld(API)] 4 node(s)
id=5 (not connected, accepting connect from any host)
id=6 (not connected, accepting connect from any host)
id=7 (not connected, accepting connect from any host)
id=8 (not connected, accepting connect from any host)

Это означает что конфигурационный файл настроен верно, но ноды данных еще не работают в кластере. Вернемся к нодам данных. На каждой из них останавливаем mysql и инициализируем кластер и перезапускаем сервер:

/usr/local/etc/rc.d/mysql.server stop
/usr/local/mysql/bin/ndbd --initial
/usr/local/etc/rc.d/mysql.server start

На ноде управления снова проверяем работу кластера через ndb_mgm:

mgmt# /usr/local/bin/ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186

Cluster Configuration
---------------------
[ndbd(NDB)] 2 node(s)
id=2 @192.168.1.1 (Version: 5.0.85, Nodegroup: 0, Master)
id=3 @192.168.1.2 (Version: 5.0.85, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)
id=1 @192.168.1.3 (Version: 5.0.85)

[mysqld(API)] 4 node(s)
id=4 @192.168.1.1 (Version: 5.0.85)
id=5 @192.168.1.2 (Version: 5.0.85)
id=6 (not connected, accepting connect from any host)
id=7 (not connected, accepting connect from any host)

Если в строках id1 id2 id3 id4 и id5 видно работающие, отвечающие демоны как это видно выше, то все ок и кластер работает. Если нет — еще раз смотрим эту документацию.

Проверяем отказоустойчивость кластера:

Допустим на первой ноде заходим в mysql и создаем табличку в базе test:

#/usr/local/mysql/bin/mysql -u root -pпароль
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.0.85 MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test;
Database changed

mysql> CREATE TABLE clustered (i INT) ENGINE=NDBCLUSTER;
Query OK, 0 rows affected (1.53 sec)

mysql> INSERT INTO clustered () VALUES (1);
Query OK, 1 row affected (0.02 sec)

mysql> SELECT * FROM clustered;
+------+
| i |
+------+
| 1 |
+------+
1 row in set (0.01 sec)
mysql> exit
Bye

Теперь на второй ноде делаем SELECT из базы test:

node2# /usr/local/mysql/bin/mysql -u root -pпароль
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.0.85 MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test;
Database changed

mysql> SELECT * FROM clustered;
+------+
| i |
+------+
| 1 |
+------+
1 row in set (0.02 sec)
mysql> exit
Bye

Как видим, на второй ноде у нас уже есть данные, которые были на первой, а значит кластер работает. Можно еще проверить записав в таблицу значение на второй ноде и запустить SELECT на первой — увидим все данные.

Теперь перезапустим например node2
при этом пока нода будет перезагружаться в ndb_mgm мы последовательно будем видеть такие ее состояния:
нода выключена:

id=3 (not connected, accepting connect from 192.168.1.2)

потом когда mysql на ней запустится станет:

id=3 @192.168.1.2 (Version: 5.0.85, starting, Nodegroup: 0)

потом когда кластер войдет в рабочий режим:

id=3 @192.168.1.2 (Version: 5.0.85, Nodegroup: 0)

Теперь можно проверить работу баз при отказе ноды. Для этого выключим одну из нод из сети, а на второй ноде подключаемся к mysql и дописываем в таблицу еще одно значение:

#/usr/local/mysql/bin/mysql -u root -pпароль
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.0.85 MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test;
Database changed

mysql> CREATE TABLE clustered (i INT) ENGINE=NDBCLUSTER;
Query OK, 0 rows affected (1.53 sec)

mysql> INSERT INTO clustered () VALUES (1);
Query OK, 1 row affected (0.02 sec)

mysql> SELECT * FROM clustered;

+------+
| i |
+------+
| 2 |
| 1 |
+------+
2 rows in set (0.02 sec)
mysql> exit
Bye

Как видно, база данных не потерялась а продолжает работать и без одной ноды. Теперь проверим восстанавливаемость кластера, подключив к сети отключенную ранее ноду и сделав на ней SELECT из этой же базы:

/usr/local/mysql/bin/mysql -u root -pпароль
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.85 MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed

mysql> SELECT * FROM clustered;

+------+
| i |
+------+
| 2 |
| 1 |
+------+

2 rows in set (0.01 sec)
mysql> exit
Bye

Все работает!

Утилиты мониторинга в OS FreeBSD

admin — Sun, 03 Apr 2011 19:34:11 +0000

Есть большое количество ПО для мониторинга типа monit, zabbix, cacti. Они собирают статистику и строят графики. Но дело в том, что не всегда есть возможность открыть браузер и посмотреть те самые графики. Для таких случаев есть консоль. Вот не большой список команд для мониторинга FreeBSD:

mount – показывает смонтированные подразделы и флаги из монтирования

df – показывает смонтированные подразделы, их размер и свободное место на нихfdisk /dev/ad0 – показывает информацию о диске ad0 и разделах на нем

disklabel /dev/ad0s1 – показывает список подразделов в первом разделе диска ad0

swapinfo – показывает список подразделов свопинга на дисках и их использование

fstat – показывает список открытых файлов (имена файлов не выводятся)

pstat -f – выводит список открытых файлов (имена файлов не выводятся)

systat -vmstat n – каждые n секунд выводит количество транзакций с диском в секунду, объем записанных/считанных данных на диск в секунду, средний размер транзакции и процент времени в течение которого диск был занят работой)

iostat – выводит информацию, аналогичную systat -vmstat, но не выводит занятости диска по времени и может выводить среднюю статистику с момента загрузки.

vmstat – выводит количество операций на диске в секунду

/stand/sysinstall – можно посмотреть и изменить разметку диска и монтирование

less /etc/fstab – таблица монтирования при загрузке

systat -vmstat n – вывод показателей загрузки (number of jobs in the run queue averaged over 1, 5 and 15 min), состояния памяти (в страницах), количества процессов в группах, количество вызовов специальных функций ядра (traps, interrupts, system calls, network software interrupts), использование процессора, трансляции имен, активность свопа, прерывания, а также информацию по использованию диска (см)

top – аналогичная информация в сокращенном виде + использование памяти и свопа в мегабайтах, список процессов, отсортированных по использованию процессора.

ps afx – список запущенных процессов и время процессора на каждый

ifconfig – список сетевых интерфейсов с ip-адресами, масками, mac-адресами, типами карт и их статусами (названия карточек можно посмотреть в файле конфигурации ядра)

systat -ifstat n – объем трафика за n секунд на всех сетевых интерфейсах

netstat – вывод активных сетевых соединений (сокетов)

systat -netstat n – аналог netstat в реальном времени

systat -ip n – таблица IP-пакетов и ошибок по типам за n секунд

systat -tcp n – таблица TCP-пакетов и ошибок по типам за n секунд

systat -icmp n – таблица ICMP-пакетов и ошибок по типам за n секунд

netstat -ibt – список интерфейсов, разбитых по ip-адресам (!) с объемом трафика на каждом, количеством ошибок, коллизий, значением watchdog-таймера

netstat -r – таблица маршрутизации

arp -a – таблица ARP

tcpdump -i rl0 host 192.168.1.2 and port 21 – сниффер пакетов на интерфейсе rl0, фильтрующий пакеты, содержащие адрес 192.168.1.2 и порт 21

trafshow -i rl0 – программа для сортировки и вывода сетевых потоков (устанавливается дополнительно пакетом или из портов)

date – текущее время и дата

w – выводит, сколько времени назад система загрузилась и залогиненных пользователей

last – выводит историю перезагрузок и входов пользователей

Репликация дисков между двумя серверами на FreeBSD+HASTD

admin — Fri, 18 Mar 2011 21:18:44 +0000

2 сервера под управлением FreeBSD 8.1-RELEASE:

host1 (192.168.1.2) и host2 (192.168.1.1)
На каждом сервере диски: ad0 с системой, ad1 — неразмеченный.

ad1 будет под контролем HASTd и ZFS, на которой будет работать JAIL.
Сервера скоммутированы на свиче в одну подсеть (мой случай — 192.168.1.0/24), 1 Gbit/s интерфейс.
Между серверами будет поднят виртуальный (carp) IP 192.168.1.5, принадлежащий jail-у.

Пишем /etc/rc.conf.

На host1:

zfs_enable="YES"
hostname="host1"
ifconfig_em0="192.168.1.2/24"
defaultrouter="192.168.1.1"
hastd_enable="YES"
cloned_interfaces="carp0"
ifconfig_carp0="vhid 1 advskew 100 pass password 192.168.1.5/24"
ezjail_enable="YES"

На host2:

zfs_enable="YES"
ifconfig_em0="192.168.1.1/24"
defaultrouter="192.168.1.1"
hastd_enable="YES"
cloned_interfaces="carp0"
ifconfig_carp0="vhid 1 advskew 100 pass password 192.168.1.5/24"
ezjail_enable="YES"

Пишем конфиг ядра GENERIC-CARP для поддержки carp(4) ( есть впрочем вариант userland-ового net/ucarp ).

На обеих нодах:
Архитектура i386, соотв. /sys/i386/conf/GENERIC-CARP:

device carp

Компилируем и перезагружаемся, на обеих машинах.

make buildkernel KERNCONF=GENERIC-CARP;make installkernel KERNCONF=GENERIC-CARP;reboot

Пишем на обеих машинах одинаковый /etc/hast.conf:

on host1
{
listen 192.168.1.2
}

on host2
{
listen 192.168.1.1
}
resource shared
{
on host1
{
local /dev/ad1
remote 192.168.1.1
}
on host2
{
local /dev/ad1
remote 192.168.1.2
}
}

Запускаем hastd (на обеих машинах):

/etc/rc.d/hastd restart

Создаем файловую систему для Jail/HASTd (делается только на одной машине, вторая получит все это добро через реплику) и сообщаем HAST-у, что он у нас будет мастером.

gpart create -s GPT ad1
gpart add -b 34 -s 4194230 -t freebsd-zfs ad1
hastctl create shared
hastctl role primary shared
zpool create jails hast/shared

Настроил ezjail на обеих машинах:

cat > "/usr/local/etc/ezjail.conf"
ezjail_jaildir=/jails
ezjail_jailtemplate=${ezjail_jaildir}/newjail
#ezjail_jailbase=${ezjail_jaildir}/basejail
ezjail_sourcetree=/usr/src
ezjail_ftphost=ftp.freebsd.org
ezjail_default_execute="/usr/bin/login -f root"
ezjail_default_flavour=""
ezjail_archivedir=`pwd -P`
ezjail_uglyperlhack="YES"
ezjail_devfs_enable="YES"
ezjail_procfs_enable="YES"
ezjail_mount_enable="YES"
ezjail_use_zfs="YES"
ezjail_jailzfs="jails"

Добавим новый джэйл на host1:

ezjail-admin create -s 10G -c zfs vm1 192.168.1.5
скопируем конфиг /usr/local/etc/ezjail/vm1 на host2.

Содержимое /root/carp_sw скрипта, ответственный за переключение (не забыть chmod +x /root/carp_sw):

#!/bin/sh
pool="shared"
case "$1" in
master)
logger "carp_sw.sh: Switching to primary provider ${pool}."
hastctl create ${pool}
hastctl role primary ${pool}
logger "zpool import: "
sleep 10
zpool import -f -d /dev/hast jails
/etc/rc.d/jail onestart
;;
slave)
logger "carp_sw.sh: Switching to slave profider for ${pool}."
hastctl create ${pool}
hastctl role secondary ${pool}
;;
esac

Также, чтобы упавшая и поднявшаяся машина не пыталась запускать jail, скажем ей что она теперь Slave. Содержимое /etc/rc.local на обеих машинах:

#!/bin/sh
sh /root/carp_sw slave

Остается все это позапускать (на обеих нодах):

/etc/rc.d/routing restart
/etc/rc.d/hastd restart

На host1:

sh /root/carp_sw master

На host2:

sh /root/carp_sw slave

Что получили в результате этой работы:

На carp-овом IP работает JAIL, который может содержать все что душе угодно — почтовый сервис, WEB приложение и пр. Как только обслуживающая этот jail физическая машина падает, работу на себя автоматически подхватывает второй сервер, который запускает JAIL на состояние максимально близкое к времени падени ноды. При этом HAST конфигурируется как MASTER. Когда-нибудь возвратившаяся упавшая машина становится SLAVE-ом, подхватывает реплику и готовится подстраховать MASTER-а

RAID1 под FreeBSD на живой системе с помощью atacontrol

admin — Tue, 15 Mar 2011 06:12:04 +0000

Сначала создаем зеркальный массив RAID1:

# atacontrol create RAID1 ad0 ad1

система создаcт raid1 массив но на него пока ничего не бдует писаться.

Но статус у него READY:

# atacontrol status ar0
ar0: ATA RAID1 subdisks: ad4 ad6 status: READY

Система считает что после создания raid, на нем будут созданы слайсы,
и разделы, после чего на них будут записаны данные.(что и происходит когда мы ставим систему на ar0),при этом данные не будут нарушать целостность рэйд.

Попробуем обмануть систему.

# atacontrol list
ATA channel 0:
Master: ad0 <ST380011A/3.06> ATA/ATAPI revision 6 //живая система
Slave: no device present
ATA channel 1:
Master: ad1 <ST380011A/3.06> ATA/ATAPI revision 6 //новый диск
Slave: no device present
# atacontrol detach 1

Теперь у нас есть целостный RAID1 который состоит из одного диска с системой.

# atacontrol status ar0
ar0: ATA RAID1 subdisks: ad0 DOWN status: DEGRADED

Теперь нужно прописать ar0 в fstab

# Device Mountpoint FStype Options Dump Pass#
/dev/ar0s1b none swap sw 0 0
/dev/ar0s1a / ufs rw 1 1
/dev/ar0s1e /tmp ufs rw 2 2
/dev/ar0s1f /usr ufs rw 2 2
/dev/ar0s1d /var ufs rw 2 2

перезагружаемся, должны смонтироваться все файловые системы,смотрите логи загрузки системы.
после перезагрузки:

# atacontrol status ar0
ar0: ATA RAID1 subdisks: ad0 DOWN status: DEGRADED
# atacontrol addspare ar0 ad1
# atacontrol rebuild ar0
# atacontrol status ar0
ar0: ATA RAID1 subdisks: ad0 ad1 status: REBUILDING 1% completed

После окончания пересборки(rebuild) система готова к использованию.

Доступен FreeBSD 9

admin — Mon, 15 Nov 2010 06:42:00 +0000

Теперь можно обновиться до FreeBSD 9, на самом деле обновиться можно было уже с августа этого года. Список нововедений огромен, появилось много чего «вкусненького»:

xen dom0
Parallel device attach
Device I/O resource management
Power management
Dynamic CPU configuration
ccNUMA support
Hibernate support (S4)
ZFS as default
Better support for binary only systems
и многое другое.

Только что обновился, по CVS уже доступен RC1, так что релиз все ближе

Подробнее в todolist`е

С днём сисадмина, товарищи!!!

admin — Fri, 30 Jul 2010 05:56:20 +0000

Подключение FreeBSD к IPv6 — поднимаем туннель через IPv4-сети провайдера

admin — Mon, 21 Jun 2010 17:12:26 +0000

Пришло время поднять IPv4-IPv6 gateway, чтобы ходить в мир «иного
интернета», коим он скоро будет.

Самым лёгким способом получить IPv6 адрес можно на сайте http://go6.net

Идем на этот сайт и регистрируемся http://go6.net/4105/register.asp

Тут же они предлагают скачать программу и поставить, например для Windows вида «скачай и установи»
http://go6.net/4105/download.asp

Но это не тот метод который нам нужен, мы будем подключать сервер на FreeBSD 7.0 и выше к этой сети.

Ядро у нас собрано с поддержкой IPV6, т.е. с options INET6 (ядро GENERIC уже
поддерживает этот протокол и если вы его не отключали, значит, он у вас есть)

Устанавливаем клиент, то, что они предлагают скачивать — уже есть в портах

Port: gateway6-5.0_2
Path: /usr/ports/net/gateway6
Info: Gateway6 Tunnel Setup Protocol Client - Free IPv6 tunnel
B-deps:
R-deps:
WWW: http://www.go6.net/

Приступаем к установке:

cd /usr/ports/net/gateway6
make install clean

Через несколько минут клиент будет установлен

Редактируем его конфигурационный файл /usr/local/etc/gw6c.conf

userid=
passwd=

Вришите туда ваш логин и пароль которые указали при регистрации на сайте.
На данном этапе начальная настройка закончена, для дальнейшей настройки читайте документацию.
Как я понял, выдается целая сеть и для авторизованных пользователей http://go6.net/4105/freenet.asp,
тем самым можно подключить все компьютеры дома на реальные статические IPv6 адреса.

server=broker.freenet6.net

broker.freenet6.net — это имя сервера для подключения (написано в письме при регистрации)

# Включить использование авторизации
auth_method=any
# Писать логи в syslogd
log_syslog=3

Теперь осталось его запустить

echo 'gateway6_enable="YES"' >> /etc/rc.conf
/usr/local/etc/rc.d/gateway6 start

И смотрим

# tail -f /var/log/messages
Oct 17 18:39:38 lola gw6c: Gateway6 Client v5.0-RELEASE build Oct 17 2008-14:56:32
Oct 17 18:39:38 lola gw6c: Establishing connection to tunnel broker broker.freenet6.net using reliable UDP.
Oct 17 18:39:42 lola gw6c: Connection to broker.freenet6.net established.
Oct 17 18:39:45 lola gw6c: Authentication success.
Oct 17 18:39:45 lola gw6c: Got tunnel parameters from server. Setting up local tunnel.
Oct 17 18:39:45 lola gw6c: Executing configuration script: /bin/sh "/usr/local/share/gateway6/freebsd.sh".
Oct 17 18:39:46 lola gw6c: Script completed successfully.
Oct 17 18:39:46 lola gw6c: Your IPv6 address is 2001:05c0:8fff:fffe:0000:0000:0000:c243.
Oct 17 18:39:46 lola gw6c: The tunnel type is v6udpv4.
# ifconfig
tun1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1280
inet6 2001:5c0:8fff:fffe::c243 --> 2001:5c0:8fff:fffe::c242 prefixlen 128
Opened by PID 873
# traceroute6 www.jp.freebsd.org
# ping6 www.jp.freebsd.org

Все прекрасно работает не смотря на то, что выход осуществляется в мир через
NAT.

Итак, осталось только понять, «зачем это надо», но ясно одно — за этим будущее.
А еще можно посмотреть на танцующую черепаху на http://www.kame.net/

Также рекомендую прочитать документацию (главу в
HandBook http://www.freebsd.org/doc/ru_RU.KOI8-R/books/handbook/network-ipv6.html)
по поддержке протокола IPv6 в системе FreeBSD.

Храним письма в базе mysql

admin — Sun, 25 Apr 2010 19:07:10 +0000

Почему sendmail?

Из почтовых серверов — Qmail, Sendmail, Postfix и Exim — мне больше всего понравился Qmail — прост в настройке, по всем отзывам и по собственным впечатлениям — быстр, надежен, наименьшее количество обнаруженых уязвимостей (если не сказать — полное их отсутствие); но и давно не обновлялся, большинство функционала реализуется сторонними утилитами, то есть требует довольно существенного «обвеса» для достижения необходимого уровня функциональности.

Postfix — сам его не «щупал», но порасспрашивал знакомых (и не очень) людей. Оказалось, что Postfix практически никто не применяет на почтовых серверах, обслуживающих хотя бы 1000 ящиков и 10-15 доменов (просьба не возмущаться поклонников Postfix, верю, что это хороший МТА, но это – не мой выбор).

Exim — мне тут сложно что-либо сказать, имею только косвенные данные — по моим опросам примерно 3 из 10 используют Exim, причины – проще настроить, чем sendmail; меньшее количество уязвимостей, чем в sendmail.

Sendmail — несмотря на регулярные проблемы с безопасностью и сложностью настройки, почему все-таки Sendmail?

- Сложность конфига компенсируется относительной простотой xxxxx.mc файла, из которого с помощью m4 получаем конфиг, по-моему xxxxx.mc выглядит не сложнее, чем конфиг Exim’а.

- Как сказал один знакомый, «Sendmail может ВСЕ, на что только способна почта».

Почему dbmail?

Очень заманчива идея хранить в базе данных не только логин-пароль, но и сами письма. Сразу есть поддержка обьема почтового ящика. Можно держать базу на отдельном сервере. Не проблема быстро восстановить работу сервера при сбое из дампа базы. Поиском иных вариантов не занимался, хотя, возможно, существуют альтернативы dbmail (даже наверняка существуют), но меня вполне устраивает именно dbmail.

DBMail — установка и настройка

С установкой все просто – устанавливаем привычным вам образом. Я предпочитаю собирать из исходников. Скачиваем нужный релиз с официального сайта www.dbmail.org, распаковываем, переходим в каталог с распакованными исходниками.

Можно (и желательно) внимательно прочитать файл INSTALL. Далее говорим, что наша база — PostgreSQL (ну или MySQL — кому как надо).

./configure —with-pgsql (или —with-mysql)

И далее хорошо знакомые нам всем make, make check, make install.
Желательно для dbmail специально создать пользователя, хотя и необязательно (я создал и обозвал dbmail)

Далее необходимо создать собственно базу данных. Для этого читаем файлик INSTALL.dbmail, в котором и описана эта процедура. Конкретно для PostgreSQL необходимо проделать следующее: создаем пользователя с именем dbmail (имя можно задать любое):

createuser -U postgres dbmail

Теперь надо присвоить пользователю пароль:

psql postgres postgres

Собственно присваиваем пароль:

ALTER USER dbmail WITH PASSWORD ‘
‘;
\q

Теперь создаем базу:

createdb -U dbmail dbmail

И создаем таблицы в базе:

psql -U dbmail dbmail < sql/postgresql/create_tables.pgsql

Теперь копируем конфигурационный файл в /etc

cp dbmail.conf /etc/

Затем правим конфиг. Параметры говорят сами за себя, и у человека, хоть немного знакомого с английским, вопросов вызывать недолжны. Какие возникли проблемы лично у меня. По умолчанию в конфиге указано довольно большое количество подключений к базе данных: при запуске dbmail- pop3d база перестала принимать подключения. Для начала стоит выбрать числа поменьше — MAXCHILDREN и MAXCONNECTS сразу уменьшил в 10 раз. Теперь база данных готова для использования.

Добавление пользователей можно организовать с помощью консольной утилиты dbmail-users.

dbmail-users -a username -w secret -g 0 -m 25M –s username@domain.org username1@domain.net

Где:

-a username — имя пользователя;

-s username@domain.org — алиас (можно несколько через пробел), почта для этих адресов будет складываться в ящик username;

-m 25M — обьем ящика (поумолчанию — в байтах, K — килобайты, M — мегабайты);

-w secret – пароль.

Прочие опции желающие могут изучить, прочтя вывод команды

dbmail-users —help

Еще документация рекомендует добавить в cron следующую строку:

0 3 * * * /usr/local/sbin/dbmail-util -cturpd -l 24h -qq

Это нужно для обслуживания базы данных.

DBmail предоставляет в наше распоряжение 2 транспорта для передачи писем в базу данных — dbmail-lmtp и dbmail-smtp.

Если MTA поддерживает lmtp, то рекомендуется использовать именно его.

Запуск:

dbmail-lmtpd

dbmail-pop3d

или

dbmail-imapd

(кому что больше нравится).

Осталось состыковать наш MTA с dbmail.

На официальном сайте DBmail имеется wiki с описанием стыковки dbmail с Qmail, Exim, Postfix и Sendmail.

подключение к Sendmail

Для того, чтобы sendmail понял, чего мы от него хотим, надо сначала создать 2 m4-макроса: /usr/share/sendmail/cf/mailer/dbmail.m4 и /usr/share/sendmail/cf/mailer/dbmail-lmtp.m4.

Вот что мы пишем в dbmail.m4:

PUSHDIVERT(-1)
ifdef(`DBMAIL_MAILER_PATH’,,
`ifdef(`DBMAIL_PATH’,
`define(`DBMAIL_MAILER_PATH’, DBMAIL_PATH)’,
`define(`DBMAIL_MAILER_PATH’, /usr/sbin/dbmail-smtp)’)')
_DEFIFNOT(`DBMAIL_MAILER_FLAGS’, `SPhnu9′)
ifdef(`DBMAIL_MAILER_ARGS’,,
`define(`DBMAIL_MAILER_ARGS’, `dbmail -d $u’)')
POPDIVERT

Mdbmail, P=DBMAIL_MAILER_PATH, F=_MODMF_(CONCAT(`DFM’, DBMAIL_MAILER_FLAGS), `DBMAIL’),
S=EnvFromSMTP/HdrFromSMTP, R=EnvToSMTP/HdrFromSMTP,
ifdef(`DBMAIL_MAILER_MAX’, `M=DBMAIL_MAILER_MAX, ‘)T=DNS/RFC822/X-Unix,
A=DBMAIL_MAILER_ARGS

А вот и второй макрос — dbmail-lmtp.m4:

PUSHDIVERT(-1)
ifdef(`DBMAIL_MAILER_PATH’,,
`ifdef(`DBMAIL_PATH’,
`define(`DBMAIL_MAILER_PATH’, DBMAIL_PATH)’,
`define(`DBMAIL_MAILER_PATH’, [IPC])’)')
_DEFIFNOT(`DBMAIL_MAILER_FLAGS’, `AhmXz5@/:|’)
ifdef(`DBMAIL_MAILER_ARGS’,,
`define(`DBMAIL_MAILER_ARGS’, `TCP $h 24′)’)

POPDIVERT
Mdbmail-lmtp, P=DBMAIL_MAILER_PATH, F=_MODMF_(CONCAT(`DFM’, DBMAIL_MAILER_FLAGS), `DBMAIL’),
S=EnvFromSMTP/HdrFromSMTP, R=EnvToSMTP/HdrFromSMTP,
ifdef(`DBMAIL_MAILER_MAX’, `M=DBMAIL_MAILER_MAX, ‘)T=DNS/RFC822/X-Unix,
A=DBMAIL_MAILER_ARGS

На этом этапе возникла только одна проблемка: по умолчанию у меня dbmail-smtp стал в /usr/local/sbin, а макрос ищет его в /usr/sbin/. Ситуацию можно поправить, создав ссылку:

ln -s /usr/local/sbin/dbmail-smtp /usr/sbin/dbmail-smtp

или поправив исходник макроса.

Теперь в sendmail.mc (или его эквивалент) добавляем строчки:

FEATURE(`mailertable’)dnl
MAILER(dbmail)dnl
MAILER(dbmail-lmtp)dnl

В /etc/mail/mailertable (именно его задает «FEATURE(`mailertable’)» ) указываем домены, почта для которых будет передаваться в dbmail:

domain.org dbmail-lmtp:[127.0.0.1]
domain.net dbmail-lmtp:[127.0.0.1]

Не забыть убрать эти домены из /etc/mail/local-host-names (или его эквивалента), иначе письма для этих доменов в dbmail не попадут, а вместо этого будут доставлены локальным пользователям.

Теперь осталось пересобрать конфиг sendmail’а и перезапустить его.

Теоретически это все! Почта должна складываться в базу даных и отдаваться по протоколу POP3 или IMAP (в зависимости от того, какой демон — dbmail-pop3d или dbmail-imapd – запущен).

ВАЖНО! При рестарте очень желательно, чтобы dbmail-lmtpd запускался раньше sendmail’а.

боремся со спамом

Теперь осталось настрить sendmail для отбивания спама.

Начнем с проверки адреса отправителя. Воспользуемся фильтрами, работающими посредствам Milter API в sendmail.

Так как milter-sender теперь платный, воспользуемся фильтром smf-sav (http://smfs.sourceforge.net/smf-sav.html), выполняющим те же функции. Качаете, распаковываете, правите Makefile (сценария ./configure там не предусмотрено), затем собираете и устанавливаете.

Правим конфиг /etc/mail/smfs/smf-sav.conf и запускаем:

/usr/local/sbin/smf-sav

Теперь в sendmail.mc добавляем строчки для smf-sav:

dnl Проверка Адреса отправителя
define(`confMILTER_MACROS_HELO’, confMILTER_MACROS_HELO`, {verify}’)dnl
INPUT_MAIL_FILTER(`smf-sav’, `S=unix:/var/run/smfs/smf-sav.sock, T=S:30s;R:4m’)dnl

Далее в папке /etc/mail

make all install && ../rc.d/sendmail restart

Если все впорядке, то в логе /var/log/maillog можно увидеть строчки вида:

smf-sav[528]: sender check succeeded: <72stocknews@totallytitanium.com.>, 84.168.240.99, p54A8F063.dip.t-dialin.net, [00:00:03]

указывающие на то, что адрес существует.

Если адреса не существует, вы увидите что-то типа этого:

smf-sav[528]: recipient check failed: , 84.168.240.99, p54A8F063.dip.t-dialin.net, <72stocknews@totallytitanium.com.>, [00:00:01]

ВАЖНО! При рестарте необходимо, чтобы smf-sav запускался раньше sendmail’а, иначе проверка не будет выполняться.

Можно прикрутить еще проверку на зомбированые хосты. Реализовать это можно, например, при помощи smf-zombie. В механизмах его работы я не разбирался, могу только сказать, что его использование дает определенный эффект.

Качаете там же, где и smf-sav, распаковываете, правите Makefile (сценария ./configure опять не предусмотрено), затем собираете и ставите. Никаких конфигов для него не нужно.
Запускаем:

/usr/local/sbin/smf-zombie

Теперь в sendmail.mc добавляем строчки для smf-zombie:

dnl Убивание спама от зомбированых хостов
dnl Этот фильтр должен быть ПЕРВЫМ среди остальных фильтров
define(`confMILTER_MACROS_HELO’, confMILTER_MACROS_HELO`, {verify}’)dnl
define(`confMILTER_MACROS_ENVFROM’, confMILTER_MACROS_ENVFROM`, {msg_size}’)dnl
INPUT_MAIL_FILTER(`smf-zombie’, `S=unix:/var/smfs/smf-zombie.sock, T=S:30s;R:1m’)dnl

define(`confPRIVACY_FLAGS’, `goaway,noetrn,nobodyreturn,noreceipts’)dnl
define(`confTO_COMMAND’, `1m’)dnl
define(`confTO_IDENT’, `0s’)dnl
define(`confTO_RESOLVER_RETRANS’, `7s’)dnl
define(`confTO_RESOLVER_RETRY’, `4′)dnl
define(`confMAX_DAEMON_CHILDREN’,`256′)dnl
define(`confCONNECTION_RATE_THROTTLE’,`8′)dnl
define(`confBAD_RCPT_THROTTLE’, `1′)dnl Sendmail v8.12+

Далее в папке /etc/mail:

make all install && ../rc.d/sendmail restart

ВАЖНО! Этот фильтр должен быть ПЕРВЫМ среди остальных фильтров в конфиге sendmail’а. Также необходимо, чтобы smf-zombie запускался раньше sendmail’а.

послесловие

Все вышеописанное было проделано на FreeBSD 6.1 и успешно заработало практически с первой попытки.

Многие очевидные вещи в повествовании опущены, поскольку вряд-ли настройка ответственного сервера будет доверена человеку, не умеющему создать нового пользователя в системе или выполнить первоначальную настройку sendmail.

Вышел PC-BSD 8.0

admin — Tue, 23 Feb 2010 11:08:20 +0000

После продолжительного тестирования релиз-кандидатов появился на свет PC-BSD 8.0 (Hubble Edition), он основан на FreeBSD 8.0-RELEASE-P2 и KDE 4.3.5, использумый как раб. стол.

Особенности дистрибутива:

FreeBSD 8.0-RELEASE-P2
KDE 4.3.5
Обновлённый установщик, который позволяет установливать как PC-BSD, так и FreeBSD
Можно загружать с DVD диска, без установки (Live DVD mode)
Новый Software Manager, который позволяет просматривать и инсталировать программы
Поддержка 3D ускорения NVIDIA на 64 битных системах

С changelog’ом можно ознакомиться здесь.
Качаеи дистрибутив здесь и, торрентами, здесь.

Установка FreeBSD на флешку

admin — Wed, 13 Jan 2010 07:44:04 +0000

На домашние seedbox’ы очень часто ставятся древние жесткие диски, из соображения «не жалко». Особо важных данных туда все равно не записывается, и когда они ломаются, ничего страшного не происходит, кроме как проблем с перестановкой ОС.
Для минимизирования опасности паломки ОС, вполне возможно вынести ее на отдельный физический носитель. Как вариант — на небольшую флешку. Дальше речь пойдет об установке и настройке FreeBSD (7.0-8.0) на флеш накопитель.

Размер флешки

Поэкспериментировав, в 200 мегабайт (на 256 меговую флешку) свободно влезает вполне рабочий роутер с dhcp/dns/vpn демонами. Так же из ядра выкидываются все ненужные драйвера, ну и опции отладки и профилирования, а из мира удаляются manы. Естественно, исходники (/usr/src) и порты (/usr/ports) туда не влезут, но их можно без проблем монтировать и с другого носителя.

Под роутер с функциями seedbox лучше, конечно, иметь флешку белее объёмную, так как, там потребуется и apache, и perl, и php. Для данного примера попроюуем использовать глючную флешку на 4 гигабайта .

Проблемы с надежностью

В результате того что флешки очень не любят перезапись секторов, гайдбук рекомендует монтировать корень исключительно на чтение,разделы, требующие доступа на запись, выносить в память. В результате, /var будет смонтирован как диск в оперативной памяти и каждая последующая перезагрузка удалит все его содержимое.

Подготовка разделов

Установку удобнее делать из под FreeBSD (я делал с виртуалки), в которой уже собрано необходимое ядро и мир.

Вставляем флешку, смотрим как она определилась в dmesg (далее da0). Для начала отформатируем флэшку. Создадим flash_disk.proto:

# slice type start length
# создаем два слайса
p 1 0xa5 63 1429722
p 3 0xa5 2040255 6072570
# делаем первый активным
a 1

Так как флешка у меня глюкавая (попытка чтения из участка между 700 и 1000 мегабайтами вызывает отваливание контроллера), то пространство у меня дробится на два слайса. Со стабильной флешкой можно создавать один кусок на всю флешку.

Форматируем:

fdisk -f flash_disk.proto -i da0

Создаем загрузчик:

# создаем MBR
boot0cfg -B da0
# по-умолчанию грузимся с первого slice
boot0cfg -s 1 da0
# запрещаем загрузчику перезаписывать себя
boot0cfg -o noupdate da0

Далее разметим наш слайс. Создаем flash_labels.proto:

# size offset fstype [fsize bsize bps/cpg]
a: 1429722 0 4.2BSD 0 0 0
c: * 0 unused 0 0 # «raw» part, don’t edit

Размечаем диск,создаем файловую систему:

# Размечаем в соответствии с созданным файлом
bsdlabel -R da0s1 flash_labels.proto
# Создаем файловую систему
newfs -U da0s1a

Монтируем слайс

mount /dev/da0s1 /mnt/flash

Установка системы и портов

Для того чтоб каждый раз при make install не указывать путь, временно установим DESTDIR флаг в make.conf на рабочей системе:

DESTDIR=/mnt/flash

Ну а теперь ставим на флешку ядро, мир, системные конфиги и скрипты (etc):

cd /usr/src
make installkernel
make installworld
cd /usr/src/etc
make distrib-dirs
make distribution

У меня в make.conf, помимо всего прочего, выключена сборка info и man (NO_INFO=YES NO_MAN=YES), поэтому, для нормальной установки портов на флешку, необходимо вручную поставить texinfo, как описано здесь.

cd /usr/src/gnu/usr.bin/texinfo
make install

После, исправим fstab на флешке:

# Device Mountpoint FStype Options Dump Pass#
/dev/da0s1a / ufs ro 1 1
md /tmp mfs rw,-s24M,noatime 0 0
md /var mfs rw,-s128M,noatime` 0 0

Так как /var будет смонтирован в память, требуется перенести /var/db на флешку, чтобы данные об установленных портах не потерялись между перезагрузками. Для этого создаем ссылку:

mkdir /mnt/flash/etc/pkg
ln -s ../../etc/pkg /mnt/flash/var/db/pkg

Далее можно настраивать систему, править конфиги и ставить порты с рабочей системы (необходимо только в resolv.conf на флешке прописать dns-сервера).
Например:

cd /usr/ports/net/isc-dhcp30-server
make
make install

Директива DESTDIR в make.conf укажет make install что ставить порт нужно на флешку.

Проблемы с dns-сервером named

По-дефолту демон named запускается системой в песочнице (chroot’ом) в каталоге /var/named. Вынести этот каталог на флешку нельзя, так как named`у нужно иметь возможность записывать в свой маленький /var. Вариант, который я использовал, заключается в следующем,я добавил в rc.local копирование конфига named всякий раз при старте системы:

# копируем конфиг named
mkdir -p /var/named/etc
cp -Rp /usr/local/etc/namedb /var/named/etc
/etc/rc.d/named start

Это несколько криво и я с удовольствием выслушаю другие варианты решения.

Загрузка установленной системы

Подключаем флешку к роутеру и делаем её загрузочной, биосе. На некоторых материнских платах возможена ошибка, когда флешка не успевает определиться к моменту, когда загрузчик начинает монтировать корень. Хак для этой проблемы расписан в конце этой статьи.
После загрузки системы можно продолжить ее настройку. Для этого нужно перемонтировать корень на запись:

mount -uw /

После внесения изменений (установки портов/правки конфигов/добавления пользователей и т.д.) необходимо возвратить корень в доступ только на чтение:

mount -ur /

Полезные ссылки

FreeBSD and Solid State Devices
FreeBSD System on USB flash stick

miniBSD — reducing FreeBSD

Как выяснилось,нет особого смысла вручную монтировать /var и /tmp. В случае, если при загрузке /var и /tmp доступны только на чтение, будет автоматически вызваться /etc/rc.initdiskless, который, по-дефолту, примонтирует эти разделы в оперативную память. Следовательно из fstab можно удалить строчки про /var и /tmp, а в /etc/rc.conf добавить нужные параметры для rc.initdiskless:

tmpmfs=true
tmpsize=24M
varmfs=true
varsize=128M