土偶StaticRoute

squidではない上位プロキシを指定し、クライアント192.168.1.0/24と192.168.2.1にのみ転送し、これらへの転送をすべてsquidが行う。(ダイレクトアクセスさせない)

フォアグラウンドに出ずにログが詳しくなるタイプ
tail -f ログ みたいな感じでリアルタイムにデバッグするのがよい。

postfix
/etc/postfix/master.cf
の該当デーモンに -v をつけるとsysologに大量のログが出力される

dovecot
指定したログに大量のデバッグ情報が出力される。指定していない場合はsyslog。
dovecot.conf

以下はフォアグラウンドで動作させて標準出力にログを吐かせるタイプ。

proftpd
/usr/local/proftpd/sbin/proftpd -n -d 10
-nでデーモンでなくフォアグランドで動作させ、-dでデバッグレベルを指定する。
標準出力に詳細なログが垂れ流し…

おまけのbind9
/usr/local/bind/sbin/named -c /etc/named.conf -u named -t /usr/local/bind -d 10 -g
-gでデバッグモードでフォアグラウンドで動く -dでデバッグレベルの指定

しかし、デバッグログを見るたびに、デーモンソフトウェアたちは見えないところで頑張ってるねんなーと思うのであった。

confには

C++のコンパイルオプションで、最適化オプションに-fast -native -mt 、ヘッダ検索パス、SASL対応と、TLS対応、Mysql対応を指定、
外部ライブラリの検索パスとランパス、TLSとmysqlのリンカオプションを指定、

以下でconfの重要な部分を書く。
ローカルへのメール配信は、実ユーザーが存在しなければmysqlに問い合わせる。
外部へのリレー要請ではSMTP認証でdovectに問い合わせを行い、認証されればリレー許可する。
SMTP認証とローカル配信対象リストは全く別物であるところに注意である。まぁ当たり前か。

main.cf

以下からmysqlへの問い合わせの設定、詳しい書式はこの本家のドキュメントを参照されたし。
virtual-account.cf

virtual-uid.cf

virtual-gid.cfは略。
とこんな感じで、dovectと同じテーブルを読み、メール環境が統合できる。

コンパイラオプションで最適化コードとヘッダ、ライブラリ検索パスとランパスを指定、
コンフィグオプションは以下の通り、
mysqlサポート、opensslサポートを追加、それぞれ/usr/local/mysql/　/usr/sfw/にインストールされているものとする。

で、confファイルはこんな感じのものが認証に関わる部分、
dovecot.conf

dovecot-mysql.conf
でDBのやらそのクエリを指定する。

ここでは、のCryus-SASLでのSMTP-AUTHを動作させた状態を前提として、それにTLSでの暗号化技術を乗せて、送信時にgmailへリレーするようにするまでを書いてみる。

postfixのインストール（太字がSMTP/TLSの部分）
opensslのヘッダファイルssl.hが/usr/sfw/include/opensslにあり、libssl.soとlibcrypto.soが/usr/sfw/libにある場合

次にサーバー秘密鍵と証明書+公開鍵の作成
#cd /etc/postfix
秘密鍵の作成
#openssl genrsa -out server.key 1024

証明書+公開鍵の作成
#openssl req -new -x509 -key server.key -out server.crt

#chmod 400 server.key server.crt

続いてpostfixの設定
/etc/postfix/main.cf

gmail認証情報ファイル検索テーブル作成
#cd /etc/postfix
#postmap dbm:sasl_passwd (hashやbtree、cdbが良い人はお好みで）
sasl_passwd.pagとsasl_passwd.dirが出力されたのを確認
#chmod600 /etc/postfix/sasl_passwd*

動作確認

んーまいったなーとソースコードについてきたドキュメントを読んでいると、「Building Postfix with Cyrus SASL support」の項目に

 (for Cyrus SASL version 2.1.x):


    % make tidy # if you have left-over files from a previous build

    % make makefiles CCARGS="-DUSE_SASL_AUTH -DUSE_CYRUS_SASL \

        -I/usr/local/include/sasl" AUXLIBS="-L/usr/local/lib -lsasl2"

なんやねんそれーということで、同じ文書をよく読むと"Support for the Dovecot version 1 SASL protocol is available in Postfix 2.3 and later. "ってことらしく、2.3からはSASL AUTHに「Cryus-SASL」
と「Dovecot SASL」を使えるようになったようだ。
SMTPでSASL-AUTHをするようビルドするには「USE_SASL_AUTH」としたうえで、「DEF_SERVER_SASL_TYPE=\"dovecot\"」と「USE_CYRUS_SASL」のどちらか、あるいは両方を指定するようだ。
そういえば、前にコンパイルしたのは2.2やったしね。

ということで、

しかし、初めて見た「Dovecot SASL」なるものを調べていると、Cryus-SASLが認証方法を一つしか選べないのに対して、Dovecot SASLは複数のものを同時に使えるようだ。
例えば、最初にpamでローカルユーザーを調べ、いなければLDAPに聞きに行き、そこにもいなければmysqlに聞きに行けるということも可能ということらしい。
土偶家ではメールのユーザーは全員実ユーザーに関連付けられていて、メールしか使わないユーザーはシェルを使えなくしてあるのやけど、この「Dovecot SASL」を使うとローカルユーザーすら作らなくてもよいではないか。
ということで、「Dovecot SAS」対応しておけば、confだけで切り替えることが出来るらしいので、とりあえずもう一度コンパイルしなおしておくのも良い感じである。

更に、Postfix TLS Supportなるドキュメントを見れば、以前は実装する為にはソースにパッチ充てたりとややこしかった、認証時のSSL暗号化のTLSサポートも結構簡単になったようである。
「Dovecot SAS」とあわせて、これは一丁チャレンジしてみるかな。これでgmailにリレーしてもらえるやん。
久しぶりにsolaris熱メラメラである。

で、apacheとTomcatを連携させて同じポートで動かす、つまり、apacheの特定のディレクティブだけtomcatで動作させるためには、apache + Tomcat Connectors + Tomcat(apache-tomcat)という構成すれば良い。
イメージとしては、apacheとtomcatが個別に動いていて、apacheへの特定のディレクティブへのアクセスを、apacheのモジュールであるTomcat Connectorsがリバースプロキシの様な働きをしてTomcatの特定のポートから転送するといった動作のようだ。（想像）

環境は OpenSolaris 200805
コンパイラはsunstudioexpress(SunStudio11ベース？)
apache_1.3.41 apache-tomcat-6.0.18 tomcat-connectors-1.2.26
apacheとtomcat-connectorsのみソースからインストール

とりあえずapacheを

./configure --enable-rule=SHARED_CORE --enable-module=so --prefix=/usr/local/apache
って感じの --enable-module=so つきでコンパイル、ポート80で動かす。

Tomcatをどこぞに展開して、bin/startup.sh で起動、
server.xmlのAJPプロトコルのバージョンと動作ポートを確認、
<!-- Define an AJP 1.3 Connector on port 8009 -->
 <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
 
なのでajp13 ポート8009となる。

どちらもちゃんと動いていればtomcat-connectorsのインストール

tomcat-connectors-1.2.26-srcのコンパイル

$ cd tomcat-connectors-1.2.26-src/native/
$./configure --with-apxs=/usr/local/apache/bin/apxs
$make
#make install
とすれば
apacheのlibexecディレクトリにモジュールmod_jk.*がインストールされる

ただし、solarisの場合、
/usr/ccs/bin/make
/opt/SUNWspro/bin/dmake
/opt/SunStudioExpress/bin/dmake
では如くコンパイルエラーが出るようだ。
gnuのmakeを使えばちゃんと通るので入ってなければ入れる。

apacheのconfディレクトリに移動
httpd.conf に以下を追加

tomcat.conf を新規作成して以下を追加

apche再起動
tomcat再起動

とりあえずよくわからんながらも、Webにあるマニュアルを見ながらApache TomcatとPostgreSQLなサーバーを作ったけど、動作原理がまったくわからんのでとてつもなく不安である。
こればっかりは勉強するしかない。
confがxmlで記述されているのはちょっとしたカルチャーショックであった。ってJavaの話と言うよりはTomcatの話やね…

「時は正に世紀末」と歌っていた人がいたけど、その世紀末は過ぎて新世紀である。
もう今時、Java周辺をちょっとでも齧っとかんとあかんやろうかなぁ、と思っていたところなので「渡りに船」ならぬ「WebサーバーにJava Servlet」、「SolarisにTomcat」と言ったところだろう。(意味不明)

最近、仕事で今まで手を出さなかった分野に投入されることが多く、大変ながらも中々刺激的で楽しい。
そのうちに組み込みアプリとかデバイスドライバの開発を頼まれるのではないかとビクビクしている。

lighttpd.conf　のFastCGIの該当部分はこんな感じ。

上のfcgi-perl は参照したサイトのdispatch.fcgiと同じ。

これで *.fcgi はFastCGIとして動く。
Movabletype関連のcgiを拡張子fcgiでシンボリックリンクを張ってfcgiとしてアクセスして動かす。
mt.fcgi, mt-comments.fcgi, mt-tb.fcgi, mt-search.fcgi, mt-view.fcgi, mt-atom.fcgiとすれば良いようだ。
ラッパーのおかげで、再構築するとブログ内のcgiのリンクがすべてfcgiに書き換わるうえに、新規投稿、再構築だけでなく、コメントとトラックバック時にもFastCGIが使われるようになるのでなかなか快適。

FastCGIをコンパイルした後に…

PerlのFastCGI対応のモジュールとしてFCGIとCGI::Fastを入れる。
CPANなコマンドで言うと、

PHPのFastCGI対応版は以前のエントリな感じで。

lighttpd本体のインストールは特にややこしい事はなく、

コンパイラの指定
export CC=/opt/SUNWspro/bin/cc
export CXX=/opt/SUNWspro/bin/CC
export F77=/opt/SUNWspro/bin/f77

コンパイルオプションの指定
export CFLAGS="-Xa -fast -native -xstrconst -mt -xarch=v8"

ライブラリ検索パスの追加
export LD_LIBRARY_PATH=/usr/local/lib:/lib:/usr/lib:
/usr/ucblib:/usr/sfw/lib:/opt/sfw/lib:/usr/dt/lib:
/usr/openwin/lib:/usr/xpeg4/lib:/usr/ccs/lib
(実際は一行で)

#apache1.3系のsoモジュールをインストール
通常のPHPバイナリの他に
/usr/local/apache/libexec/libphp5.so
が生成される。

#fast-cgi版のPHPインストール
apach1.3のsoモジュールを作った後、
lighttpdなどで使用するfast-cgiで動作するバイナリを作る。
通常のPHPバイナリの他に、
/usr/local/bin/php-cgi
が生成される。

#iniファイルのコピー
cp php.ini-dist cp php.ini-dist /usr/local/lib/php/php.ini

#後は/usr/local/lib/php/php.iniをそれらしく編集
default_charset="UTF-8"
mbstring.language="japanese"
とかはいるんでね？

コンパイラの指定
export CC=/opt/SUNWspro/bin/cc
export CXX=/opt/SUNWspro/bin/CC
export F77=/opt/SUNWspro/bin/f77

コンパイルオプションの指定
export CFLAGS="-Xa -fast -native -xstrconst -mt -xarch=v8"

ライブラリ検索パスの追加
export LD_LIBRARY_PATH=/usr/local/lib:/lib:/usr/lib:
/usr/ucblib:/usr/sfw/lib:/opt/sfw/lib:/usr/dt/lib:
/usr/openwin/lib:/usr/xpeg4/lib:/usr/ccs/lib
(実際は一行で)

#とりあえずconfigure
./configure --with-charset=utf8 --with-extra-charsets=all --with-mysqld-user=mysql --prefix=/usr/local/mysql

#make とmake install
dmake
dmake istall

#mysql用のグループとユーザー
groupadd -g 3306 mysql
useradd -d /usr/local/mysql/var -u 3306 -g mysql mysql

#myqldのDBディレクトリとDBインストール
mkdir /usr/local/mysql/var
chown mysql:mysql /usr/local/mysql/var
./scripts/mysql_install_db --user=mysql

#デーモンの起動
/usr/local/mysql/bin/mysqld_safe　&

#rootのパスワード変更
/usr/local/mysql/bin/mysqladmin -u root password '新しいパスワード'

結果、Postfixは相手SMTPがエラーになった場合、「minimal_backoff_time」に設定された値だけ待った後に再送信を繰り返し、それが「maximal_backoff_time」の値になると、以後は「maximal_queue_lifetime」の値になるまで、「maximal_backoff_time」間隔でリトライする。という仕様になっているらしい。
デフォルトではminimal_backoff_time=1000s、maximal_backoff_time=4000s、main.cfに明示的な設定は無いものの、postconfコマンドで見ると確かにそうなっている。
つまりエラーがあると16.6666...分後にリトライするようだ。

時間的にも土偶サーバーの遅延時間と合致する。でもってこれでは長すぎるので、main.cfにはとりあえず、minimal_backoff_time=60s maximal_backoff_time=600s maximal_queue_lifetime=6000sと書いておいた。
送信エラーがあった場合1分間隔で10分までリトライし、それ以降は10分ごとに1時間までリトライする。
という感じである。
とやって見たものの、それほどメールの遅延は改善されていないっぽい…

「Outbound port 25 Blocking」なISP内の野良メールサーバのメールの遅延に困っている人は試してみてはいかがだろうか？
postfix reload した後に、postconfでちゃんと値が設定されているのを確認しておこう。

土偶メールサーバーは既にSMTP AUTHをsasl_authで実装しているので、
main.cfに

relayhost=[プロバイダのSMTPサーバー]
smtp_sasl_password_maps = hash:/etc/postfix/conpasswd
smtp_sasl_mechanism_filter = plain, login

んでもってプロバイダの接続アカウント名とパスワードを格納している。/etc/postfix/conpasswdを

プロバイダのSMTPサーバー アカウント:パスワード

と言う書式で書いて、

postmap /etc/postfix/conpasswd

として

/etc/postfix/conpasswd.dir
/etc/postfix/conpasswd.pag

を生成する。
当然、
chmod 600 /etc/postfix/conpasswd*
位はしておこう。

さらに、Submission Portの設定として、master.cfの以下のコメントを外し、

submission inet n - n - - smtpd
-o smtpd_etrn_restrictions=reject
-o smtpd_client_restrictions=permit_sasl_authenticated,reject

とする。

んでもって、
mailq
でキューを見て、不要なキューを
postsuper -d キューID
として消した後に
postfixをリロードで終了

ソースというかパッケージが解凍されているディレクトリ、
OpenPNEの公式セットアップガイドで言うところの「OPENPNE_DIR」が
/usr/local/OpenPNE だとすると、
/usr/local/OpenPNE/webapp/lib/util/mail_send.php がメールを送信しているスクリプトであり、こいつを編集する。

そのmail_send.phpの60行目

修正:2008/02/21 「include('Mail.php');」 を 「include_once('Mail.php');」に 山下様のご指摘よる。

最初はDOS攻撃するワームがどこかで動いているのかと思ったけど、apacheのプロセスは死んでいないし、PHPは問題なくちゃんと動いているし、apacheのプロセス上限にきているわけでもない。
エラーを吐くのはperlのCGIのみ。
apacheに残るログは
「(12)Not enough space: couldn't create child process: 12: xxxxx.cgi ～」
「(12)Not enough space: couldn't spawn child process:/xxx/xxx/cgi-bin/xxx/xxx.cgi,～」
って感じ。何が「Not enough space」なのかと言うと、どうやらメモリらしく、子プロセス作られへんくらいに、実メモリ、仮想メモリを使い切ってるということらしい。

考えてみればこんな状態でも細々と息絶え絶えにでも動いているsolarisとsparcすげーと感心するも、とりあえずファイルベースのswapを割り当ててやるとまともに動き出した。

solarisの場合なら、

再起動したら元に戻るので、適時/etc/vfstabに追記して起動時に/sbin/swapaddされるようにしてやる。
/etc/vfstabには

/sbin/swapaddが自動実行されるように

現象としては過負荷なので、本来なら隙を見て物理メモリを追加してやるか、ディスク増設してswap領域作ってやるの正道やと思うけど、手を加えるほどの価値のあるハードでもないので、別マシンにIIS+windowsでサーバーを作り直し、ドメイン統合認証を使いたいという色気が出てきた。

Net-SNMPから所得出来るシステム関係のMIB情報

実メモリ
1.3.6.1.4.1.2021.4.5.0 memAvailReal.0 int型 合計の実メモリ容量
1.3.6.1.4.1.2021.4.6.0 memAvailReal.0 int型 利用可能実メモリ容量

スワップ
1.3.6.1.4.1.2021.4.3.0 memTotalSwap.0 int型 トータルのスワップ容量
1.3.6.1.4.1.2021.4.4.0 memAvailSwap.0 int型 利用可能スワップ容量

CPU
1.3.6.1.4.1.2021.10.1.5.1 laLoadInt.1 int型 CPU負荷率（1分間の平均)
1.3.6.1.4.1.2021.10.1.5.2 laLoadInt.2 int型 CPU負荷率（5分間の平均)
1.3.6.1.4.1.2021.10.1.5.3 laLoadInt.3 int型 CPU負荷率（15分間の平均)

Net-SNMPがインストールされていれば、
snmpwalk -v 1 -c コミュニティ名 ホスト名 1.3.6.1.4.1.2021.4.5
で表示される。

土偶サーバーでは
CPU負荷が10%を超える事はほとんど無く、

memTotalSwap.0 = INTEGER: 526312
memAvailSwap.0 = INTEGER: 526312
と、スワップをこれっぽっちも使ってない事になる。
何せ実メモリが
memTotalReal.0 = INTEGER: 1048576
memAvailReal.0 = INTEGER: 601200
とトータル1ギガのうち60%が利用可能ということになってる。

5年前ならプロバイダの基幹を背負うに相応しい構成やね（そうか？？）

ちなみにこいつを所得するmrtgのconfは、
コミュニティがpublicで対象ホストがlocalhostの場合、

と言う感じ。

• mysql
  --with-charset=utf8 --with-extra-charsets=all --with-mysqld-user=mysql --prefix=/usr/local/mysql
• apache2
  --enable-mods-shared=most --enable-ssl=shared --prefix=/usr/local/apache2 --enable-so --with-ssl=/usr/local/ssl
  
• php4
  --with-apxs2=/usr/local/apache2/bin/apxs --with-mysql=/usr/local/mysql --enable-zend-multibyte --enable-mbstring --enable-mbregex
  GDを使う場合は追加
  --with-gd=/usr/local --with-jpeg-dir=/usr/ --with-png-dir=/usr --with-xpm-dir=/usr --with-freetype-dir=/usr/sfw --with-tiff-dir=/usr --with-xml=/usr --with-zlib=/usr --with-xpm-dir=/usr
  

目指すべきところ：
外部とのやり取りもできるセキュアなメールサーバーの構築。

条件：
1、localhostからは認証なしでメール送信（リレー）許可。
2,当然ながら自ドメイン宛も無条件でメール受信（リレー）許可。
3,外部（サブネット含む）からの接続で自ドメイン以外への送信（リレー）はSMTP-AUTHで認証後に許可。
4,SMTP-AUTHはローカルシステムのユーザー＆パスワードを使用。
5,条件4を満たすために/etc/shadowもしくはpamを使った認証が必要。

制限事項：
1,条件:4を満たすために認証方法は「PLAIN LOGIN」しか使用できないが、通常のSMTPは平文でユーザー名とパスワードを流しているのに引き換え、
PLAINはBase64エンコードされた状態で送信されるので、これでいいと諦める。
DIGEST-MD5 CRAM-MD5のどちらか、あるいは両方を使うためにはローカルシステムではなく、外部認証が必要となる。

使用したソフトウェア
smtpサーバーpostfix-2.2.8
/etc/shadowもしくはpam対する認証デーモン：cyrus-sasl-2.1.21

概要：
postfixはsendmailとは違ってrootではなく指定したユーザー&グループ権限で動作するsendmail互換のセキュアなサーバーである。
低権限のユーザーで動作するpostfix単体では/etc/shadowやpamを使って認証を行うことができないので、
cyrus-saslという認証デーモンを動作させ、postfixがそのデーモンに問い合わせを行う形でSMTP-AUTHを実現する。

コンパイル条件：
CコンパイラはSunStudio11のSUN Cを使用：

cyrus-sasl-2.1.21のコンパイル
インストールディレクトリは/usr/local/sasl2

postfix-2.2.8のインストール

必要条件：openssl（solaris10でデフォルトでインストールされているopensslではライブラリが足りないので、ソースからコンパイルのこと）

postfixでのSMTP-AUTHに必要なもの
postfix（もちろん） cyrus-sasl-2

コンパイルの方針

コンパイラはSunのccで
cyrus-sasｌ2 は/usr/local/sasl2 以下に、postfixは/usr/local/postfix以下に。

前準備
postfixの動作するユーザー postfix グループpostfix postdropを作っておく

まずsaslのインストール

postfixのインストール

動作確認:
telnet ホスト 25
として、

220 メールサーバー名 ESMTP Postfix
ehlo test　←ここは入力する
250-メールサーバー名
250-PIPELINING
250-SIZE 10240000
250-VRFY
250-ETRN
250-AUTH LOGIN PLAIN CRAM-MD5
250-AUTH=LOGIN PLAIN CRAM-MD5
250 8BITMIME

などと帰ってきたらPLAIN CRAM-MD5でのAUTHを許可しているということなので成功。

no SASL authentication mechanisms などとsyslogにあがる時はsaslのライブラリが読めていない可能性大。

Solaris10+Sparc+Sun Studio 11でZope-2.9.0をconfigureする際に、
./configure --prefix=/usr/local/zope --with-python=/usr/local/bin/python ってやると

./configure: test: unknown operator /usr/local/zope

というエラーで止まり、Makefile　が生成されない。
見た感じライブラリとかヘッダがないとかいうありがちなエラーではなく、引数が引数ではなくコマンドとしてconfigureスクリプト内で解釈されているとか、"と'の扱いの違いとかで分割されて二つになる引数がひとつとして渡されてるとか、なんかしょーもなさそうなエラーの予感。
で、結局原因はconfigureスクリプトの不備にあったようで、configure スクリプトの一行目、インタプリタを指定する部分が、デフォルトでは　#!/bin/sh　になってるけど、これを#!/bin/bash に書き換えてやるとちゃんと動作した。（一応スクリプト内のsedもgsedに書き換えておいた）
/bin/shがbashのシンボリックリンクになってるLinuxではちゃんと動作するのやろうけど、非GNUツールが満載してあるsolarisではちゃんと動かん。
ちゃんとshネイティブのスクリプト書かんかい。と。
結局苦労してzope入れてみたものの、特に使い方がわからんのですぐ消した。

結局仕事帰って来てもやってることぜんぜん変わらんやん…
見る人が見ると虚しい人生に見えるのやろけど、まぁ本人（俺）は（それなりに）楽しくやってるからええとするか。