「Linux」カテゴリーアーカイブ

Webサーバの高速化のためにGoogleが開発している mod_pagespeed を試してみた。 詳しくは、紹介記事 を見てもらうとして、 基本的に、CSSやJavaScriptの実行順序に伴う速度低下や、画像表示の低下を防ぐために、 様々なデータに変換しながら送り出してくれる機能。 "aptitude search mod-pagespeed"しても出てこないし、もう少し待とうかと思ったけど、 *.deb なパッケージが提供されているので、自宅サイトに入れてみた。

# wget https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-beta_current_amd64.deb
# dpkg -i mod-pagespeed-*.deb
# /etc/init.d/apache2

といっても、ページに埋め込んだCSS,JavaScriptなんて movable-type が生成した わずかな部分だし、速度向上はするのだろうか？ 実際試して、自宅サイト表示させてみたけど、"いつもどおり"としか言いようがない。 ページ表示の際の、画像読み込みタイミングでレイアウトがピョコピョコ移動するのが無く 表示されて速いじゃん…と高速化した気分がする。 だけど、改めて"a2dismod pagespeed;/etc/init.d/apache2 restart"してから試したけど、 やっぱり違いはわかんない…

ただし、mod-pagespeed は、サーバ側で送出するデータに変更を加える訳だから、 サーバの処理負荷としては重くなる。ひとまず、このまま放置で変化を見てみよう。

早々にエラー出たじゃん

そのまま経過観察…と思ってたけど、munin のグラフを見ようとしたら、 早々に以下のようなエラーメッセージ。どうもJavaScriptの文法エラー。 試しに、"a2dismod pagespeed"したら普通に表示できたので、 原因は mod-pagespeed に間違い無い。

Web記事を探していたら、国別のFireWallでのブロックで ipset というものが使える との情報から、試してみた。 ipsetを使った理由は、iptables に、別物管理したい国別ルールを入れたくなかったため。

ちなみに、ipdeny から取得した CIDR なIPv4なアドレスブロック数は、以下のようになった。 ロシアが多いのは納得だけど、インターネットの普及のイメージとして中国≒インド≒韓国 ぐらいの感じを抱いていたけど、中国のアドレスブロックの数はインド・韓国の３倍。 人口の影響かな？後発出遅れで細切れアドレスになったのかな….

$ wc -l *.zone
2635 cn.zone
602 id.zone
706 in.zone
659 kr.zone
6520 ru.zone
388 tw.zone
11510 合計

また、mergecidr.pl によって、隣接CIDRをマージさせてみたけど、 元々の11510件が、併合で9255件に減らすことができた(20%減)。

mergecidr.pl

#!/usr/bin/perl

my %net = () ;
while( <> ) {
  if ( /^(\d+)\.(\d+)\.(\d+)\.(\d+)\/(\d+)$/ ) {
    my $ip,$bt;
    ($ip,$bt) = ( ($1 << 24) + ($2 << 16)
              + ($3 << 8) + $4 , $5 ) ;
    $net{$ip} = $bt ;
    # printf( "# %08x/%02d\n" , $ip , $bt ) ;
  }
}
my $count = 1 ;
while( $count > 0 ) {
  my $lip = 0 ;
  my $lbt = 0 ;
  $count = 0 ;
  foreach my $ip ( sort { $a <=> $b } keys %net ) {
    my $bt = $net{$ip} ;
    if ( $bt > 0 ) {
      if ( $lbt == $bt && $bt > 1 ) {
        # printf( "%08x/%02d\n" , $ip , $bt ) ;
        my $dbt = $bt - 1 ;
        my $mask = (((1 << $dbt) - 1)
                   << (32 - $dbt)) ;
        if ( ($ip & $mask) == ($lip & $mask) ) {
          $count++ ;
          undef $net{$lip} ;
          undef $net{$ip} ;
          $net{$ip & $mask} = $dbt ;
          #printf( "%08x/%08x/%02d\n" ,
          #   ($ip & $mask) , $mask , $dbt ) ;
        }
      }
      $lip = $ip ;
      $lbt = $bt ;
    }
  }
}
foreach my $ip ( sort {$a <=> $b } keys %net ) {
  my $bt = $net{$ip} ;
  if ( $bt > 0 ) {
    printf( "%d.%d.%d.%d/%d\n" ,
            (($ip >> 24) & 0xff) ,
            (($ip >> 16) & 0xff) ,
            (($ip >>  8) & 0xff) ,
            ( $ip        & 0xff) ,
            $bt ) ;
  }
}

geoipdeny.sh

参考サイトのスクリプトをほぼ、そのまま借用。

• iptablesで特定国からのアクセスを弾く

DIR="/usr/local/etc/geoipdeny"
ZONEURL="http://www.ipdeny.com/ipblocks/data/countries"
# download zonefile
for GEO in cn.zone kr.zone ru.zone tw.zone id.zone in.zone
do
  /usr/bin/wget -q -O - "$ZONEURL/$GEO" \
  | /bin/grep -v "^#|^$" > $DIR/$GEO
done
/usr/sbin/ipset destroy GEOIPDENY > /dev/null 2>&1
/usr/sbin/ipset create GEOIPDENY hash:net
for IP in ` $DIR/mergecidr.pl $DIR/*.zone `
do
  /usr/sbin/ipset add GEOIPDENY $IP
done
/usr/sbin/ipset save GEOIPDENY > $DIR/geoipdeny.store
/usr/sbin/ipset destroy GEOIPDENY

fermの設定に登録

自宅のFirewallの設定には、iptablesな設定を、ブロック的にまとめて記載できる、 ferm というのを使っているので、その設定の中に、上記でできた ipset を参照させる。

(( 設定ファイルの先頭に ))
@hook post  "/usr/sbin/ipset destroy GEOIPDENY" ;
@hook pre   "/bin/cat /usr/local/etc/geoipdeny/geoipdeny.store
| /usr/sbin/ipset restore" ;
@hook flush "/usr/sbin/ipset destroy GEOIPDENY" ;
(( Firewallのブラックリストな設定部分に ))
mod set set GEOIPDENY ( src dst ) REJECT ;

次は動作確認。

# geoiplookup www.baidu.cn
GeoIP Country Edition: CN, China
# ipset test GEOIPDENY www.baidu.cn
220.181.111.147 is in set GEOIPDENY.
# w3m http://www.baidu.ch
これがなぜか接続成功するんだよな....

ということで、まだなにかオカシイ？

# export http_proxy=http://中国のOpenProxy:xxxx
# w3m http://tsaitoh.net/
Connection Refused...

おお、ちゃんと拒否られるな….

自宅からだと、間に透過PROXYでも入っているのかな…