SquintでSquidサーバーのログ解析 2015年10月18日

My work desk

先週末はまたまたさくらのVPSサーバーにSquidのインストール。そのサーバーはログ解析の必要があるのでなんらかSquidのアクセスログを見れる解析ツールが必要になった。

squid : Webコンテンツの配信を最適化する

アクセス解析に関してもレポート形式は様々なんで、結構求める結果を表示してくれるレポートがない。上のリンクのサイトを見ながらいくつか試しに入れてみたりしてたが、最終的に中ほどにあるSquintというツールに決定。

Leading Edge Business Solutions – Squint

このSquintはセットアップがとても楽。基本的にPerlなどLinuxのどのディストリビューションにでも標準的に入ってるライブラリだけでSquidログの解析レポートを作成してくれる。

apache(httpd)に関してもhtmlフォーマットのレポートを見る時に必要なだけでレポート作成まではhttpdのサーバーがなくても何も問題なく動きます。InternetからReachableのサーバーで常時TCP/80を開けておくのが不安、もしくはセキュリティ対策が面倒というのなら、とりあえずSquintで作成したレポートは特定のフォルダに溜め込んでおき、安全にhttpdを立ち上げられるLinuxなどのサーバーからshスクリプト+cronなんかで自動的にscpでそのレポートファイルをコピーして見れるようにしておけばこのレポートのためだけにhttpdを立てる必要もなくなります。

コマンドラインでも簡単にレポート作成できるし、配布パッケージのINSTALLファイルにある手順に従ってインストールすればcrontabへの登録も自動的に行い、デイリーでレポートを作成を自動的に作成してくれる。手順も3,4のインストールスクリプトを実行するだけで終了。とかくめちゃ簡単。

untitled-3

レポート自体は古臭いtableタグを使用した色気のないレポートですが、弄れる人はCSSを弄って見た目はもうちょっとマシにできるんじゃないかな?

Google Play Musicで20,000曲をクラウド同期。。。20,000曲超えてた 2014年01月14日

We have TWO databases for streaming music

Androidの4.xを使用していると標準でついてくるGoogle Play Musicというアプリ。パッと見、ただのmp3プレイヤーみたいに見える。USBでPCやMacと接続してmp3を電話にコピーして電話のストレージに保存してあるmp3を再生できる。ま、普通の機能ですな。

ですが、これがアメリカの場合クラウド機能を提供していて1ファイル300MBまでの音楽ファイル(mp3以外にもflacやらいろいろと対応している)を無料で20,000曲までGoogleのクラウドディスクに保管してPC(ブラウザ経由)、Android(アプリ経由)でストリームもしくはローカルにオンデマンドにダウンロードして曲を聞くことができる。ほとんどの人にとっては持ってる音楽ライブラリをまるごとクラウドバックアップして複数デバイスから簡単に再生出来る機能となっている。

これは試してみたいじゃないの。

ということでいろいろとgoogle先生を駆使してアメリカの外から有効化。プロキシなどを使って有効化しようとしたが何度やってもエラーが出るので「えい、めんどくさい!」とAmazonのEC2を使ってアメリカのAmazonのDC内にWindows 2012 Serverを立ち上げてそこからFirefoxでGoogle Play Musicに自分のアカウントを紐付けて有効化。。。

多分、すでにGoogle Walletで居住国の設定をしているか、クレジットカードを登録してしまっているアカウントではたとえIPをごまかしても登録できませんとエラーが表示されると思います。。。まだGoogle Walletの登録をしていないアカウントを用意したほうがいいと思います。。。結局EC2使う必要なかったな多分。

さあなんとか有効化、Google Music ManagerをダウンロードしてiTunesに登録されているmp3をまるごとアップロード!

「あ、、、20,000曲超えてる。。。」

ギリギリ2万と数百曲。。一応Google Play Musicのサイトには「20,000曲まで無料でアップロードできます」と書かれているが、有料プランを申しこめば20,000曲以上アップロードできるのかどうかも全然書かれていない。。。他のサイトを見ても書き方曖昧。。。

がんばって調べてみたが、一応ここに有料版だと無制限と書かれているし、起動当初下の写真が、”97 of 20,000 uploaded”というふうに20,000以上に上がらなかったがしばらく放っておいたら上限が”532 of 20,466 uploaded”というふうに上がっていたので有料オプションアカウントというステータスが同期されて20,000曲以上のアップロードが有効化されたのだろうと勝手に解釈してます。まあ、数時間後か数日後ぐらいには結果がちゃんと出てるでしょう。

Screen Shot 2014-01-16 at 1.13.16

しかし、自分の音楽ライブラリまるごとオンラインにってのが凄いね。自分の音楽ライブラリがアルバム数十枚程度っていう人なら全然簡単だろうけど、僕の場合ちょっと人より量多いからちょうどバックアップ代わりにもなっていい。しかも有料プラン(月9.99USD)だから自分のライブラリを軸にしつつも持っていないアルバムの曲も聞けたりで中々便利かもしれない。

タイの場合Deezerというフランス発のオンライン聴き放題月額サブスクリプションモデルの音楽サービスが正式にオープンしてるがイマイチストリーミングが思うように機能せずブチブチ音が途切れていて結局すぐに解約してしまった。Google Play Musicはどんなもんだろう??

しかし、このアップロードが終われば自分の電話がクラウドディスクを実装して自分の音楽ライブラリをまるごと保存したクラウドiPod化したようなもんですな。2000年代前半はiPodによくお世話になったがだんだんとライブラリの容量が大きくなってきて簡単にはiPodやiPhoneにライブラリ全体が収まらなくなってきたのでしばらく離れていたけど、これからまた久しぶりに音楽ライブラリ全体を持ち出す生活ができることになります。。。

参考サイト:
Google MusicがiOSから使える, 有料機能も1か月は無料 | TechCrunch Japan
Nexus 7 でGoogle Play Musicを使う。 | サイゴンのうさぎ
【メモ】Google Play Musicを日本から利用する方法 | 山猫は夜眠る

Apple TV からプロキシ経由でhuluが見れるようになっていた 2013年06月03日

Apple TVs from Strutta for Christmas
“Apple TVs from Strutta for Christmas” photo by Jordan Behan

ずっと前(多分2010年ぐらい)にApple TVを購入したが、最近は映画見るとなるとほとんどhuluで、僕はタイ在住でありますので日本のプロキシサーバ(自分で運営してます)を経由していて見ていた。そしてその後Apple TVのソフトウェア・アップデートがあって、Apple TVがhuluの再生に対応したということがわかったが、結局海外からは直接見ることができない。

んで、なんとかApple TVにプロキシをかます方法がないものかといろいろ調べていたがApple TVではプロキシサーバの指定がサポートされていないとのことで残念ながらApple TVでテレビでhulu見ることは断念していた。

Apple TV:プロキシサーバを介した接続はサポートされない

ところが、話は全然別件だが、上記のプロキシのサービスを使ってもらっているユーザさんからの問い合わせでApple TVがプロキシサーバをサポートしていた。

Apple TV:プロファイルを使ってプロキシを構成する方法
Apple TV:構成プロファイルのインストール方法

サポートされないとなっているのが2011年08月31日、そして2012年09月29日。かなり前からサポートされてるのね。。ただしその設定手順は難しくはないものの、ちょっとめんどくさい。通常の設定のようにApple Remoteなどでは設定できないのであります。

設定にはApple ConfiguratorというMac上のアプリが必要。てことはApple TVだけでMac持ってない人は設定不可か。そして上記のページの通り設定プロファイルにWiFiのSSIDとプロキシのアドレス、ユーザ名とパスワードを設定して保存した後、USBでMacとApple TVを接続(!!)した後、設定を流し込む。

「Apple TVにUSBポートなんてあったっけ?」

と一生懸命Apple TVの背面を見るがUSBポートなんて見つからない。世代の違うApple TVなのかな?とか思っていたが、よくよく見るとHDMIポートの下に隠れるようにマイクロUSBポートがありました。。。一度、TVからは配線取り外して、Apple TVをMacの近くにまで持ってきて再度電源投入。前面パネルのLEDが点滅状態から常時点灯状態になってからマイクロUSBでMacと接続。その後先ほどのアプリで作成した設定プロファイルを流しこんでやれば完了です。このApple Configuratorって教育現場や企業などで同じ設定のiOSデバイスをいっぱい作成しないといけない際などに使われるんでしょうな。。。ちょっと設定はめんどくさいですが、なんとかこれでApple TVでhuluを見ることができるようになりました。。。現状タイからの接続の場合、問題なく視聴可能です。

Apple ハイビジョン対応 Apple TV MD199J/A
アップル (2012-03-16)
売り上げランキング: 34

MacのVPN設定 2013年03月11日

Internet Upstairs - Apple iMacs from $400
“Internet Upstairs – Apple iMacs from $400” photo by madam3181

Gunosyをチェックしていたら、以下のようなニュースが。

VPN Gate 公開 VPN 中継サーバー一覧

筑波大学が国や政府によるインターネットアクセス規制(中国の例なんかが代表格)を回避するためのサービスを始めてるみたい。例えば、日本人の駐在員が中国に赴任になって、facebookや日本のWebサービスが使えない、というような規制をちゃんと自由に使えるように、日本やアメリカにある海外のVPNサーバまでは通信を暗号化させ、そのVPNサーバから実際の通信を行わせるようにしてあるシステム。アクセス先からはVPNサーバから通信が発生しているように見え、VPNサーバと実際の送信元のPCの間は暗号化されているのでそうそう簡単には通信内容も覗けないというシロモノ。いくつか弱点もあるが、これでインターネットのアクセス規制をすり抜けれることが多い。

実はこれって僕がやってて、このサイトでも申し込みのページを載せてる、プロキシサービスと役割的に被るのです。アクセス先のサーバからはVPNサーバから通信が発生しているように見えるので例えば日本にあるVPNサーバに接続している場合、当然アクセス先のサーバからは日本国内からアクセスしているように見えるので、日本在住者のみに向けたインターネットサービスでも海外から使うことができる。しかもVPNという方式は僕の提供してるプロキシという方式よりさらに機能的に強固なのだ。というわけで「ああ、みんな無料のこのサービスのほうに移行してしまうかなあ」と思いながら見ていて、ちょっと接続テストなんかもしてみたりしていた。

その中で見つけたMacのVPN設定、

VPN Gate – L2TP/IPsec VPN プロトコルを用いた VPN Gate への接続方法

ネットワーク > “VPN接続設定名” > 詳細 > オプション > すべてのトラフィックをVPN接続経由で送信

この、「すべてのトラフィックをVPN接続経由で送信」ってチェックボックスがある!これってナンなんだ?VPN経由とVPN経由でない通信を判別する基準ってなんなんだ?VPNって基本PC側で設定してOnにしたら全部の通信がVPN経由になるんじゃないの??対象外の通信ってなんらかシステム側で判別する明確な基準ってあるんだろうか?システム管理者やPCユーザが自分で明確に設定するならともかくデフォルトでシステム設定でVPN経由とVPN経由しない通信ってどうやってわけてるんだろう。。。

と、思ってたらやっぱり情報がありました。

MacでPPTP(VPN)接続しつつ、通常の接続も行えるようにする方法 « LANCARD.LAB|ランカードコムのスタッフブログ

なるほど。。。やっぱりVPNの対象になるアクセス先などの設定はユーザや管理者で明示的に行わないといけないのね。今まで外部からVPNで社内に接続したPCの通信は一定のセキュリティ基準を設けるため、全通信がVPN接続先のサイトやサーバを経由してインターネットに出る設定しかしたことなかったから、通常のWebアクセスなどをVPN経由させずそのままインターネットに直にアクセスなんて考えが全然なかった。。よくよく考えたらこういう機能はあってしかるべしですな。

しかし、この設定項目があることを知ったおかげで、既存のProxyサーバにインストールしようとしていたVPNの機能がなぜうまく動作しなかったのかがよくわかった。サーバじゃなくてMacのクライアント側の設定じゃん。。。最初Macでテストしてうまくいかないから他のPCではテストせずMacでうまくいった後にテストしようと思っていたが、MacのVPNがうまくいかないまましばらく放置されていた。。。ダメですなあ。

というわけで、とりあえずサーバ側に仕込んだVPNサーバは正常に動作していることが判明したので後は細かい動作のチェックとWindows XP, Windows 7, iPhone, Androidあたりでテストが完了すればVPNの機能も提供したいと思います。もちろん既存のユーザさんにも今まで通りのチャージで。昨日テストした時には、VPN経由でちゃんとGyao!なんかも見れておりました。。。

月額プロキシサービスがサーバ2台目となりました 2012年12月26日

Data Centre

このサイトの上部のリンク、「プロキシー接続サービス 月額360円にて提供」にて海外に居る人のために日本の国内だけの制限が掛かっている動画サイトを見れるようにHTTPのプロキシサービスを提供しております。そもそもは自分のため、知り合いの人のために用意したサーバだけどせめてサーバのレンタル代ぐらいは払えるようにと他の人にも使ってもらおうとして月額360円で使えるようにしました。まあ、手作りのサービスでしてプロキシだけで見れないサイトもあり、未だにGyaO!なんかも見れないのだが、個人的にはhulu.jpが見れるだけでもかなり満足してます。そのサービスも9月ぐらいから始めて今回2台目のサーバを借りることとなりました。

まだ1台めのサーバでももう1ユーザぐらいは収容できますが、初期セットアップの準備が必要なのでもう借りちゃって、さらにはユーザが付く前にVPNのセットアップをしてみようかと。さすがにVPNでPCからサーバに接続して、通信をサーバから全部発生させればほとんどのサービスが閲覧可能になるだろうと。。。実は9月にも1台めのサーバで試してうまくいかなったのを再度トライするのであります。後はサーバの現状の負荷をつないでるユーザさんが見れるようにもしたいなあなどと追加のサービスをいろいろと考えております。ぼんやりと地道にやってますが、またよろしくお願いします。。。