[Pandora-jp] Pandora FMS Server Daemon startingの意味

"三反田@ひむか流通ネットワーク" santanda ＠ himuka.ne.jp
2012年 10月 9日 (火) 19:10:14 JST 

三反田です。

佐藤さま

> 切り分けのために、もう少し確認ですが、cron から pandora_db.pl が実行
→/var/spool/cron配下には、pandora_db.pl　を起動させるcronは無いのです。
　あるのは、私が作成したntp系のぶんだけでして。。。？です。

確かに　pandora_db　は存在しているし。
/etc/cron.daily
watchmgr:/etc/cron.daily # ll
total 44
-rwxr-xr-x 1 root root  635 May 19  2011 logrotate
-rwxr-xr-x 1 root root 1414 Dec  7  2011 packagekit-background.cron
-rwxr-x--- 1 root root   78 Jun 28 14:49 pandora_db
-rwxr-x--- 1 root root   49 Dec 21  2011 pandora_restart
-rwxr--r-- 1 root root  948 Feb 23  2011 suse-clean_catman
-rwxr--r-- 1 root root 1693 Feb 23  2011 suse-do_mandb
-rwxr-xr-x 1 root root 1875 Sep  1  2003 suse.de-backup-rc.config
-rwxr-xr-x 1 root root 2059 Sep  8  2003 suse.de-backup-rpmdb
-rwxr-xr-x 1 root root  566 Jul 23  2004 suse.de-check-battery
-rwxr-xr-x 1 root root 1380 Jan 13  2010 suse.de-clean-tmp
-rwxr-xr-x 1 root root  371 Sep  1  2003 suse.de-cron-local


？と思えそうなcronは　/etc/crontabファイルですが。。。中身は以下の通り。

cat crontab
SHELL=/bin/sh
PATH=/usr/bin:/usr/sbin:/sbin:/bin:/usr/lib/news/bin
MAILTO=root
#
# check scripts in cron.hourly, cron.daily, cron.weekly, and cron.monthly
#
-*/15 * * * *   root  test -x /usr/lib/cron/run-crons && /usr/lib/cron/run-crons >/dev/null 2>&1
何を行なっているか明日、調査します。 >/dev/null 2>&1　を抜いて、私宛にメール送信としましたので。


ちなみに　/usr/share/pandora_server/util/pandora_db.pl /etc/pandora/pandora_server.conf　を
起動しても/var/log/messagesには何も書かれなかったです。


(2012/10/09 18:04), Junichi Satoh wrote:
> 三反田さん
> 
> さとうです。
> 
> 反応が遅くなってすみません。
> 
>> 以下のコマンドを叩きましたが、サービスが再起動するような事も無く外れでした。
>> 結果も記載します。
> 1日一回 cron から実行されていますので、手動で実行したタイミングでは
> 負荷がかからなかったという、可能性もなくはないです。
> 
>> やはりMySQLの負荷でしょうか？
> まだ何ともいえませんが...
> 
> 切り分けのために、もう少し確認ですが、cron から pandora_db.pl が実行
> される時間を変更してみて再起動がかかる時間が変わるか見てみると良いかも
> しれません。
> 
> ---
> 佐藤 淳一
> junichi ＠ pandorafms.jp
> 
> 
> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
> Subject: Re: [Pandora-jp] Pandora FMS Server Daemon startingの意味
> Date: Fri, 05 Oct 2012 10:10:56 +0900
> 
>> 三反田です。
>>
>> 佐藤さん
>>
>> 以下のコマンドを叩きましたが、サービスが再起動するような事も無く外れでした。
>> 結果も記載します。
>>
>> やはりMySQLの負荷でしょうか？
>>
>> /usr/share/pandora_server/util/pandora_db.pl /etc/pandora/pandora_server.conf
>>
>> Pandora FMS DB Tool 4.0.2 PS120626 Copyright (c) 2004-2009 Artica ST
>> This program is Free Software, licensed under the terms of GPL License v2
>> You can download latest versions and documentation at http://www.pandorafms.org
>>
>> Pandora DB now initialized and running (PURGE=60 days, COMPACT=90 days, STEP=1) ...
>>
>>   [*] Pandora FMS Enterprise module not available.
>>
>> Starting at 2012-10-05 10:06:46
>> [PURGE] Deleting old data...
>> [PURGE] Data deletion Progress %100 ..
>> [PURGE] No data in tagente_datos_log4x
>> [PURGE] Deleting old string data...
>> [PURGE] String deletion Progress %100 ..
>> [PURGE] Deleting old event data (More than 60 days)...
>> [PURGE] Deleting old audit data (More than 15 days)...
>> [PURGE] Delete pending deleted modules (data table)...
>> [PURGE] Delete pending deleted modules (status, module table)...
>> [PURGE] Deleting old access data (More than 24hr)
>> [PURGE] Agent access deletion progress %100 ..
>> [PURGE] Delete contents in report that have some deleted modules...
>> [PURGE] Delete contents in report that have some deleted agents...
>> [PURGE] Delete empty contents in report (like SLA or Exception)...
>> [CHECKDB] Deleting non-init data...
>> [CHECKDB] Deleting unknown data (More than 0 days)...
>> [CHECKDB] Checking database consistency (Missing status)...
>> [CHECKDB] Checking database consistency (Missing module)...
>> [INTEGRITY] Cleaning up group stats
>> [INTEGRITY] Deleting non-used IP addresses
>> [INTEGRITY] Deleting orphan alerts
>> [INTEGRITY] Deleting orphan modules
>> Ending at 2012-10-05 10:06:49
>>
>>
>>
>> (2012/09/05 21:27), Junichi Satoh wrote:
>>> 三反田さん
>>>
>>> さとうです。
>>>
>>>>> /var/log/cron はどうですか?
>>>> →openSUSEは詳しくないのですが、/var/log/cronが無いのですヨ
>>>> 　cron結果は、/var/log/messagesに書かれます。
>>> おっと、すみません。
>>> 間違った事書いてました。
>>>
>>> 今、改めて自宅に SuSE なテスト環境があるので確認してみましたが、SuSE は
>>> /var/log/messages に cron の結果が書かれるで正しいです。
>>> 失礼しました。
>>>
>>>> 　ですが、/var/log/messagesには何も無いんです。grepかけてもです。
>>> 私の手元の SuSE の環境ですと、
>>>
>>> Sep  5 21:00:03 XXXX run-crons[2096]: pandora_db
>>>
>>> といった感じのログがでてますが、こんな感じで出てませんか?
>>>
>>> ちなみに、cron から呼び出されるのは以下のコマンドなので、これを手動で
>>> 実行してみても動作の確認ができるかと思います。
>>> (cron で実行される時間を待たなくても)
>>>
>>> /usr/share/pandora_server/util/pandora_db.pl /etc/pandora/pandora_server.conf
>>>
>>> ---
>>> 佐藤 淳一
>>> junichi ＠ pandorafms.jp
>>>
>>>
>>> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
>>> Subject: Re: [Pandora-jp] Pandora FMS Server Daemon startingの意味
>>> Date: Wed, 05 Sep 2012 11:11:21 +0900
>>>
>>>> 三反田です。
>>>>
>>>> 佐藤さん
>>>>
>>>>> /var/log/cron はどうですか?
>>>> →openSUSEは詳しくないのですが、/var/log/cronが無いのですヨ
>>>> 　cron結果は、/var/log/messagesに書かれます。
>>>> 　ですが、/var/log/messagesには何も無いんです。grepかけてもです。
>>>>
>>>>
>>>>
>>>>
>>>> (2012/09/04 13:48), Junichi Satoh wrote:
>>>>> 三反田さん
>>>>>
>>>>> さとうです。
>>>>>
>>>>> pandora の動作環境情報ありがとうございます。
>>>>>
>>>>> また、pandora_db の情報ありがとうございます。＞竹田さん
>>>>> 確かにこの可能性はありそうですね。
>>>>>
>>>>>>> /etc/cron.daily/pandora_db
>>>>>> →実態はPandoraのDBメンテナンス用のperlみたいですネ。
>>>>>> 　何を行なっているのでしょうか？
>>>>> システム管理メニューで、[設定] → [パフォーマンス] を見ると、各種データ
>>>>> の保存日数の設定があると思いますが、この設定に従って保存期間が過ぎた
>>>>> データを削除しているのが、このスクリプトです。
>>>>> ＃それ以外にも、未初期化モジュールの削除等をやっています。
>>>>>
>>>>>> 　ただ、これがcronで動いた形跡が見えないのです。
>>>>>> 　/var/log/messagesにも記録なしでして。
>>>>> /var/log/cron はどうですか?
>>>>>
>>>>> ---
>>>>> 佐藤 淳一
>>>>> junichi ＠ pandorafms.jp
>>>>>
>>>>>
>>>>> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
>>>>> Subject: Re: [Pandora-jp] Pandora FMS Server Daemon startingの意味
>>>>> Date: Tue, 04 Sep 2012 12:00:15 +0900
>>>>>
>>>>>> 三反田です。
>>>>>>
>>>>>> 竹田様
>>>>>>
>>>>>> ありがとうございます。
>>>>>>
>>>>>>> 原因はMYSQLの高負荷でした
>>>>>> →ヒントを頂きましたので、今朝からMySQLの稼働状況を午後からモニター
>>>>>> 　予定です。OS自体はtop./vmstatでも見ても、あまり影響なしの
>>>>>> 　感じです。
>>>>>>
>>>>>>> /etc/cron.daily/pandora_db
>>>>>> →実態はPandoraのDBメンテナンス用のperlみたいですネ。
>>>>>> 　何を行なっているのでしょうか？
>>>>>> 　ただ、これがcronで動いた形跡が見えないのです。
>>>>>> 　/var/log/messagesにも記録なしでして。
>>>>>>
>>>>>>
>>>>>>
>>>>>> (2012/09/04 0:21), 蓄電 wrote:
>>>>>>> 始めまして
>>>>>>>
>>>>>>> 竹田と申します
>>>>>>>
>>>>>>> 横から失礼します
>>>>>>>
>>>>>>> 自分のみている環境で同じような現象が起きてました
>>>>>>> 原因はMYSQLの高負荷でした
>>>>>>>
>>>>>>> restartの設定はしていませんでしたが
>>>>>>>
>>>>>>> 5台にインストールして同じDBに見せていたため
>>>>>>> CRONで同時に
>>>>>>> /etc/cron.daily/pandora_db
>>>>>>> が動きMYSQLが高負荷状態かLOCKがかかった状態になり
>>>>>>> メッセージが出ていました
>>>>>>>
>>>>>>>
>>>>>>> 最初15時だから違うかなと思ったのですが
>>>>>>>> →Linux xxxxxxxx 2.6.37.6-0.9-default #1 SMP 2011-10-19 22:33:27 +0200 i686 i686 i386 GNU/Linux
>>>>>>> となっていたためOSの時刻はUTC+2となり
>>>>>>> たぶんスペインの時間になってると思います
>>>>>>>
>>>>>>> Pandoraでのタイムゾーンの設定がどうなってるかわかりませんが
>>>>>>> CRONが動いてる時間と関係ないでしょうか?
>>>>>>> CRONのLOGやMYSQLのlongquerytimeなどのLOGで判断できるのでは？とおもいます
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>>> 三反田です。
>>>>>>>>
>>>>>>>> 佐藤様
>>>>>>>>
>>>>>>>> お手すきの際にお願いいたします。
>>>>>>>>
>>>>>>>>> - Pandora FMS サーバを動かしている環境について
>>>>>>>>>        . OS の種類とバージョン (おそらく、Linux の何かですよね?)
>>>>>>>>>        . kernel のバージョン
>>>>>>>> →Linux xxxxxxxx 2.6.37.6-0.9-default #1 SMP 2011-10-19 22:33:27 +0200 i686 i686 i386 GNU/Linux
>>>>>>>> 　openSUSE 11.4 (i586)
>>>>>>>> 　VERSION = 11.4
>>>>>>>> 　CODENAME = Celadon
>>>>>>>> 　　　※　http://pandorafms.com/pandora/download/jp　←ここの　SLES / OpenSUSE (バージョン 11.x)　です。
>>>>>>>>
>>>>>>>>>        . perl のバージョン
>>>>>>>> →perl-5.12.3-11.18.1.i586
>>>>>>>>
>>>>>>>>>        . MySQL のバージョン
>>>>>>>> →mysql  Ver 14.14 Distrib 5.1.57, for suse-linux-gnu (i686) using readline 6.1
>>>>>>>>
>>>>>>>>      
>>>>>>>>> - 発生状況について
>>>>>>>>>        . 問題のログが現れる法則性
>>>>>>>> →決まった時間帯です。
>>>>>>>> 　数日間のログでもはっきりしています。
>>>>>>>> SYSTEM 	System 	2012-09-03 15:45:09 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>> SYSTEM 	System 	2012-09-02 15:45:12 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>> SYSTEM 	System 	2012-09-01 15:45:08 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>> SYSTEM 	System 	2012-08-31 15:45:22 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>> SYSTEM 	System 	2012-08-30 15:45:12 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>> (2012/09/03 13:26), Junichi Satoh wrote:
>>>>>>>>> 三反田さん
>>>>>>>>>
>>>>>>>>> さとうです。
>>>>>>>>>
>>>>>>>>>>> おや、デフォルトの pandora_server.conf では、コメントアウトされた
>>>>>>>>>>> 状態ではありますが用意はされているはずですが...
>>>>>>>>>> →稼働してサーバのpandora_server.confを添付します。
>>>>>>>>> ありがとうございます。
>>>>>>>>> ざっと見た範囲では、問題になりそうな設定はなさそうですね。
>>>>>>>>>
>>>>>>>>>> →cronも無いです。試しに/var/spool/cron配下を確認しましたが
>>>>>>>>>> 　やはり無いでした。cronを作成・編集もしていませんので。
>>>>>>>>> 了解です。
>>>>>>>>>
>>>>>>>>>> うーん、何でしょうね？
>>>>>>>>> うーん、私の手元のサーバではそのような現象が発生した事がないです。
>>>>>>>>> 環境の違いで何かあるのかもしれませんが、何とも...
>>>>>>>>> ＃私は普段 Pandora FMS の開発・テストは FreeBSD メインでやってます。
>>>>>>>>>
>>>>>>>>> その後も発生してますか?
>>>>>>>>>
>>>>>>>>> 時間がとれれば調べてみますので (お仕事の合間でぼちぼち... なので早くても
>>>>>>>>> 今月末くらいかなぁ)、以下の情報を教えてもらえますか。
>>>>>>>>>
>>>>>>>>> - Pandora FMS サーバを動かしている環境について
>>>>>>>>>        . OS の種類とバージョン (おそらく、Linux の何かですよね?)
>>>>>>>>>        . kernel のバージョン
>>>>>>>>>        . perl のバージョン
>>>>>>>>>        . MySQL のバージョン
>>>>>>>>>
>>>>>>>>> - 発生状況について
>>>>>>>>>        . 問題のログが現れる法則性
>>>>>>>>>          (1回出ただけとか、毎日何時とか、毎週何曜日とか、etc...)
>>>>>>>>>
>>>>>>>>> なお、単に再起動がかかっているだけであれば、実質の動作上は問題はないはず
>>>>>>>>> です。なので、さしあたり同様のログは無視していただいて大丈夫です。
>>>>>>>>> ---
>>>>>>>>> 佐藤 淳一
>>>>>>>>> junichi ＠ pandorafms.jp
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
>>>>>>>>> Subject: Re: [Pandora-jp] Pandora FMS Server Daemon startingの意味
>>>>>>>>> Date: Fri, 31 Aug 2012 14:28:52 +0900
>>>>>>>>>
>>>>>>>>>> 三反田です。
>>>>>>>>>>
>>>>>>>>>> 佐藤様
>>>>>>>>>>
>>>>>>>>>>> おや、デフォルトの pandora_server.conf では、コメントアウトされた
>>>>>>>>>>> 状態ではありますが用意はされているはずですが...
>>>>>>>>>> →稼働してサーバのpandora_server.confを添付します。
>>>>>>>>>> 　ほぼオリジナルなのですが。
>>>>>>>>>>
>>>>>>>>>>> (再)起動」しか可能性としては無いのですが、cron で再起動の設定しているとか、
>>>>>>>>>>> 何かサーバでやってたりしませんか?
>>>>>>>>>> →cronも無いです。試しに/var/spool/cron配下を確認しましたが
>>>>>>>>>> 　やはり無いでした。cronを作成・編集もしていませんので。
>>>>>>>>>>
>>>>>>>>>> うーん、何でしょうね？
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>> (2012/08/31 13:22), Junichi Satoh wrote:
>>>>>>>>>>> 三反田さん
>>>>>>>>>>>
>>>>>>>>>>> さとうです。
>>>>>>>>>>>
>>>>>>>>>>>>> pandora_server.conf で、auto_restart や restart を設定してませんか。
>>>>>>>>>>>> →そもそも項目そのものがそ存在していませんが。
>>>>>>>>>>> おや、デフォルトの pandora_server.conf では、コメントアウトされた
>>>>>>>>>>> 状態ではありますが用意はされているはずですが...
>>>>>>>>>>>
>>>>>>>>>>> まぁ、いずれにしましても、項目が無ければ設定されてないということに
>>>>>>>>>>> なりますので、これらの設定に関連した話ではないですね。
>>>>>>>>>>>
>>>>>>>>>>> で、
>>>>>>>>>>>>>> SYSTEM 	System 	2012-08-29 15:45:13 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>>>>> このログが記録される可能性としては、pandora_server の実装上、
>>>>>>>>>>>
>>>>>>>>>>>         . 起動スクリプトによる(再)起動
>>>>>>>>>>>         . auto_restart 設定による再起動
>>>>>>>>>>>         . restart 設定による再起動
>>>>>>>>>>>
>>>>>>>>>>> しかありません。
>>>>>>>>>>>
>>>>>>>>>>> auto_restart や restart が設定されていないとすると、「起動スクリプトによる
>>>>>>>>>>> (再)起動」しか可能性としては無いのですが、cron で再起動の設定しているとか、
>>>>>>>>>>> 何かサーバでやってたりしませんか?
>>>>>>>>>>>
>>>>>>>>>>>
>>>>>>>>>>> ちなみに、
>>>>>>>>>>>
>>>>>>>>>>>>>> もしかしたら、スペック（多分、搭載メモリー量）で引っかかるの
>>>>>>>>>>>>>> でしょうか？
>>>>>>>>>>>
>>>>>>>>>>> このようなシステム上の問題が発生した場合は、デフォルトでは pandora_server
>>>>>>>>>>> はダウンします。
>>>>>>>>>>> システム上の問題が発生した場合に、自動再起動させる設定も可能で、その設定が
>>>>>>>>>>> まさに上記の restart です。
>>>>>>>>>>>
>>>>>>>>>>> 詳細は以下。
>>>>>>>>>>> http://www.openideas.info/wiki/index.php?title=Pandora:Documentation_ja:Configuration#restart
>>>>>>>>>>>
>>>>>>>>>>> ＃restart は設定されていないとのことですので、もしシステム上の問題が発生
>>>>>>>>>>> ＃した場合は、pandora_server は再起動ではなく、ダウンする動作をするはずです。
>>>>>>>>>>>
>>>>>>>>>>> ---
>>>>>>>>>>> 佐藤 淳一
>>>>>>>>>>> junichi ＠ pandorafms.jp
>>>>>>>>>>>
>>>>>>>>>>>
>>>>>>>>>>> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
>>>>>>>>>>> Subject: Re: [Pandora-jp] Pandora FMS Server Daemon startingの意味
>>>>>>>>>>> Date: Thu, 30 Aug 2012 13:17:52 +0900
>>>>>>>>>>>
>>>>>>>>>>>> 三反田です。
>>>>>>>>>>>>
>>>>>>>>>>>> 佐藤様
>>>>>>>>>>>>
>>>>>>>>>>>>> pandora_server.conf で、auto_restart や restart を設定してませんか。
>>>>>>>>>>>> →そもそも項目そのものがそ存在していませんが。
>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>> (2012/08/30 13:08), Junichi Satoh wrote:
>>>>>>>>>>>>> 三反田さん
>>>>>>>>>>>>>
>>>>>>>>>>>>> さとうです。
>>>>>>>>>>>>>
>>>>>>>>>>>>>> Pandora FMS v4.0.2 - ビルド PC120722を利用中ですが、
>>>>>>>>>>>>>> 添付画像にある通り、監視サーバ自身の動きが？状態の時が
>>>>>>>>>>>>>> あります。勝手にDownとUpをしているような。
>>>>>>>>>>>>>
>>>>>>>>>>>>> pandora_server.conf で、auto_restart や restart を設定してませんか。
>>>>>>>>>>>>> 確認してみてください。
>>>>>>>>>>>>>
>>>>>>>>>>>>> ---
>>>>>>>>>>>>> 佐藤 淳一
>>>>>>>>>>>>> junichi ＠ pandorafms.jp
>>>>>>>>>>>>>
>>>>>>>>>>>>>
>>>>>>>>>>>>> From: "三反田@ひむか流通ネットワーク" <santanda ＠ himuka.ne.jp>
>>>>>>>>>>>>> Subject: [Pandora-jp] Pandora FMS Server Daemon startingの意味
>>>>>>>>>>>>> Date: Wed, 29 Aug 2012 16:48:30 +0900
>>>>>>>>>>>>>
>>>>>>>>>>>>>> 三反田です。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> Pandora FMS v4.0.2 - ビルド PC120722を利用中ですが、
>>>>>>>>>>>>>> 添付画像にある通り、監視サーバ自身の動きが？状態の時が
>>>>>>>>>>>>>> あります。勝手にDownとUpをしているような。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> 私を含めて誰も監視サーバは触っておりませんから、不思議です。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> もしかしたら、スペック（多分、搭載メモリー量）で引っかかるの
>>>>>>>>>>>>>> でしょうか？
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> システム監査ログには確かに出てはいますが。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> SYSTEM 	System 	2012-08-29 15:45:13 	SYSTEM 	Pandora FMS Server Daemon starting
>>>>>>>>>>>>> _______________________________________________
>>>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>>>>
>>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>> _______________________________________________
>>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>>>
>>>>>>>>>>> _______________________________________________
>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>>
>>>>>>>>> _______________________________________________
>>>>>>>>> Pandora-jp mailing list
>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>
>>>>>>>>>
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> Pandora-jp mailing list
>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Pandora-jp mailing list
>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>
>>>>> _______________________________________________
>>>>> Pandora-jp mailing list
>>>>> Pandora-jp ＠ pandorafms.jp
>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>
>>>>>
>>> _______________________________________________
>>> Pandora-jp mailing list
>>> Pandora-jp ＠ pandorafms.jp
>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>
>>>
>> _______________________________________________
>> Pandora-jp mailing list
>> Pandora-jp ＠ pandorafms.jp
>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>
> _______________________________________________
> Pandora-jp mailing list
> Pandora-jp ＠ pandorafms.jp
> http://pandorafms.jp/mailman/listinfo/pandora-jp
> 
>

Pandora-jp メーリングリストの案内