[Pandora-jp] アラート時にイベントが表示されない件について
KAWAKAMI Shinnosuke
kawakami ＠ rworks.jp
2010年 10月 27日 (水) 19:51:41 JST
かわかみです。
> またちょっと気になったのですが、Pandoraで登録している
> エージェントのモジュールで、snmpで値をとってくるものが
> あるのですが、エージェントでsnmpサービスを停止した場合、
> Pandoraのほうのそのモジュールのグラフを見ると、停止
> している時間中、横一線に表示されるのですが、これは
> 仕様でしょうか。
>
> たとえば、値が取れない場合はその期間のグラフは
> すっぽり抜ける（横一線でなく、値が取れていないことが
> はっきり分かる）みたいなことは可能でしょうか。
確かデータがない間の部分は自動で補完されるのが仕様、だったはずです。
そこの挙動を変える様なオプションも、現在はなかったと思います。
安部 広 wrote on 2010/10/20 21:30:
>
> かわかみさま
>
> ご回答ありがとうございます。あべです。
>
> やはり監視の遅延の影響ですか。
> 早速タイムアウト値を変更してみます。
>
> またちょっと気になったのですが、Pandoraで登録している
> エージェントのモジュールで、snmpで値をとってくるものが
> あるのですが、エージェントでsnmpサービスを停止した場合、
> Pandoraのほうのそのモジュールのグラフを見ると、停止
> している時間中、横一線に表示されるのですが、これは
> 仕様でしょうか。
>
> たとえば、値が取れない場合はその期間のグラフは
> すっぽり抜ける（横一線でなく、値が取れていないことが
> はっきり分かる）みたいなことは可能でしょうか。
>
> お聞きしてばかりで大変心苦しいのですが、
> ご助言いただけますでしょうか。
>
>
> (2010/10/20 16:31), KAWAKAMI Shinnosuke wrote:
>> かわかみです。
>> お返事が遅れがちで、すみません…。
>>
>> - 不明の数が増えている(収集が止まっている)
>> - ネットワークサーバで遅延が出ている
>> というあたりからすると、ネットワークサーバでの監視でタイムアウト待ちが
>> 発生し、後続の監視が遅れてしまっているのではないか、と思います。
>>
>> とりあえずの対策としては、pandora_server.confで
>> - network_timeout (ICMP監視のタイムアウト)
>> - tcp_timeout (TCP接続監視のタイムアウト)
>> - snmp_timeout (snmp監視のタイムアウト)
>> の値を短くしてみる、というのが考えられます。
>>
>> 合わせて、タイムアウトし続けているモジュール(本当に疎通が取れなくなっている
>> モジュール)は無効にするなどして、タイムアウトしっ放しになるモジュールを
>> 減らすのも効果があります。
>> #タイムアウト待ちになっていると、そのスレッドは他の監視を実行
>> #できなくなるので、結果的に遅延が発生します。
>>
>> また、過去にあった事例で
>> - プラグインサーバの遅延が発生すると、それにつられて
>> ネットワークサーバも遅延する
>> ということがありました。これの対策としては
>> - pandora_server.confで、plugin_timeoutを短くする
>> - プラグインの設定で、タイムアウト値を設定する
>> という感じで、プラグインが実行されっぱなしになるのを防ぐようにしました。
>>
>>
>> 安部 広 wrote on 2010/10/16 19:03:
>>> かわかみさま
>>>
>>> ご回答ありがとうございます。あべです。
>>>
>>>> - 「モニタリング概要」のページの「モニタ項目」のテーブルに表示されている、
>>>> 「不明」の数(一定時間以上データが更新されていないモジュールの数)は、
>>>> モニタ項目の数に比べて多くなっていますか？
>>> 上記は多くなっておりました。
>>>
>>>> - 左のメニューの「Pandora サーバ」の画面で、「遅延」の所に表示されている
>>>> 値はどういった感じでしょうか？
>>>> どの種類のサーバで遅延が出ているか、も合わせて教えてください。
>>> 上記はネットワークサーバで表示されています。
>>>
>>>> - MySQLは、pandoraサーバと同じサーバで動いていますか？
>>>> また、監視ができなくなった時、MySQLにコマンドラインからログインすると
>>>> 反応はありますか？
>>> 同一サーバ上で動いています。また、ログインの確認は
>>> していませんでした。
>>>
>>>> あと、pandora_server.confの設定値で、デフォルトから変更した値も
>>>> 教えてください。
>>> ネットワークサーバとプラグインサーバのスレッドを
>>> それぞれ5〜10の間に設定しました。
>>>
>>>> - 監視ができなくなった時のロードアベレージ、CPU使用率(user、system、iowait)
>>>> の状況
>>> 詳細はちょっとうる覚えですが、topコマンドで確認
>>> した際は、ロードアベレージは5くらいで、pandora_serverは
>>> 80〜90％くらいだったと思います。
>>>
>>> (2010/10/14 20:10), KAWAKAMI Shinnosuke wrote:
>>>> かわかみです。
>>>>
>>>> ソースからインストールでは上手くいったとのこと、了解です。
>>>>
>>>>> すいません。もう1つお聞きしてもよろしいでしょうか。
>>>>> ソースからPandoraをインストールして、200弱のエージェントと
>>>>> 2000弱のモジュールを追加し、監視を行ってみたのですが、
>>>>> CPUとメモリの使用率が上がり続け、途中で監視ができなく
>>>>> なってしまいました。
>>>> 監視ができなくなった時の状況を詳しく知りたいのですが、
>>>> - 「モニタリング概要」のページの「モニタ項目」のテーブルに表示されている、
>>>> 「不明」の数(一定時間以上データが更新されていないモジュールの数)は、
>>>> モニタ項目の数に比べて多くなっていますか？
>>>> - 左のメニューの「Pandora サーバ」の画面で、「遅延」の所に表示されている
>>>> 値はどういった感じでしょうか？
>>>> どの種類のサーバで遅延が出ているか、も合わせて教えてください。
>>>> - MySQLは、pandoraサーバと同じサーバで動いていますか？
>>>> また、監視ができなくなった時、MySQLにコマンドラインからログインすると
>>>> 反応はありますか？
>>>> といったあたりを教えていただけないでしょうか？
>>>>
>>>> あと、pandora_server.confの設定値で、デフォルトから変更した値も
>>>> 教えてください。
>>>>
>>>> スペックが足りているにも関わらず監視が行われない、ということは
>>>> pandora_serverのスレッドで待ちが発生している、かもしれません。
>>>> なので、
>>>> - 監視ができなくなった時のロードアベレージ、CPU使用率(user、system、iowait)
>>>> の状況
>>>> もできれば合わせて教えていただけると助かります。
>>>>
>>>>
>>>> 安部 広 wrote on 2010/10/12 21:36:
>>>>> かわかみさま
>>>>>
>>>>> ご回答ありがとうございます。あべです。
>>>>>
>>>>>> 基本的には違いはないはずですが、パッケージの作りがまずかったりすると
>>>>>> それが原因でうまく動作しない、という可能性があります。
>>>>> やはりうまくいかない場合もあるのですね。私のほうはソースから
>>>>> 再インストールを実施した後アラートイベントを確認したら、うまく
>>>>> 表示できました。ありがとうございます。
>>>>>
>>>>> すいません。もう1つお聞きしてもよろしいでしょうか。
>>>>> ソースからPandoraをインストールして、200弱のエージェントと
>>>>> 2000弱のモジュールを追加し、監視を行ってみたのですが、
>>>>> CPUとメモリの使用率が上がり続け、途中で監視ができなく
>>>>> なってしまいました。
>>>>> （pandora_serverのサービスでほぼリソースを使い切っている
>>>>> 状態です。）
>>>>>
>>>>> サーバのスペックは推奨スペックを上回っているので問題は
>>>>> ないはずなのですが、上記のような現象を回避する方法は
>>>>> ありますでしょうか。もしくは依存関係にあるパッケージで
>>>>> うまくインストールできておらず、このような状態になるのでしょうか。
>>>>>
>>>>> お分かりになりましたら、ご助言をお願いします。
>>>>>
>>>>>
>>>>> (2010/10/12 14:05), KAWAKAMI Shinnosuke wrote:
>>>>>> かわかみです。
>>>>>>
>>>>>>> 1つ気になったのですが、パッケージからインストールした場合と
>>>>>>> ソースからインストールした場合では動作に違いなど発生する
>>>>>>> 可能性はありますでしょうか。
>>>>>> 基本的には違いはないはずですが、パッケージの作りがまずかったりすると
>>>>>> それが原因でうまく動作しない、という可能性があります。
>>>>>> 今のCentOSのパッケージを使ってのインストールは、実はまだ試していないので、
>>>>>> 検証を兼ねて再インストールしようかとも思いましたが、ソースから
>>>>>> インストールされるのであれば、そちらが確実かと思います。
>>>>>> あまりお役に立てず、すみません…。
>>>>>>
>>>>>> 安部 広 wrote on 2010/10/06 22:05:
>>>>>>> かわかみさま
>>>>>>>
>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>
>>>>>>> ログインユーザについては、adminで操作しております。
>>>>>>> また、
>>>>>>>> ちなみに、「イベント参照」で見えていた時と、そのあと見えなくなった時
>>>>>>>> の間で、どのような操作をしたか、は記録されていますか？
>>>>>>> こちらはちょっと覚えていません。といいますか、今考えると
>>>>>>> 本当に見えていたのかも定かでないです。すいません。
>>>>>>>
>>>>>>> 1つ気になったのですが、パッケージからインストールした場合と
>>>>>>> ソースからインストールした場合では動作に違いなど発生する
>>>>>>> 可能性はありますでしょうか。
>>>>>>> 今回パッケージからインストールしてうまく見えなかったので、
>>>>>>> ソースから再インストールしてみようかと考えております。
>>>>>>>
>>>>>>> (2010/10/04 18:26), KAWAKAMI Shinnosuke wrote:
>>>>>>>> かわかみです。
>>>>>>>>
>>>>>>>> 確認をしているときにふと気になったのですが、PandoraのWebコンソールに
>>>>>>>> ログインする際のユーザは、adminユーザでしょうか？
>>>>>>>> もし別途作成されたユーザである場合は、左のメニューの「システム管理」→
>>>>>>>> 「ユーザ管理」から作成したユーザを選択し、ユーザ情報編集画面の
>>>>>>>> 下のプロファイル割り当てで、
>>>>>>>> - 適切な権限(エージェント管理、エージェントからの情報取得あたりが
>>>>>>>> あればOKのはずです)を持ったプロファイルが
>>>>>>>> - 対象のサーバが所属しているグループ、もしくは「all」に割り当てられている
>>>>>>>> となっているか、を確認してください。
>>>>>>>>
>>>>>>>> また、エージェントの詳細設定で、エージェントのグループを適当なグループに
>>>>>>>> 設定し直してみてください。
>>>>>>>> #グループの設定がおかしくなって、必要な権限がないと判断された、という
>>>>>>>> #可能性があるかもしれません。
>>>>>>>>
>>>>>>>> ちなみに、「イベント参照」で見えていた時と、そのあと見えなくなった時
>>>>>>>> の間で、どのような操作をしたか、は記録されていますか？
>>>>>>>> もし記録が残っていれば、ざっと書いていただけないでしょうか？
>>>>>>>>
>>>>>>>> 後、手掛かりになるとすれば
>>>>>>>> - Pandoraのログ(/var/log/pandora/ 以下)
>>>>>>>> - httpd自体のエラーログ(/var/log/httpd/error.log)
>>>>>>>> に何かエラーが出ていないか、といったあたりですかね…。
>>>>>>>> 多分DBの中にはイベント自体は存在すると思うのですが、手掛かりがなければ
>>>>>>>> DBの中身も覗いてみる必要があるかもしれません。
>>>>>>>>
>>>>>>>>
>>>>>>>> 安部 広 wrote on 2010/09/28 20:24:
>>>>>>>>> かわかみ様
>>>>>>>>>
>>>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>>>
>>>>>>>>> 調査いただけるとのこと、ありがとうございます。
>>>>>>>>> また、CentOSへのPandoraのインストールが
>>>>>>>>> 失敗しているのではないかと思い、インストール時の
>>>>>>>>> ことを思い返してみると、いくつか気になるところが
>>>>>>>>> ありました。
>>>>>>>>>
>>>>>>>>> 1点目
>>>>>>>>> 通常のパッケージとして存在しない「php-pear-xml_rpc」を
>>>>>>>>> インストールするときに、ファイルが競合するため、強制的に
>>>>>>>>> インストールをしました。
>>>>>>>>>
>>>>>>>>> 2点目
>>>>>>>>> CentOSはphpのバージョンが5.1で、Pandoraが5.2のため
>>>>>>>>> アップデートしたのですが、下記サイトにphp5.2でしか
>>>>>>>>> 使用できない関数があるとあり、書き換えが必要と
>>>>>>>>> ありました。
>>>>>>>>>
>>>>>>>>> http://tnk77.blogspot.com/2010/08/pandora-fms-31centos-55.html
>>>>>>>>>
>>>>>>>>> 上記2点両方ともPHPに関連し、これがうまくいかない原因では
>>>>>>>>> ないかと思うのですが、いかかでしょうか。とすれば、解決策
>>>>>>>>> などはありますでしょうか。
>>>>>>>>> ちなみにインストール内容としては、上記サイトの流れと
>>>>>>>>> 同様です。
>>>>>>>>>
>>>>>>>>> なお、かわかみ様はどのようにしてCentOSにインストール
>>>>>>>>> したのでしょうか。
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> (2010/09/27 19:01), KAWAKAMI Shinnosuke wrote:
>>>>>>>>>> かわかみです。
>>>>>>>>>>
>>>>>>>>>> 警告・障害状態になった/復旧した、のイベントだけでなく、
>>>>>>>>>> アラートを設定した場合のアラート発生/復旧のイベントも出てこない状態でしょうか？
>>>>>>>>>>
>>>>>>>>>> イベントフィルタのところはすでに色々試された、とのことなので
>>>>>>>>>> フィルタが悪さをしているということはないと思うのですが、
>>>>>>>>>> - 「状態」のところを「全イベント」にしてみる
>>>>>>>>>> - 「グループ」のところを「システム」にしてみる
>>>>>>>>>> あるいは、エージェントのグループと同じにしてみる
>>>>>>>>>> - 「エージェント」のところを「All」にしてみる
>>>>>>>>>> といったあたりを念のために試していただけないでしょうか。
>>>>>>>>>>
>>>>>>>>>> 基本的にエージェント参照のページで出てくるのであれば、イベント参照の
>>>>>>>>>> ページでも出てくるはずなのですが…、ちょっと調べてみます。
>>>>>>>>>>
>>>>>>>>>> 安部 広 wrote on 2010/09/22 21:13:
>>>>>>>>>>> かわかみ様
>>>>>>>>>>>
>>>>>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>>>>> 監視には問題ないとのころ、承知しました。
>>>>>>>>>>>
>>>>>>>>>>> すいません。
>>>>>>>>>>> 先日のメールでイベント参照に表示されるように
>>>>>>>>>>> なったと記載しましたが、再度確認したところ、
>>>>>>>>>>> やはり表示されておりませんでした。
>>>>>>>>>>>
>>>>>>>>>>> ちなみに「操作」⇒「エージェント参照」のページでは、
>>>>>>>>>>> モジュールのアラートイベントは表示はされているのですが、
>>>>>>>>>>> やはり「操作」⇒「イベント参照」では表示されません。
>>>>>>>>>>> フィルタもいろいろ変えてみたのですが、変わりません。
>>>>>>>>>>>
>>>>>>>>>>> 再度、どのような原因が考えられるか
>>>>>>>>>>> お教えいただけますでしょうか。
>>>>>>>>>>>
>>>>>>>>>>>
>>>>>>>>>>> (2010/09/22 2:16), KAWAKAMI Shinnosuke wrote:
>>>>>>>>>>>> かわかみです。
>>>>>>>>>>>>
>>>>>>>>>>>>> ご回答いただく前に、再度、Pandora FMSに必要なパッケージを
>>>>>>>>>>>>> 確認したところ、いくつかがインストールされておらず、yumから
>>>>>>>>>>>>> インストールしたところ、イベントの参照に表示されるようになりました。
>>>>>>>>>>>> パッケージが原因だったとの事、了解しました。
>>>>>>>>>>>> #何か未解決のバグでは？ という心配をちょっとしていたので…。
>>>>>>>>>>>>
>>>>>>>>>>>>> しかし、「graphviz-php」だけが、パッケージの依存関係のためか
>>>>>>>>>>>>> うまくインストールできずにおります。
>>>>>>>>>>>>> ただ、Pandora FMSで監視自体はできております。
>>>>>>>>>>>>>
>>>>>>>>>>>>> Pandora FMSで監視するためには、インストールが必須でしょうか。
>>>>>>>>>>>> graphviz-php は、ネットワークマップを描画する際に使っているのみのはず
>>>>>>>>>>>> なので、監視自体はインストールしなくても問題なくできます。
>>>>>>>>>>>>
>>>>>>>>>>>>> なお、環境としては、64bitのCentOSを使用しているのですが、
>>>>>>>>>>>>> インストールできない原因として考えられますでしょうか。
>>>>>>>>>>>> オフィシャルで提供されているパッケージは、そのままだとCentOSに
>>>>>>>>>>>> 入らないケースが以前あったように記憶していますので、それがまだ
>>>>>>>>>>>> 改善されていないのだと思います。
>>>>>>>>>>>> GraphvizとPEARのImage_GraphVizを手動で入れてやれば同等のことは
>>>>>>>>>>>> できるはずですが、残念ながらまだ未検証です。
>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>> 安部 広 wrote on 2010/09/19 19:00:
>>>>>>>>>>>>> かわかみ様
>>>>>>>>>>>>>
>>>>>>>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>>>>>>>
>>>>>>>>>>>>> ご回答いただく前に、再度、Pandora FMSに必要なパッケージを
>>>>>>>>>>>>> 確認したところ、いくつかがインストールされておらず、yumから
>>>>>>>>>>>>> インストールしたところ、イベントの参照に表示されるようになりました。
>>>>>>>>>>>>>
>>>>>>>>>>>>>> #たとえば、「エージェント参照」→「モニタ項目詳細」の画面で、
>>>>>>>>>>>>>> #状態が「警告」になっているもの、という条件で絞り込んで出てくるでしょうか？
>>>>>>>>>>>>> 上記も表示されるようになりました。
>>>>>>>>>>>>>
>>>>>>>>>>>>> しかし、「graphviz-php」だけが、パッケージの依存関係のためか
>>>>>>>>>>>>> うまくインストールできずにおります。
>>>>>>>>>>>>> ただ、Pandora FMSで監視自体はできております。
>>>>>>>>>>>>>
>>>>>>>>>>>>> Pandora FMSで監視するためには、インストールが必須でしょうか。
>>>>>>>>>>>>> なお、環境としては、64bitのCentOSを使用しているのですが、
>>>>>>>>>>>>> インストールできない原因として考えられますでしょうか。
>>>>>>>>>>>>>
>>>>>>>>>>>>> 度々の質問となりますが、ご回答いただけますでしょうか。
>>>>>>>>>>>>>
>>>>>>>>>>>>>
>>>>>>>>>>>>> (2010/09/18 16:24), KAWAKAMI Shinnosuke wrote:
>>>>>>>>>>>>>> かわかみです。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> そこで、CentOS5.5にPandora FMS3.1をインストールし、
>>>>>>>>>>>>>>> サーバを登録してみたのですが、モジュールに閾値を
>>>>>>>>>>>>>>> 設定し、その閾値を越えた際にステータスが警告状態
>>>>>>>>>>>>>>> （もしくは障害）になっても「操作」>「イベントの参照」から
>>>>>>>>>>>>>>> 現在発生しているアラートのイベントを表示することができません。
>>>>>>>>>>>>>> 設定したモジュールの状態は、本当に「警告」もしくは「障害」に
>>>>>>>>>>>>>> なっていますか？
>>>>>>>>>>>>>> #たとえば、「エージェント参照」→「モニタ項目詳細」の画面で、
>>>>>>>>>>>>>> #状態が「警告」になっているもの、という条件で絞り込んで出てくるでしょうか？
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> 手元でインストールしたPandora FMS 3.1だと、モジュールの「警告状態」および
>>>>>>>>>>>>>> 「障害中」の閾値を設定し、モジュールの状態が「障害」になると、
>>>>>>>>>>>>>> イベント参照のページにイベントが出てくるので、状態がうまく変わって
>>>>>>>>>>>>>> いないのではないか、と思います。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> もしくは、障害状態になったらアラートとなるような条件でアラートを
>>>>>>>>>>>>>> 作成していただくと、確実にイベントとして記録されるようになるはずです。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> ちなみにアラートイベントを元に、インシデント管理も
>>>>>>>>>>>>>>> できたらと考えておりますので、お分かりになる方が
>>>>>>>>>>>>>>> いらっしゃいましたら、お願いします。
>>>>>>>>>>>>>> イベント参照のところでイベントが出てくれば、イベントの「アクション」の
>>>>>>>>>>>>>> カラムに「インシデントを作成する」というボタンが出てくるので、これで
>>>>>>>>>>>>>> インシデントを作成することが出来ます。
>>>>>>>>>>>>>>
>>>>>>>>>>>>>>
>>>>>>>>>>>>>> 安部 広 wrote on 2010/09/16 22:45:
>>>>>>>>>>>>>>> はじめまして。
>>>>>>>>>>>>>>> いくつかのサーバを監視するために、Pandora FMSを
>>>>>>>>>>>>>>> 使用しようと思っています。
>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> そこで、CentOS5.5にPandora FMS3.1をインストールし、
>>>>>>>>>>>>>>> サーバを登録してみたのですが、モジュールに閾値を
>>>>>>>>>>>>>>> 設定し、その閾値を越えた際にステータスが警告状態
>>>>>>>>>>>>>>> （もしくは障害）になっても「操作」>「イベントの参照」から
>>>>>>>>>>>>>>> 現在発生しているアラートのイベントを表示することができません。
>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> フィルタに引っかかってるのかなとも思ったのですが、
>>>>>>>>>>>>>>> それもありませんでした。
>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> これは何か設定が必要なのでしょうか。
>>>>>>>>>>>>>>>
>>>>>>>>>>>>>>> ちなみにアラートイベントを元に、インシデント管理も
>>>>>>>>>>>>>>> できたらと考えておりますので、お分かりになる方が
>>>>>>>>>>>>>>> いらっしゃいましたら、お願いします。
>>>>>>>>>>>>>>> _______________________________________________
>>>>>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>>>> _______________________________________________
>>>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>> _______________________________________________
>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>> _______________________________________________
>>>>>>>>> Pandora-jp mailing list
>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>> _______________________________________________
>>>>>>> Pandora-jp mailing list
>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>> _______________________________________________
>>>>> Pandora-jp mailing list
>>>>> Pandora-jp ＠ pandorafms.jp
>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>> _______________________________________________
>>> Pandora-jp mailing list
>>> Pandora-jp ＠ pandorafms.jp
>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>
>
> _______________________________________________
> Pandora-jp mailing list
> Pandora-jp ＠ pandorafms.jp
> http://pandorafms.jp/mailman/listinfo/pandora-jp
--
-----
川上 慎之介
〒112-0002 東京都文京区小石川1-3-11 イトーピア小石川梅津ビル
(株)アールワークス ネットワークインテグレーション部
kawakami ＠ rworks.jp
TEL:03-5804-1893 FAX:03-5804-1894
Pandora-jp メーリングリストの案内