[Pandora-jp] アラート時にイベントが表示されない件について
KAWAKAMI Shinnosuke
kawakami ＠ rworks.jp
2010年 10月 20日 (水) 16:31:02 JST
かわかみです。
お返事が遅れがちで、すみません…。
- 不明の数が増えている(収集が止まっている)
- ネットワークサーバで遅延が出ている
というあたりからすると、ネットワークサーバでの監視でタイムアウト待ちが
発生し、後続の監視が遅れてしまっているのではないか、と思います。
とりあえずの対策としては、pandora_server.confで
- network_timeout (ICMP監視のタイムアウト)
- tcp_timeout (TCP接続監視のタイムアウト)
- snmp_timeout (snmp監視のタイムアウト)
の値を短くしてみる、というのが考えられます。
合わせて、タイムアウトし続けているモジュール(本当に疎通が取れなくなっている
モジュール)は無効にするなどして、タイムアウトしっ放しになるモジュールを
減らすのも効果があります。
#タイムアウト待ちになっていると、そのスレッドは他の監視を実行
#できなくなるので、結果的に遅延が発生します。
また、過去にあった事例で
- プラグインサーバの遅延が発生すると、それにつられて
ネットワークサーバも遅延する
ということがありました。これの対策としては
- pandora_server.confで、plugin_timeoutを短くする
- プラグインの設定で、タイムアウト値を設定する
という感じで、プラグインが実行されっぱなしになるのを防ぐようにしました。
安部 広 wrote on 2010/10/16 19:03:
>
> かわかみさま
>
> ご回答ありがとうございます。あべです。
>
>> - 「モニタリング概要」のページの「モニタ項目」のテーブルに表示されている、
>> 「不明」の数(一定時間以上データが更新されていないモジュールの数)は、
>> モニタ項目の数に比べて多くなっていますか？
> 上記は多くなっておりました。
>
>> - 左のメニューの「Pandora サーバ」の画面で、「遅延」の所に表示されている
>> 値はどういった感じでしょうか？
>> どの種類のサーバで遅延が出ているか、も合わせて教えてください。
> 上記はネットワークサーバで表示されています。
>
>> - MySQLは、pandoraサーバと同じサーバで動いていますか？
>> また、監視ができなくなった時、MySQLにコマンドラインからログインすると
>> 反応はありますか？
> 同一サーバ上で動いています。また、ログインの確認は
> していませんでした。
>
>> あと、pandora_server.confの設定値で、デフォルトから変更した値も
>> 教えてください。
> ネットワークサーバとプラグインサーバのスレッドを
> それぞれ5〜10の間に設定しました。
>
>> - 監視ができなくなった時のロードアベレージ、CPU使用率(user、system、iowait)
>> の状況
> 詳細はちょっとうる覚えですが、topコマンドで確認
> した際は、ロードアベレージは5くらいで、pandora_serverは
> 80〜90％くらいだったと思います。
>
> (2010/10/14 20:10), KAWAKAMI Shinnosuke wrote:
>> かわかみです。
>>
>> ソースからインストールでは上手くいったとのこと、了解です。
>>
>>> すいません。もう1つお聞きしてもよろしいでしょうか。
>>> ソースからPandoraをインストールして、200弱のエージェントと
>>> 2000弱のモジュールを追加し、監視を行ってみたのですが、
>>> CPUとメモリの使用率が上がり続け、途中で監視ができなく
>>> なってしまいました。
>> 監視ができなくなった時の状況を詳しく知りたいのですが、
>> - 「モニタリング概要」のページの「モニタ項目」のテーブルに表示されている、
>> 「不明」の数(一定時間以上データが更新されていないモジュールの数)は、
>> モニタ項目の数に比べて多くなっていますか？
>> - 左のメニューの「Pandora サーバ」の画面で、「遅延」の所に表示されている
>> 値はどういった感じでしょうか？
>> どの種類のサーバで遅延が出ているか、も合わせて教えてください。
>> - MySQLは、pandoraサーバと同じサーバで動いていますか？
>> また、監視ができなくなった時、MySQLにコマンドラインからログインすると
>> 反応はありますか？
>> といったあたりを教えていただけないでしょうか？
>>
>> あと、pandora_server.confの設定値で、デフォルトから変更した値も
>> 教えてください。
>>
>> スペックが足りているにも関わらず監視が行われない、ということは
>> pandora_serverのスレッドで待ちが発生している、かもしれません。
>> なので、
>> - 監視ができなくなった時のロードアベレージ、CPU使用率(user、system、iowait)
>> の状況
>> もできれば合わせて教えていただけると助かります。
>>
>>
>> 安部 広 wrote on 2010/10/12 21:36:
>>> かわかみさま
>>>
>>> ご回答ありがとうございます。あべです。
>>>
>>>> 基本的には違いはないはずですが、パッケージの作りがまずかったりすると
>>>> それが原因でうまく動作しない、という可能性があります。
>>> やはりうまくいかない場合もあるのですね。私のほうはソースから
>>> 再インストールを実施した後アラートイベントを確認したら、うまく
>>> 表示できました。ありがとうございます。
>>>
>>> すいません。もう1つお聞きしてもよろしいでしょうか。
>>> ソースからPandoraをインストールして、200弱のエージェントと
>>> 2000弱のモジュールを追加し、監視を行ってみたのですが、
>>> CPUとメモリの使用率が上がり続け、途中で監視ができなく
>>> なってしまいました。
>>> （pandora_serverのサービスでほぼリソースを使い切っている
>>> 状態です。）
>>>
>>> サーバのスペックは推奨スペックを上回っているので問題は
>>> ないはずなのですが、上記のような現象を回避する方法は
>>> ありますでしょうか。もしくは依存関係にあるパッケージで
>>> うまくインストールできておらず、このような状態になるのでしょうか。
>>>
>>> お分かりになりましたら、ご助言をお願いします。
>>>
>>>
>>> (2010/10/12 14:05), KAWAKAMI Shinnosuke wrote:
>>>> かわかみです。
>>>>
>>>>> 1つ気になったのですが、パッケージからインストールした場合と
>>>>> ソースからインストールした場合では動作に違いなど発生する
>>>>> 可能性はありますでしょうか。
>>>> 基本的には違いはないはずですが、パッケージの作りがまずかったりすると
>>>> それが原因でうまく動作しない、という可能性があります。
>>>> 今のCentOSのパッケージを使ってのインストールは、実はまだ試していないので、
>>>> 検証を兼ねて再インストールしようかとも思いましたが、ソースから
>>>> インストールされるのであれば、そちらが確実かと思います。
>>>> あまりお役に立てず、すみません…。
>>>>
>>>> 安部 広 wrote on 2010/10/06 22:05:
>>>>> かわかみさま
>>>>>
>>>>> ご回答ありがとうございます。あべです。
>>>>>
>>>>> ログインユーザについては、adminで操作しております。
>>>>> また、
>>>>>> ちなみに、「イベント参照」で見えていた時と、そのあと見えなくなった時
>>>>>> の間で、どのような操作をしたか、は記録されていますか？
>>>>> こちらはちょっと覚えていません。といいますか、今考えると
>>>>> 本当に見えていたのかも定かでないです。すいません。
>>>>>
>>>>> 1つ気になったのですが、パッケージからインストールした場合と
>>>>> ソースからインストールした場合では動作に違いなど発生する
>>>>> 可能性はありますでしょうか。
>>>>> 今回パッケージからインストールしてうまく見えなかったので、
>>>>> ソースから再インストールしてみようかと考えております。
>>>>>
>>>>> (2010/10/04 18:26), KAWAKAMI Shinnosuke wrote:
>>>>>> かわかみです。
>>>>>>
>>>>>> 確認をしているときにふと気になったのですが、PandoraのWebコンソールに
>>>>>> ログインする際のユーザは、adminユーザでしょうか？
>>>>>> もし別途作成されたユーザである場合は、左のメニューの「システム管理」→
>>>>>> 「ユーザ管理」から作成したユーザを選択し、ユーザ情報編集画面の
>>>>>> 下のプロファイル割り当てで、
>>>>>> - 適切な権限(エージェント管理、エージェントからの情報取得あたりが
>>>>>> あればOKのはずです)を持ったプロファイルが
>>>>>> - 対象のサーバが所属しているグループ、もしくは「all」に割り当てられている
>>>>>> となっているか、を確認してください。
>>>>>>
>>>>>> また、エージェントの詳細設定で、エージェントのグループを適当なグループに
>>>>>> 設定し直してみてください。
>>>>>> #グループの設定がおかしくなって、必要な権限がないと判断された、という
>>>>>> #可能性があるかもしれません。
>>>>>>
>>>>>> ちなみに、「イベント参照」で見えていた時と、そのあと見えなくなった時
>>>>>> の間で、どのような操作をしたか、は記録されていますか？
>>>>>> もし記録が残っていれば、ざっと書いていただけないでしょうか？
>>>>>>
>>>>>> 後、手掛かりになるとすれば
>>>>>> - Pandoraのログ(/var/log/pandora/ 以下)
>>>>>> - httpd自体のエラーログ(/var/log/httpd/error.log)
>>>>>> に何かエラーが出ていないか、といったあたりですかね…。
>>>>>> 多分DBの中にはイベント自体は存在すると思うのですが、手掛かりがなければ
>>>>>> DBの中身も覗いてみる必要があるかもしれません。
>>>>>>
>>>>>>
>>>>>> 安部 広 wrote on 2010/09/28 20:24:
>>>>>>> かわかみ様
>>>>>>>
>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>
>>>>>>> 調査いただけるとのこと、ありがとうございます。
>>>>>>> また、CentOSへのPandoraのインストールが
>>>>>>> 失敗しているのではないかと思い、インストール時の
>>>>>>> ことを思い返してみると、いくつか気になるところが
>>>>>>> ありました。
>>>>>>>
>>>>>>> 1点目
>>>>>>> 通常のパッケージとして存在しない「php-pear-xml_rpc」を
>>>>>>> インストールするときに、ファイルが競合するため、強制的に
>>>>>>> インストールをしました。
>>>>>>>
>>>>>>> 2点目
>>>>>>> CentOSはphpのバージョンが5.1で、Pandoraが5.2のため
>>>>>>> アップデートしたのですが、下記サイトにphp5.2でしか
>>>>>>> 使用できない関数があるとあり、書き換えが必要と
>>>>>>> ありました。
>>>>>>>
>>>>>>> http://tnk77.blogspot.com/2010/08/pandora-fms-31centos-55.html
>>>>>>>
>>>>>>> 上記2点両方ともPHPに関連し、これがうまくいかない原因では
>>>>>>> ないかと思うのですが、いかかでしょうか。とすれば、解決策
>>>>>>> などはありますでしょうか。
>>>>>>> ちなみにインストール内容としては、上記サイトの流れと
>>>>>>> 同様です。
>>>>>>>
>>>>>>> なお、かわかみ様はどのようにしてCentOSにインストール
>>>>>>> したのでしょうか。
>>>>>>>
>>>>>>>
>>>>>>> (2010/09/27 19:01), KAWAKAMI Shinnosuke wrote:
>>>>>>>> かわかみです。
>>>>>>>>
>>>>>>>> 警告・障害状態になった/復旧した、のイベントだけでなく、
>>>>>>>> アラートを設定した場合のアラート発生/復旧のイベントも出てこない状態でしょうか？
>>>>>>>>
>>>>>>>> イベントフィルタのところはすでに色々試された、とのことなので
>>>>>>>> フィルタが悪さをしているということはないと思うのですが、
>>>>>>>> - 「状態」のところを「全イベント」にしてみる
>>>>>>>> - 「グループ」のところを「システム」にしてみる
>>>>>>>> あるいは、エージェントのグループと同じにしてみる
>>>>>>>> - 「エージェント」のところを「All」にしてみる
>>>>>>>> といったあたりを念のために試していただけないでしょうか。
>>>>>>>>
>>>>>>>> 基本的にエージェント参照のページで出てくるのであれば、イベント参照の
>>>>>>>> ページでも出てくるはずなのですが…、ちょっと調べてみます。
>>>>>>>>
>>>>>>>> 安部 広 wrote on 2010/09/22 21:13:
>>>>>>>>> かわかみ様
>>>>>>>>>
>>>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>>> 監視には問題ないとのころ、承知しました。
>>>>>>>>>
>>>>>>>>> すいません。
>>>>>>>>> 先日のメールでイベント参照に表示されるように
>>>>>>>>> なったと記載しましたが、再度確認したところ、
>>>>>>>>> やはり表示されておりませんでした。
>>>>>>>>>
>>>>>>>>> ちなみに「操作」⇒「エージェント参照」のページでは、
>>>>>>>>> モジュールのアラートイベントは表示はされているのですが、
>>>>>>>>> やはり「操作」⇒「イベント参照」では表示されません。
>>>>>>>>> フィルタもいろいろ変えてみたのですが、変わりません。
>>>>>>>>>
>>>>>>>>> 再度、どのような原因が考えられるか
>>>>>>>>> お教えいただけますでしょうか。
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> (2010/09/22 2:16), KAWAKAMI Shinnosuke wrote:
>>>>>>>>>> かわかみです。
>>>>>>>>>>
>>>>>>>>>>> ご回答いただく前に、再度、Pandora FMSに必要なパッケージを
>>>>>>>>>>> 確認したところ、いくつかがインストールされておらず、yumから
>>>>>>>>>>> インストールしたところ、イベントの参照に表示されるようになりました。
>>>>>>>>>> パッケージが原因だったとの事、了解しました。
>>>>>>>>>> #何か未解決のバグでは？ という心配をちょっとしていたので…。
>>>>>>>>>>
>>>>>>>>>>> しかし、「graphviz-php」だけが、パッケージの依存関係のためか
>>>>>>>>>>> うまくインストールできずにおります。
>>>>>>>>>>> ただ、Pandora FMSで監視自体はできております。
>>>>>>>>>>>
>>>>>>>>>>> Pandora FMSで監視するためには、インストールが必須でしょうか。
>>>>>>>>>> graphviz-php は、ネットワークマップを描画する際に使っているのみのはず
>>>>>>>>>> なので、監視自体はインストールしなくても問題なくできます。
>>>>>>>>>>
>>>>>>>>>>> なお、環境としては、64bitのCentOSを使用しているのですが、
>>>>>>>>>>> インストールできない原因として考えられますでしょうか。
>>>>>>>>>> オフィシャルで提供されているパッケージは、そのままだとCentOSに
>>>>>>>>>> 入らないケースが以前あったように記憶していますので、それがまだ
>>>>>>>>>> 改善されていないのだと思います。
>>>>>>>>>> GraphvizとPEARのImage_GraphVizを手動で入れてやれば同等のことは
>>>>>>>>>> できるはずですが、残念ながらまだ未検証です。
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>> 安部 広 wrote on 2010/09/19 19:00:
>>>>>>>>>>> かわかみ様
>>>>>>>>>>>
>>>>>>>>>>> ご回答ありがとうございます。あべです。
>>>>>>>>>>>
>>>>>>>>>>> ご回答いただく前に、再度、Pandora FMSに必要なパッケージを
>>>>>>>>>>> 確認したところ、いくつかがインストールされておらず、yumから
>>>>>>>>>>> インストールしたところ、イベントの参照に表示されるようになりました。
>>>>>>>>>>>
>>>>>>>>>>>> #たとえば、「エージェント参照」→「モニタ項目詳細」の画面で、
>>>>>>>>>>>> #状態が「警告」になっているもの、という条件で絞り込んで出てくるでしょうか？
>>>>>>>>>>> 上記も表示されるようになりました。
>>>>>>>>>>>
>>>>>>>>>>> しかし、「graphviz-php」だけが、パッケージの依存関係のためか
>>>>>>>>>>> うまくインストールできずにおります。
>>>>>>>>>>> ただ、Pandora FMSで監視自体はできております。
>>>>>>>>>>>
>>>>>>>>>>> Pandora FMSで監視するためには、インストールが必須でしょうか。
>>>>>>>>>>> なお、環境としては、64bitのCentOSを使用しているのですが、
>>>>>>>>>>> インストールできない原因として考えられますでしょうか。
>>>>>>>>>>>
>>>>>>>>>>> 度々の質問となりますが、ご回答いただけますでしょうか。
>>>>>>>>>>>
>>>>>>>>>>>
>>>>>>>>>>> (2010/09/18 16:24), KAWAKAMI Shinnosuke wrote:
>>>>>>>>>>>> かわかみです。
>>>>>>>>>>>>
>>>>>>>>>>>>> そこで、CentOS5.5にPandora FMS3.1をインストールし、
>>>>>>>>>>>>> サーバを登録してみたのですが、モジュールに閾値を
>>>>>>>>>>>>> 設定し、その閾値を越えた際にステータスが警告状態
>>>>>>>>>>>>> （もしくは障害）になっても「操作」>「イベントの参照」から
>>>>>>>>>>>>> 現在発生しているアラートのイベントを表示することができません。
>>>>>>>>>>>> 設定したモジュールの状態は、本当に「警告」もしくは「障害」に
>>>>>>>>>>>> なっていますか？
>>>>>>>>>>>> #たとえば、「エージェント参照」→「モニタ項目詳細」の画面で、
>>>>>>>>>>>> #状態が「警告」になっているもの、という条件で絞り込んで出てくるでしょうか？
>>>>>>>>>>>>
>>>>>>>>>>>> 手元でインストールしたPandora FMS 3.1だと、モジュールの「警告状態」および
>>>>>>>>>>>> 「障害中」の閾値を設定し、モジュールの状態が「障害」になると、
>>>>>>>>>>>> イベント参照のページにイベントが出てくるので、状態がうまく変わって
>>>>>>>>>>>> いないのではないか、と思います。
>>>>>>>>>>>>
>>>>>>>>>>>> もしくは、障害状態になったらアラートとなるような条件でアラートを
>>>>>>>>>>>> 作成していただくと、確実にイベントとして記録されるようになるはずです。
>>>>>>>>>>>>
>>>>>>>>>>>>> ちなみにアラートイベントを元に、インシデント管理も
>>>>>>>>>>>>> できたらと考えておりますので、お分かりになる方が
>>>>>>>>>>>>> いらっしゃいましたら、お願いします。
>>>>>>>>>>>> イベント参照のところでイベントが出てくれば、イベントの「アクション」の
>>>>>>>>>>>> カラムに「インシデントを作成する」というボタンが出てくるので、これで
>>>>>>>>>>>> インシデントを作成することが出来ます。
>>>>>>>>>>>>
>>>>>>>>>>>>
>>>>>>>>>>>> 安部 広 wrote on 2010/09/16 22:45:
>>>>>>>>>>>>> はじめまして。
>>>>>>>>>>>>> いくつかのサーバを監視するために、Pandora FMSを
>>>>>>>>>>>>> 使用しようと思っています。
>>>>>>>>>>>>>
>>>>>>>>>>>>> そこで、CentOS5.5にPandora FMS3.1をインストールし、
>>>>>>>>>>>>> サーバを登録してみたのですが、モジュールに閾値を
>>>>>>>>>>>>> 設定し、その閾値を越えた際にステータスが警告状態
>>>>>>>>>>>>> （もしくは障害）になっても「操作」>「イベントの参照」から
>>>>>>>>>>>>> 現在発生しているアラートのイベントを表示することができません。
>>>>>>>>>>>>>
>>>>>>>>>>>>> フィルタに引っかかってるのかなとも思ったのですが、
>>>>>>>>>>>>> それもありませんでした。
>>>>>>>>>>>>>
>>>>>>>>>>>>> これは何か設定が必要なのでしょうか。
>>>>>>>>>>>>>
>>>>>>>>>>>>> ちなみにアラートイベントを元に、インシデント管理も
>>>>>>>>>>>>> できたらと考えておりますので、お分かりになる方が
>>>>>>>>>>>>> いらっしゃいましたら、お願いします。
>>>>>>>>>>>>> _______________________________________________
>>>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>>>> _______________________________________________
>>>>>>>>>>> Pandora-jp mailing list
>>>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>>>> _______________________________________________
>>>>>>>>> Pandora-jp mailing list
>>>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>>>> _______________________________________________
>>>>>>> Pandora-jp mailing list
>>>>>>> Pandora-jp ＠ pandorafms.jp
>>>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>>>> _______________________________________________
>>>>> Pandora-jp mailing list
>>>>> Pandora-jp ＠ pandorafms.jp
>>>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>> _______________________________________________
>>> Pandora-jp mailing list
>>> Pandora-jp ＠ pandorafms.jp
>>> http://pandorafms.jp/mailman/listinfo/pandora-jp
>>
>
> _______________________________________________
> Pandora-jp mailing list
> Pandora-jp ＠ pandorafms.jp
> http://pandorafms.jp/mailman/listinfo/pandora-jp
--
-----
川上 慎之介
〒112-0002 東京都文京区小石川1-3-11 イトーピア小石川梅津ビル
(株)アールワークス ネットワークインテグレーション部
kawakami ＠ rworks.jp
TEL:03-5804-1893 FAX:03-5804-1894
Pandora-jp メーリングリストの案内