スパーク解像度の評価
スパークの評価は、既存のITSMチケットと従業員デバイスコンテキストを用いてスパークの性能を測定する構造化された検証サイクルです。 ITサポートチームは、従業員に代わってスパークを実行し、問題解決をテストし、AIの推論をレビューし、ネックスシンク内で直接解決の品質を評価することができます。
以下に示すアプローチと手順は、一貫性があり、測定可能で、成功したトレーニングサイクルを保証するために設計されたベストプラクティスを表しています。 プロセスは特定の組織の要件に合わせて適応可能ですが、スパークのトレーニング品質と結果の比較可能性を維持するために、ネックスシンクの担当者と協力して調整を合意する必要があります。
前提条件
スパークの評価を開始する前に、以下を確認してください。
有効なネックスシンクライセンス
ネックスシンクと統合されたITSMシステム
テストを行うネックスシンクインフィニティユーザー向けに有効な以下の権限:
インフィニティを通じてエージェントとチャットする
すべてのエージェントの会話を表示
スパークの初期セットアップを完了しました。 スパークの始め方を参照してください。
役割
スパーク評価に必要な2つの役割:
スパークチャンピオン – 全体のトレーニングサイクルを担当し、目標との整合を確認し、テスターを有効化し、結果の分析とフォローアップによる改善を監督します。
スパークテスター – 実際のITSMチケットを対処することでスパークをテストし、結果を構造化された形で文書化します。
スパーク評価プロセス
スパーク評価は4つの構造化されたフェーズで実行されます:
この段階的なアプローチにより、チームはまず性能の基準値を確立し、その後で知識と設定を改善し、最終的に第2の検証サイクルを通じて進捗を測定することができます。
スパーク評価の準備
スパークテスターの選定
従業員との対話に慣れ、従業員の言葉と問題の説明を正確に再現できるテスターを選定してください。 これにより、現実的なスパーク会話シミュレーションと意味のある評価結果が確保されます。
スパークチャンピオンは評価を実施するか、追加のITサポートチームメンバーをスパークテスターとして指名することができます。 スパークテスターを選定する際には、ITSMチケットを定期的に処理し、従業員と直接コミュニケーションをとり、従業員の言葉と問題の説明を正確に再現できるITサポートチームメンバーを選んでください。
テスターが選定されたら、スパークチャンピオンまたはネックスシンク管理者が彼らにChat with Sparkのアクセス権を付与します。 スパークの始め方を参照してください。
選定されたテスターのスパークトレーニング
スパークチャンピオンは、次に示す有効化チェックリストを完了することで、選定されたテスターを有効化します。
このステップにより、ツールアクセスと方法論の整合が確保されます。 すべてのテスターは、比較可能な結果を確実にするために、同じ評価ロジックと文書標準に従うべきです。
ITSMチケットを使用した初期評価
ITSMチケットを使用したテストの実行
テストフェーズ中、スパークテスターは実際の最近発行されたITSMチケットを使用して、スパークが実のある従業員の問題をどのように処理するかを評価します。 彼らは:
ITSMプラットフォームから最近発行されたチケットを選択します。
問題を報告した従業員を特定します。
ネックスシンクでChat with Sparkを開きます。
その他の従業員を選択し、チケットに関連付けられた従業員を検索します。
その従業員のように会話を開始し、チケットに報告された通りに問題を説明します。
スパークのトラブルシューティングガイダンスに従い、問題が解決されたかどうかを確認します。
評価結果を文書化します（例: MS Excel）。
問題が従業員の操作を必要とする場合、スパークテスターはデバイスに影響を及ぼすアクションを実施する前に従業員に通知します。
Using Chat with Spark および Communication channels ドキュメントを参照してください。
文書化されたテスト結果の分析
Chat with Sparkでのテストが完了した後:
文書化されたテスト結果を見直します。
追加のコンテキストが必要な場合は、スパーク > すべての会話に移動し、スパークの応答や推論を含む完全な会話をレビューします。
推論 タブを確認することで、スパークの意思決定プロセスの透明性が確保され、知識のギャップ、欠落したアクション、必要となる設定の改善を特定するのに役立ちます。
一貫し、完全な文書化が重要です。 これは、評価ラウンド間での客観的な比較を可能にし、改善への構造化されたインプットを提供します。 詳細については、https://github.com/nexthink/documentation.online-product-documentation/blob/develop/ja_docs/user-guide/spark/evaluating-spark-resolutions/using-chat-with-spark.md#record-evaluation-results ドキュメントを参照してください。
スパーク知識と設定の改善
スパークテスターが最初の評価ラウンドを完了した後、スパークチャンピオンは収集された結果をレビューし、特に誤った、不完全な、または最適でない応答にフォーカスしてパターンを特定します。
発見に基づきスパークチャンピオンは:
既存の知識コンテンツを更新または洗練させる
不足している知識記事をインポートする
必要に応じて利用可能なアクションを調整する
改善点はターゲットに絞って測定可能であるべきであり、第2の評価ラウンドでその影響を検証できるようにする必要があります。
第2ラウンドの評価
スパークテスターは、最初のスパーク評価ラウンドで使用されたのと同じ構造化された方法を再実行します。 彼らは
新しいITSMチケットを使用して従業員のやり取りをシミュレートする
すべての結果を同じテンプレートを使用してログに記録します。
最後に、スパークチャンピオンは第2ラウンドの結果を初期の基準値と比較して、スパークの解決の品質、推論の正確性、全体的な性能の測定可能な改善を評価します。
この構造化された検証サイクルにより、スパークのパフォーマンスが本格展開前に体系的に評価・最適化され、リスクが軽減され、本番展開への信頼度が向上します。
Last updated
Was this helpful?