Spark での解決策の評価
Spark の評価は、既存の ITSM チケットと従業員のデバイスコンテキストを使用して Spark のパフォーマンスを測定する、構造化された検証サイクルです。 IT サポートチームは従業員に代わって Spark を実行し、問題解決のテスト、AI の推論のレビュー、および Nexthink 内での解決品質の評価を行うことができます。
以下に示すアプローチと手順は、一貫性があり、測定可能で、成功につながるトレーニングサイクルを確実に実施するためのベストプラクティスです。 プロセスは組織固有の要件に合わせて調整できますが、Spark トレーニングの品質と結果の比較可能性を維持するため、調整は Nexthink 担当者と協力して合意する必要があります。
前提条件
Spark の評価を開始する前に、次の要件を満たしていることを確認してください：
有効な Nexthink ライセンス
Nexthink と統合された ITSM システム
テストを実施する Nexthink Infinity ユーザーに対して、次の権限が有効になっていること：
Infinity を通じて他のユーザーになり代わってチャットする
すべてのエージェント会話を表示
Spark の初期設定が完了していること。 詳細については、Spark のセットアップと管理を参照してください。
役割
Spark の評価には、次の二つの役割が必要です：
Spark チャンピオン – トレーニングサイクル全体を管理・調整し、目標との整合性を確保するとともに、テスターを支援し、結果分析とその後の改善を監督します。
Spark テスター – 実際の ITSM チケットに対して Spark をテストし、結果を構造化された形式で記録することで評価を実施します。
Spark の評価プロセス
Spark の評価は、次の四つの構造化されたフェーズで実施されます：
この段階的なアプローチにより、チームはまずパフォーマンスのベースラインを確立し、次にナレッジと設定を改善し、最後に二回目の検証サイクルを通じて進捗を測定できます。
Spark 評価の準備
Spark テスターの選定
従業員とのやり取りに精通し、従業員の言葉遣いや問題の説明を正確に再現できるテスターを選択してください。 これにより、現実的な Spark 会話シミュレーションと有意義な評価結果が得られます。
Spark チャンピオンは評価を実施するか、IT サポートチームの追加メンバーを Spark テスターとして任命できます。 Spark テスターを選定する際は、ITSM チケットを日常的に扱い、従業員と直接やり取りし、従業員の言葉遣いや問題の説明を正確に再現できる IT サポートチームメンバーを選択してください。
テスターを選定したら、Spark チャンピオンまたは Nexthink 管理者がテスターに Chat with Spark へのアクセス権を付与します。 詳細については、Spark のセットアップと管理を参照してください。
選定されたテスターへの Spark トレーニング
Spark チャンピオンは、次の有効化チェックリストを完了して、選定したテスターを支援します：
この手順により、ツールへのアクセスと方法論の整合性の両方が確保されます。 比較可能な結果を確保するため、すべてのテスターは同じ評価ロジックと文書化基準に従う必要があります。
ITSM チケットを使用した初回評価
ITSM チケットを使用したテストの実行
テストフェーズでは、Spark テスターは実際に最近起票された ITSM チケットを使用して、Spark が従業員による実際の問題をどのように処理するかを評価します。 テスターは以下を実施します：
従業員が起票したサービスデスクチケットを選択します（システム生成、ベンダー、または自動生成のチケットは除く）。
問題を報告した従業員を特定します。
Nexthink で Chat with Spark を開きます。
Other employee を選択し、チケットに関連付けられた従業員を検索します。
その従業員になったつもりで会話を開始し、チケットに報告されているとおりに問題を説明します。
Spark のトラブルシューティングガイダンスに従い、問題が解決したかどうかを確認します。
評価結果を記録します。例：MS Excel
問題が従業員とのやり取りを必要とする場合、Spark のテスターは、従業員のデバイスに影響を与える操作を行う前に従業員へ通知します。
詳細については、Chat with Spark の使用およびコミュニケーションチャネルのドキュメントを参照してください。
記録されたテスト結果の分析
Chat with Spark でのテスト完了後
記録したテスト結果を確認します。
追加のコンテキストが必要な場合は、Spark > All Conversations に移動し、Spark の応答と推論を含む会話全体を確認します。
Reasoning タブを確認することで、Spark の意思決定プロセスの透明性を確保し、必要となる可能性があるナレッジの不足、欠落しているアクション、または設定改善を特定できます。
一貫性があり完全な文書化は非常に重要です。 これにより、評価ラウンド間の客観的な比較が可能になり、改善のための構造化された情報を得られます。 詳細については、Spark でチャットを使用するのドキュメントを参照してください。
Spark のナレッジおよび設定の改善
Spark テスターが最初の評価ラウンドを完了した後、Spark チャンピオンは収集した結果を確認し、特に不正確、不完全、または最適ではない応答に着目してパターンを特定します。
調査結果に基づき、Spark チャンピオンは以下を行います：
既存のナレッジコンテンツを更新または改善する
不足しているナレッジ記事をインポートする
必要に応じて利用可能なアクションを調整する
改善は対象を明確にし、測定可能なものにする必要があります。これにより、二回目の評価ラウンドでその効果を検証できます。
二回目の評価ラウンド
Spark テスターは、最初の Spark 評価ラウンドで使用したのと同じ構造化された方法を繰り返します。 テスターは
新しい ITSM チケットを使用して従業員とのやり取りをシミュレーションする
すべての結果を同じテンプレートを使用して記録します。
最後に、Spark チャンピオンは二回目のラウンドの結果を初期ベースラインと比較し、Spark の解決品質、推論精度、および全体的なパフォーマンスにおける測定可能な改善を評価します。
この構造化された検証サイクルにより、本格展開前に Spark のパフォーマンスを体系的に評価および最適化でき、リスクを低減し、本番環境への導入に対する信頼を高めることができます。
最終更新
役に立ちましたか？