> For the complete documentation index, see [llms.txt](https://docs.nexthink.com/platform/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.nexthink.com/platform/ja/user-guide/spark/setting-up-and-managing-spark/evaluating-spark-resolutions.md).
# Spark での解決策の評価
Spark の評価は、既存の ITSM チケットと従業員のデバイスコンテキストを使用して Spark のパフォーマンスを測定する、構造化された検証サイクルです。 IT サポートチームは従業員に代わって Spark を実行し、問題解決のテスト、AI の推論のレビュー、および Nexthink 内での解決品質の評価を行うことができます。
{% hint style="info" %}
以下に示すアプローチと手順は、一貫性があり、測定可能で、成功につながるトレーニングサイクルを確実に実施するためのベストプラクティスです。 プロセスは組織固有の要件に合わせて調整できますが、Spark トレーニングの品質と結果の比較可能性を維持するため、調整は Nexthink 担当者と協力して合意する必要があります。
{% endhint %}
## 前提条件
Spark の評価を開始する前に、次の要件を満たしていることを確認してください：
* 有効な Nexthink ライセンス
* Nexthink と統合された ITSM システム
* テストを実施する Nexthink Infinity ユーザーに対して、次の権限が有効になっていること：
* **Infinity を通じて他のユーザーになり代わってチャットする**
* **すべてのエージェント会話を表示**
* Spark の初期設定が完了していること。 詳細については、[Spark のセットアップと管理](/platform/ja/user-guide/spark/setting-up-and-managing-spark.md)を参照してください。
## 役割
Spark の評価には、次の二つの役割が必要です：
* **Spark チャンピオン** – トレーニングサイクル全体を管理・調整し、目標との整合性を確保するとともに、テスターを支援し、結果分析とその後の改善を監督します。
* **Spark テスター** – 実際の ITSM チケットに対して Spark をテストし、結果を構造化された形式で記録することで評価を実施します。
## Spark の評価プロセス
Spark の評価は、次の四つの構造化されたフェーズで実施されます：
* [Spark 評価の準備](#preparation-for-spark-evaluation)
* [ITSM チケットを使用した初回評価](#initial-evaluation-using-itsm-tickets)
* [ナレッジおよび設定の改善](#spark-knowledge-and-configuration-improvements)
* [二回目の評価](#second-evaluation-round)
この段階的なアプローチにより、チームはまずパフォーマンスのベースラインを確立し、次にナレッジと設定を改善し、最後に二回目の検証サイクルを通じて進捗を測定できます。
## Spark 評価の準備
{% stepper %}
{% step %}
**Spark テスターの選定**
{% hint style="info" %}
従業員とのやり取りに精通し、従業員の言葉遣いや問題の説明を正確に再現できるテスターを選択してください。 これにより、現実的な Spark 会話シミュレーションと有意義な評価結果が得られます。
{% endhint %}
Spark チャンピオンは評価を実施するか、IT サポートチームの追加メンバーを Spark テスターとして任命できます。 Spark テスターを選定する際は、ITSM チケットを日常的に扱い、従業員と直接やり取りし、従業員の言葉遣いや問題の説明を正確に再現できる IT サポートチームメンバーを選択してください。
テスターを選定したら、Spark チャンピオンまたは Nexthink 管理者がテスターに **Chat with Spark** へのアクセス権を付与します。 詳細については、[Spark のセットアップと管理](/platform/ja/user-guide/spark/setting-up-and-managing-spark.md)を参照してください。
{% endstep %}
{% step %}
**選定されたテスターへの Spark トレーニング**
Spark チャンピオンは、次の有効化チェックリストを完了して、選定したテスターを支援します：
* [ ] テスターが **Chat with Spark.** にアクセスできることを確認します
* [ ] [Chat with Spark の使用](/platform/ja/user-guide/spark/setting-up-and-managing-spark/evaluating-spark-resolutions/using-chat-with-spark.md)に関するドキュメントをテスターと共有します。 このドキュメントでは、評価手順の実施方法と評価結果の適切な記録方法を説明します。
* [ ] 評価開始前にプロセスを理解し、すべての質問や懸念事項を明確にできるよう、テスター向けの FAQ トレーニングセッションを実施します。
この手順により、ツールへのアクセスと方法論の整合性の両方が確保されます。 比較可能な結果を確保するため、すべてのテスターは同じ評価ロジックと文書化基準に従う必要があります。
{% endstep %}
{% endstepper %}
## ITSM チケットを使用した初回評価
{% stepper %}
{% step %}
**ITSM チケットを使用したテストの実行**
テストフェーズでは、Spark テスターは実際に最近起票された ITSM チケットを使用して、Spark が従業員による実際の問題をどのように処理するかを評価します。 テスターは以下を実施します：
1. 従業員が起票したサービスデスクチケットを選択します（システム生成、ベンダー、または自動生成のチケットは除く）。
2. 問題を報告した従業員を特定します。
3. Nexthink で **Chat with Spark** を開きます。
4. **Other employee** を選択し、チケットに関連付けられた従業員を検索します。
5. その従業員になったつもりで会話を開始し、チケットに報告されているとおりに問題を説明します。
6. Spark のトラブルシューティングガイダンスに従い、問題が解決したかどうかを確認します。
7. 評価結果を記録します。例：MS Excel
{% hint style="info" %}
問題が従業員とのやり取りを必要とする場合、Spark のテスターは、従業員のデバイスに影響を与える操作を行う前に従業員へ通知します。
詳細については、[Chat with Spark の使用](/platform/ja/user-guide/spark/setting-up-and-managing-spark/evaluating-spark-resolutions/using-chat-with-spark.md)および[コミュニケーションチャネル](/platform/ja/configuring_nexthink/bringing-data-into-your-nexthink-instance/integrating-nexthink-with-third-party-tools/communication-channels.md)のドキュメントを参照してください。
{% endhint %}
{% endstep %}
{% step %}
**記録されたテスト結果の分析**
**Chat with Spark** でのテスト完了後
* 記録したテスト結果を確認します。
* 追加のコンテキストが必要な場合は、**Spark > All Conversations** に移動し、Spark の応答と推論を含む会話全体を確認します。
**Reasoning** タブを確認することで、Spark の意思決定プロセスの透明性を確保し、必要となる可能性があるナレッジの不足、欠落しているアクション、または設定改善を特定できます。
一貫性があり完全な文書化は非常に重要です。 これにより、評価ラウンド間の客観的な比較が可能になり、改善のための構造化された情報を得られます。 詳細については、[Spark でチャットを使用する](/platform/ja/user-guide/spark/setting-up-and-managing-spark/evaluating-spark-resolutions/using-chat-with-spark.md#record-evaluation-results)のドキュメントを参照してください。
{% endstep %}
{% endstepper %}
## Spark のナレッジおよび設定の改善
Spark テスターが最初の評価ラウンドを完了した後、Spark チャンピオンは収集した結果を確認し、特に不正確、不完全、または最適ではない応答に着目してパターンを特定します。
調査結果に基づき、Spark チャンピオンは以下を行います：
* 既存のナレッジコンテンツを更新または改善する
* 不足しているナレッジ記事をインポートする
* 必要に応じて利用可能なアクションを調整する
改善は対象を明確にし、測定可能なものにする必要があります。これにより、二回目の評価ラウンドでその効果を検証できます。
## 二回目の評価ラウンド
Spark テスターは、最初の Spark 評価ラウンドで使用したのと同じ構造化された方法を繰り返します。 テスターは
* 新しい ITSM チケットを使用して従業員とのやり取りをシミュレーションする
* すべての結果を同じテンプレートを使用して記録します。
最後に、Spark チャンピオンは二回目のラウンドの結果を初期ベースラインと比較し、Spark の解決品質、推論精度、および全体的なパフォーマンスにおける測定可能な改善を評価します。
この構造化された検証サイクルにより、本格展開前に Spark のパフォーマンスを体系的に評価および最適化でき、リスクを低減し、本番環境への導入に対する信頼を高めることができます。
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:
```
GET https://docs.nexthink.com/platform/ja/user-guide/spark/setting-up-and-managing-spark/evaluating-spark-resolutions.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.