ビルド前にデータをレビューする

まだ誰もモデリングしていない抽出データを手渡された場合、一番リスクが高いのはすぐにビルドを始めることです。このチュートリアルでは代わりにデータレビューを実行する方法を示します。これは、生のファイルを調査し、それらが正直にサポートできる内容、成立する結合、実際に表現されている対象、そしてあなたが決定すべき事項を、何もモデリングする前に教えてくれるAIジョブです。

データレビューはレポートジョブと同じ画面から始まります。違いはプロンプトにだけあります。エージェントにイベントログを作るよう要求する代わりに、まずファイルをレビューするように頼みます。

例では実際の公開されている大学抽出データを使用しています。6つの関連テーブルで32,593件のコース登録、その登録情報、評価、スコアをカバーしており、このページのすべてのスクリーンショットと数値は実際の実行結果に基づいています。

サンプルデータ提供元: ここで使用するファイルは*Open University Learning Analytics Dataset (OULAD)*で、CC BY 4.0ライセンスのもとに公開されています。お手持ちの複数ファイル抽出データに置き換えてもかまいません。

いつ最初にレビューをするか

以下の場合にデータレビューを実行してください:

  • 抽出データが慣れていないもの(新しい顧客、新しいシステム、新しいエクスポート)
  • 複数ファイルが同時に届き、結合方法が誰にも確認されていない
  • 分析を約束しようとしており、データでそれが成立するか知りたいとき
  • レポートが奇妙な結果となり、質問ではなくデータに疑いがあるとき

レビューの役割は事実と決定を提供することであり、あなたの質問に答えることではありません。合計数に対する数値、意図的に報告される不合格チェック、およびあなたにしか決められない事柄を示す決定リストを期待してください。

ステップ1: 抽出ファイルのアップロード

新しいAIジョブを開始し、AI Insight report from CSV filesを選択して抽出ファイルをアップロードします。CSVの.zipは自動的に展開されます。大学の6ファイル抽出は1つのzipファイルとして届き、6つのファイルとして表示されます:

アップロード時に展開された6つのCSVのzip

Next: Report typeをクリックします。

ステップ2: 事前入力されたビルド指示を削除する

プロンプトボックスはファイルからイベントログを作成する指示が事前入力されており、最後に**「Then:」**が付いています:

プロンプトボックスが事前入力された状態

これはレポートの初期状態として正しいですが、レビューには逆です。レビューではこのテキストを削除します。ボックス内をすべて選択して削除するか、次のステップでライブラリのプロンプトを使って自動的に置き換えます。

エージェントにはアップロードしたファイル一覧とこのボックスの内容が正確に渡されるため、ビルド指示がなければ何もモデリングしません。

ステップ3: ライブラリからレビュー用プロンプトを選ぶ

プロンプトライブラリの最初のグループがData review / readinessです。6つのプロンプトがあり、それぞれ異なる質問に対応しています:

Data review / readinessグループ

プロンプト 使用する状況
Full data readiness review ファイルの内容、結合、存続する母集団、最初に決めるべき事項を知りたいとき。
What is actually in these files? 行の粒度、列の内容、自由テキスト内の隠れた構造、日付形式を知りたいとき。
Can these files be joined? 可能なキーをすべて検証し、不合格を記録し、受け入れたものに意味的な検証をしたいとき。
Review an audit or change log マーカー、本当の変更内容、バルクロード、レコードのライフサイクルを調査したいとき。
Who is actually represented? 各層の母集団、消えた対象、損失が体系的かどうかを知りたいとき。
Can this data answer my questions? 与えられた質問をファイルが実際にサポートできるかスコアリングしたいとき。

Previewをクリックするとプロンプト全文を読み、+ Addでボックスに追加できます。未知の抽出データの初回確認には、最も包括的なFull data readiness reviewが最適で、このチュートリアルではこれを実行します。

6つのうち1つだけ少し異なる振る舞いをします:Can this data answer my questions? は置換用のプレースホルダ行を含んでいます。一つの質問を1行で書き直さなければなりません。残したままだとエージェントがデータが想定している質問を推測し、それが推論されたことを明示して、そのスコアを返します。

ステップ4: プロンプトが矛盾するときの通知を解決する

ビルド指示が残ったままレビュー用のプロンプトを追加すると、「最初にビルドする」「何もビルドせずにレビューする」という相反する依頼が同時に入ります。編集欄の上に通知が表示されます:

相反する依頼がある時の通知

  • Remove the build instruction はビルド指示文を削除し、あなたが書いたまたは追加した内容は残します。一クリックでプロンプトを純粋なレビューにできます。
  • Keep both は通知を消し、そのまま両方の内容を送信します。本当に両方混在が必要な場合にだけ選びます。

Remove the build instructionをクリックします。ボックスにレビュー用の指示だけが残ります:

ビルド指示を削除したあとのプロンプト

もう一つ注意点:完全に空のプロンプトボックスは開始できません。デフォルトはなく、常に「見える」テキストで実行されます。

空のプロンプトは開始できない

Startをクリックします。ジョブ名は**Data review - [date]**となり、ページを離れても完了時にメールが届きます。

ステップ5: レビューを読む

レビュー結果はジョブの会話に届きます。大学抽出データでの完了レビューはファイルを順に解析しました。各ファイルの行の意味、列の範囲、成立する結合、残存する母集団、そして最後に判定を示しました:

完了したレビューの準備状態の判定

各部分の読み方と、この実行で実際に判明した内容は以下の通りです:

事実は合計数に対して述べられます。 「多くの学生が提出した」ではなく「32,593件の登録のうち25,820件は少なくとも1つ有効なスコアがある」というように。数字の根拠となるファイル名と列名が必ず示されているので、主張は検証可能です。

失敗したチェックは意図的に残されます。 一致しなかった結合、全て0の重み列、欠けているファイルなどがレビュー結果に記されます。この抽出では、あるモジュールのすべての評価が重みゼロであること、クリックストリームファイルが提供されなかったこと(エンゲージメント分析ができないこと)などが明示されています。無視されるのではなく、明確に記述されます。

判定は4語のいずれかです。 Ready(準備完了)、ready with constraints(制約ありの準備完了)、blocked(ブロック中)、not feasible(不可能)。続く部分にデータが正直にサポートできる内容とできない内容が示されます。この実行ではready with constraintsで返され、母集団の大半に対する成果と中途退学分析は可能、グレード加重指標とエンゲージメント分析は不可、その理由も述べられています。

決定事項は多数のブロック事項が優先であなたに戻ります。 正当な解釈が2つある場合にエージェントがどちらかを選ばず、番号付きの決定リストとして書き込みます。この実行では7件上がりました。例:

  • 7つのモジュールのうち2つだけに試験記録あり。制限するか、課題で代理するか、試験を除外するか?
  • 32,593件中6,750件が提出物無し。0点として扱うか、別のコホートとするか、除外するか?
  • ある人口統計バンドが10-20で、他はすべて10-20%。これを標準化するか、別カテゴリとして扱うか?

決定は会話内で答えるとレビューが続きます。あるいは満足したら、同じファイルで選択を盛り込んだプロンプトでレポートジョブを開始できます。

関連ドキュメント

サポート

問題が発生した場合:

  • メール: support@mindzie.com
  • 次の内容を含めてください:ジョブ名、アップロードしたファイル、期待した動作と実際の動作の差異