【JAPAN AI】AI QA Specialist (LLM Evaluation) / Japanese

700万円〜1,400万円

東京都

AI QA Specialist として、AI エージェントの品質評価基盤の設計・構築・運用をリードします。主な業務内容は以下の通りです：

1. 評価基盤の設計・構築
- 評価セット（合成データ + 実ログ）の設計・構築・メンテナンス
- 評価メトリクス選定・設計（win rate、task success、factuality、harm detection）
- 自動評価パイプラインの構築と CI/CD への組込み
- エージェント・ハーネスの設計（マルチターン・ツール利用・ロングコンテキスト対応）

2. 安全性・品質検証
- レッドチーミング（adversarial testing）の計画・実施
- 安全性 / ポリシー準拠の検証フレームワーク構築
- プロンプト / ツール回帰テストの設計・実行
- ハルシネーション・バイアス・出力品質の課題分析と改善

3. 統計分析・レポーティング
- 統計的実験計画（A/Bテスト、有意差検定）の設計・分析
- 品質レポート作成と改善提案
- 回帰検出・品質トレンドの可視化
- 評価シグナルの研究・開発チームへのフィードバック

具体的な成果責任には、評価カバレッジ率、回帰検出率、評価パイプライン実行時間、False Positive/Negative率、安全性インシデント発生率の管理が含まれます。約200社が本番利用するAIエージェントの品質を科学的アプローチで保証することが主要なミッションとなります。

株式会社ジーニー

東京都新宿区西新宿6-8-1住友不動産新宿オークタワー5/6階

正社員

健康保険 雇用保険 厚生年金 労災保険

完全週休二日制 所定休日：土・日・祝日 休暇：年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日?1月3日）、慶弔休暇

2026/04/02