【JAPAN AI】AI QA Specialist (LLM Evaluation) / English

700万円〜1,400万円

東京都

AI QA Specialist として、以下の主要な職務を遂行します：

1. 評価インフラストラクチャの設計・開発
- 評価セットの設計・構築・メンテナンス（合成データ + 実際のログ）
- 評価指標の選択と設計（勝率、タスク成功率、事実性、危害検出）
- 自動評価パイプラインの構築とCI/CDへの統合
- エージェントハーネスの設計（マルチターン、ツール使用、長文コンテキストサポート）

2. 安全性と品質検証
- レッドチーミング（敵対的テスト）の計画と実行
- 安全性とポリシーコンプライアンス検証フレームワークの構築
- プロンプト/ツールの回帰テストの設計と実行
- ハルシネーション、バイアス、出力品質に関する問題の分析と改善

3. 統計分析とレポーティング
- 統計実験の設計と分析（A/Bテスト、有意性検定）
- 品質レポートと改善提案の作成
- 回帰検出と品質トレンドの可視化
- 評価シグナルの研究・開発チームへのフィードバック

主な目標は、約200社で使用される製品の品質保証インフラを科学的に構築し、リリース前の品質劣化検出率95%以上を達成することです。

JAPAN AI株式会社

東京都新宿区西新宿6-8-1

正社員

健康保険 雇用保険 厚生年金 労災保険

完全週休二日制 所定休日：土・日・祝日 休暇：年次有給休暇、夏季休暇（3日）、年末年始休暇（12月31日?1月3日）、慶弔休暇

2026/04/02