Blog

garakを使ってみた ── OllamaのローカルLLMにLLM脆弱性スキャナをかけてみる

NVIDIA製のLLM脆弱性スキャナgarakを、Ollamaで動かしたllama3.2:3bに対して実行した記録。プロンプトインジェクション、ジェイルブレイク、間接インジェクション、エンコーディング、パッケージ名のハルシネーションを試し、レポートをjqで集計して判定の妥当性や再現性、システムプロンプトによる防御の効果を分析した。