garakを使ってみた ── OllamaのローカルLLMにLLM脆弱性スキャナをかけてみる
NVIDIA製のLLM脆弱性スキャナgarakを、Ollamaで動かしたllama3.2:3bに対して実行した記録。プロンプトインジェクション、ジェイルブレイク、間接インジェクション、エンコーディング、パッケージ名のハルシネーションを試し、レポートをjqで集計して判定の妥当性や再現性、システムプロンプトによる防御の効果を分析した。
#Security#AI#Blog
NVIDIA製のLLM脆弱性スキャナgarakを、Ollamaで動かしたllama3.2:3bに対して実行した記録。プロンプトインジェクション、ジェイルブレイク、間接インジェクション、エンコーディング、パッケージ名のハルシネーションを試し、レポートをjqで集計して判定の妥当性や再現性、システムプロンプトによる防御の効果を分析した。
TerraformでAWSにEC2とRDSを作り、initからdestroyまでを試した記録。aws loginで遭遇した認証エラーの原因と、コンソールでの変更(ドリフト)をTerraformがどう扱うかの検証をまとめた。
LinearのGraphQL APIをiOSショートカットから直接叩き、1操作でLinearのInboxにissueを登録できるようにした構築手順。