大規模な好みデータを自動的に構築するSAFER-INSTRUCTパイプラインの提案

SAFER-INSTRUCTは、リバース命令チューニング、命令誘導、専門家モデル評価を活用して、人手による注釈なしに高品質な好みデータを自動的に生成する。これにより、より安全で責任あるAIシステムの開発を促進する。