真選組三番隊は他の隊とは違い、不逞浪士の取締まりや江戸の治安維持が任務ではない。 斉藤はその無口を買われ、秘密裏に隊内を内偵調査する役目（相手にわからないようにひそかに探ること）を任されている。 その特殊な任務から、「沈黙の部隊」とも呼ばれている。 現在三番隊は彼一人で切り盛りしている。事実上「裏切者を三番隊に引き入れて粛清している」が、実際は“三番隊に人手が必要” “友達になりたい人”という理由で引き込んでいただけである。 『Ｚ帳(是非友達になりたい人帳)』を作成するも、名前を書かれた者に限ってやましいことをしていたらしく、Ｚ帳を深読みし怯えて脱走(＝隊規に違反)したため処断されている。 新八 曰く「かわいそうだけど内偵に向いてる」。 真選組動乱編にて、伊東鴨太郎がクーデターを起こした際に、神楽が「三番隊の通信機」を奪い、伊東一派に連絡をしていたことから（第19巻参照）、三番隊には近藤局長を裏切った者がいたということになるが、これも斉藤が意図して三番隊に入れたものではなく偶然引き寄せてしまったと思われる。 名前のモデルは、新撰組三番隊組長「斎藤一」。