しかし衛門三郎は、我が子には愛情深く五男三女に恵まれていました。しかし鉄鉢をたたき割った次の日、長男が高熱を出し倒れ、あっと言う間に死にました。衛門三郎は悲しむ間も無く次は次男が死に、三男と次々に子供たちは病で死んで行きました。とうとう八日目には八人の子供皆が死んでしまいました。空海上人はそれを哀れみ亡き子供たちの菩提を祈願し、文殊院にて毎日読経され又、自ら佛像を彫り供養に勤められました。一方衛門三郎は途方に暮れた日々を送っていました。するとある時、夢の中に空海上人が出て来られ衛門三郎を諭しました。「自分の今までの行為が子供たちの死へと結びついたのだ。人を人とも思わず私利私欲に走った罪業、これからは一心に四国の寺院を廻りなさい。」夢から覚めた衛門三郎は妻にその話をすると、空海上人と言う高僧が皆を救う為、四国に霊場を造って御回りに成って居られる話をしました。衛門三郎は「ひょっとしてあのお坊様が。」衛門三郎は自分のした事が恐ろしく成って来ました。心の中で「高僧を打とうとした上、鉄鉢まで割ってしまい、だから子供を失う報いを受けたのだ。」あらためて自分の非道を深く恥じ入りました。その後衛門三郎は、白衣に身を包み、手には手甲、脚には脚半そして菅笠をかぶり右手に金剛杖を持ち、「これから空海上人にお会いし、心からの懺悔をさせて頂き因縁を浄化して頂こうと決意しました。衛門三郎は妻と別れ一人遍路の行に出ました。