后来，叶挺又搬了一次家，搬到更为偏僻的观音山山麓的一个防空区里。新家的后面有一个不大也不小的石头山，前面有一大块空地。“开荒吧，我们几个孩子除了上学以外，就整天拿着锄头，消磨在屋前的荒地上。带领我们的父亲干得尤其起劲……过了几天，父亲从市场上买了十多只羊回来。从此，我们放了学回家后又多了一项工作——放羊。”

特务们马上又跟来了，在距叶挺家前面五六丈远的马路边的一个小铺子里，住了四个特务，隔壁也住了一个。隔壁的特务常常拿着一根拐杖，跟着叶家的孩子们上山赶羊。

在桂林，虽然依旧处于被软禁的状态，但叶挺还是能和李济深、何香凝等故交及柳亚子、千家驹等社会名流过往互谒；周恩来也可通过地下关系与他联络；一些新四军的老部旧，也悄悄地登门造访——这都是在恩施禁锢时没法比的，叶挺长久紧蹙的眉宇稍稍舒展了。然而这样的日子过了半年左右，蒋介石获悉叶挺在桂林与社会各界广泛接触的消息，极度不安起来。

叶正明对我们说：“1943年12月25日，我和家里的其他孩子放学回到家里，发现父亲房间的门是锁着的。外婆一脸忧愁地告诉我们：‘你爸爸被绑了，你妈妈现在正设法打听消息。’我预感父亲的情况不妙，眼睛渐渐地模糊了……”

第二天，有个穿军服的人拿了一封信走进叶家，对李秀文说：“叶高参叫我来请二少爷、四少爷、五小姐一道去，这里有他的亲笔信。”所谓二少爷、四少爷、五小姐，就是叶正明、叶华明、叶扬眉。李秀文看信确系叶挺亲笔所写，就问来人：“要把他们送到哪里去？”来人说：“我不知道，这是上边的命令。不过你们的行李要尽量带少些，坐飞机去呢。下午6点钟我们再来接他们。”

“12月26日晚，我和四弟、五妹三个人离开了家。就是因为父亲开列的名单，使我们三个能在此后近两年的时间里，一直生活在他的身边。27日中午，我们乘火车赴衡阳，直到晚上11点多才下车。我们下车后，在一个宪兵特务队里见到了父亲……”

叶正明继续说道：“我们在衡阳住了三天，便动身坐木炭车到宝庆，到宝庆的头一个晚上，那个送我们（其实是押解我们的）的营副叫我陪他睡。我知道他不过是怕我们逃走罢了。那一晚电灯彻夜亮着，还有一个拿着枪的宪兵在屋里通宵看守着。如此我们过了十八夜才走到目的地——恩施。”

在恩施，叶正明才听父亲讲述了他在桂林被骗遭捕的经过：12月25日上午10点钟左右，住在隔壁的特务走进叶家，对叶挺说：“你们的羊有一只给人家偷去了。”叶挺没想到其间有诈，便披了一件外衣，跟着特务出了后门上山。

上到半山，前面那个特务站在岩石上好像等人的样子，见叶挺跟上来就跳下了岩石。这时，从四面八方的山石后面出来二十多个拿着手枪的特务，围住了叶挺。一个好像是领头的人，就是“送”叶正明的那个营副，拿出一封信递给叶挺说：“郭副长官（即国民党第六战区副司令长官郭忏）请叶高参到恩施去玩一下。”

叶挺大怒，说：“请？为什么不到我家里去请？你们是土匪吗？你们不是国民党？”“是。”一个特务说。叶挺又说：“三民主义是不是教你们当土匪的？你们懂不懂三民主义？”“不懂。”一个特务大胆地说。叶挺抬起手，打了那个特务一个耳光说：“不懂三民主义，就不配做国民党！”那个特务说：“你打我也没关系，这不过是上司的命令罢了。”