“留守村”的贫困不仅仅表现为收入低下，更表现为社会功能的弱化
留守与贫困有着天然的内在联系。集中连片的贫困地区多是生态环境脆弱、资源紧缺和农业生产条件恶劣的地区，因此农业生产的收入很低。同时，这些地区的非农产业发展缓慢，就业机会严重不足。在这种情况下，那些希望脱贫致富的农民便只能选择外出打工。然而贫困地区外出的劳动力多数缺少技术，只能在低端的就业岗位就业。这些工作收入较低且不稳定，使得他们只能选择将老人和孩子留在农村。
所谓“留守村”的贫困问题，实质上是村里留下来的贫困老人和儿童的问题，是一个特殊群体的贫困问题。因为是特殊群体的贫困，所以与一般的贫困有不同之处：“留守村”的贫困不仅仅表现为收入低下，更表现为社会功能的弱化。因为“留守村”的主要劳动力在外务工，尽管他们在城市就业的收入也很低，但是按农村贫困的标准来衡量，多数家庭的收入都会高出贫困线。如果仅从收入的角度看，其中许多家庭似乎都已经脱贫，但是如果从社会层面来讲，这些留守在村庄的老人和儿童仍然处于贫困状态，因为留守的老人和儿童经常面临着缺少正常的关爱，缺乏安全、医疗和教育保障等一系列问题，而这些问题的产生是因为“留守村”作为社会单位已经不能发挥正常的功能。
青壮年的大量外流导致了家庭和社区的功能不完善，也改变了村庄的治理结构
在“留守村”，贫困首先表现为家庭结构和功能的不完整，由于青壮年外出，仅留下老人和孩子，家庭缺少青壮年劳动人口，导致其不能正常承担赡养和养育的职责。在“留守村”，老年人日常得不到应有的赡养和照顾，生病也无法得到及时的治疗，更有甚者，许多老人不但得不到照顾，还要以年迈之躯照顾年幼的孙儿。同样，缺少父母关爱的儿童在需要家庭关爱的时期无法得到家庭的良好教育，许多孩子甚至一年两年也见不到父母，他们的教育和成长都遇到许多困难。由于家庭只有老人和儿童，家庭的生产功能也受到削弱，有些人仅仅简单地种植一些土地，粮食产量不高，经济收入也很有限，也有些则完全放弃了生产，只依靠政府的补贴和外出打工者寄回家的有限收入。留守和贫困成为一个因果链，因为贫困而外出寻找出路，而外出又带来新的贫困问题。
青壮年的大量外流也造成了社区结构和功能的不完整。由于青壮年的大量外流，社区基本上失去了自我发展能力。当大量农村青壮年外流以后，许多农村发展项目根本没有办法实施，道路不能得到正常维护，灌溉系统年久失修，即使有国家的资金补贴，在项目规划和实施中缺少当地人的参与，许多项目也无法落实，即使项目建成，也会因为缺少维护而不能发挥正常作用。这使扶贫项目面临着两难问题，许多留守村庄就是贫困村，需要扶贫项目的支持，但是项目进入以后又很难发挥应有的效果。
青壮年的外流还改变了村庄的治理结构。由于“留守村”的大量精英外流，村庄留守的老人和儿童缺少参与村庄公共事务的能力，从而造成村干部权力的膨胀。在一些留守村庄，由于缺少公开和透明的机制而经常出现资源分配的不公平，特别是扶贫资源。用于支持贫困户的项目资金很容易被非贫困户所占用，而真正的贫困户却被排斥在外。当然造成这种现象的原因很多，比如有些项目设计不合理，一些农业开发项目明显不适合“留守村”的需求。但是村庄的权力缺少约束，资源分配的不透明和民主监督的缺位也是这种现象产生的重要原因。不仅一些扶贫开发的资源有可能被那些相对较富裕家庭占据，甚至部分低保等补贴性资源也被那些有关系的但实际上不符合条件的家庭窃取。