# !/usr/bin/python# -*-coding:utf-8-*-import urllibfrom bs4 import BeautifulSoupresponse = urllib.urlopen("http://www.imau.edu.cn")html = response.read()data = html.decode('utf-8')soup = BeautifulSoup(data)# print soup.findAll('span')for item in soup.find_all("a"):    if item.string == None:        continue    else:        # print type(item.string)        print item.string+":"+item.get("href")

运行代码，电脑上需要安装BeautifulSoup的库

目标网址：www.imau.edu.cn

爬取的结果：

首    页:index.htm农大概况:ndgk.htm农大简介:ndgk/ndjj.htm党政领导:ndgk/dzld.htm农大校史:http://xsg.imau.edu.cn/图说农大:tsnd.htm机构设置:jgsz.htm纪委、监察审计处 :http://jiwei.imau.edu.cn/党政办公室(校友会办公室):http://dangban.imau.edu.cn组织部(统战部、党校):http://zzb.imau.edu.cn宣传部(新闻中心):http://xcb.imau.edu.cn工会:http://gonghui.imau.edu.cn团委(彩虹网):http://rainbow.imau.edu.cn教务处:http://jwc.imau.edu.cn人事处:http://rsc.imau.edu.cn科技处:http://kyc.imau.edu.cn/研究生院(研究生工作部):http://yjsy.imau.edu.cn后勤管理处:http://hqc.imau.edu.cn财务处:http://cwc.imau.edu.cn/学生工作处(学生工作部):http://xsc.imau.edu.cn招生就业处:http://zjc.imau.edu.cn/国有资产管理处:http://gzc.imau.edu.cn保卫处:http://bwc.imau.edu.cn/离退休人员工作处:http://laogan.imau.edu.cn国际交流与合作处(港澳台办公室、中加可持续农业研究与发展中心):http://waiban.imau.edu.cn动物科学学院 :http://dky.imau.edu.cn/兽医学院:http://shouyi.imau.edu.cn农学院:http://nxy.imau.edu.cn林学院:http://linxue.imau.edu.cn草原与资源环境学院:http://grass.imau.edu.cn沙漠治理学院:http://smzl.imau.edu.cn机电工程学院:http://jidian.imau.edu.cn水利与土木建筑工程学院:http://sjy.imau.edu.cn材料科学与艺术设计学院 :http://cyy.imau.edu.cn经济管理学院 :http://jgy.imau.edu.cn食品科学与工程学院 :http://spy.imau.edu.cn计算机与信息工程学院:http://jsj.imau.edu.cn生命科学学院:http://sky.imau.edu.cn人文社会科学学院:http://renwen.imau.edu.cn外国语言学院:http://wy.imau.edu.cn理学院:http://lxy.imau.edu.cn能源与交通工程学院:http://nyjtxy.imau.edu.cn体育教学部:http://tyjxb.imau.edu.cn马克思主义学院:http://malie.imau.edu.cn国际教育学院:http://gjjyxy.imau.edu.cn继续教育学院(中央农业干部教育培训中心农大分院):http://jjy.imau.edu.cn职业技术学院:http://zy.imau.edu.cn学报编辑部:http://xuebao.imau.edu.cn图书馆:http://tsg.imau.edu.cn档案馆:http://dangan.imau.edu.cn科技园区管理办公室 :http://kejiyq.imau.edu.cn信息与网络中心:http://nic.imau.edu.cn发展研究室(处)(高等教育研究所):http://fzh.imau.edu.cn基础教育中心:http://jcjy.imau.edu.cn资产经营公司:http://zichan.imau.edu.cn/机关党总支:http://jiguan.imau.edu.cn/后勤党总支:http://houqin.imau.edu.cn内蒙古农业大学校友会:http://xiaoyou.imau.edu.cn/农林工程设计研究院:http://nlsjy.imau.edu.cn农大关工委:http://ggw.imau.edu.cn农大老教授协会:http://professor.imau.edu.cn农大学生公寓:http://xsgy.imau.edu.cn农大医院:http://hospital.imau.edu.cn/农大附中(附小):http://ps.imau.edu.cn农大幼儿园:http://yey.imau.edu.cn内蒙古农牧渔业生物实验研究中心:http://cszx.imau.edu.cn教学科研:jxky.htm教学工作:jxky/jxgz.htm科研动态:jxky/kydt.htm招生就业:http://zjc.imau.edu.cn/招生网:http://zhaosheng.imau.edu.cn就业网:http://job.imau.edu.cn师生风采:ssfc.htm院部动态:ybdt.htm视频专栏:spzl.htm专题网站:ztwz.htm网络电视:wlds.htm数字校报:http://xiaobao.imau.edu.cn敕勒川网:http://chilechuan.imau.edu.cnEnglish:http://waiban.imau.edu.cn/更多>>:index/zhxw.htm1:javascript:u_u3_icn.changeimg(0)2:javascript:u_u3_icn.changeimg(1)3:javascript:u_u3_icn.changeimg(2)4:javascript:u_u3_icn.changeimg(3)5:javascript:u_u3_icn.changeimg(4)6:javascript:u_u3_icn.changeimg(5)学校举办第十一届大学生“大地母亲”蒙古语诗歌大赛:info/1035/23508.htm学校举办郝龙彪牺牲十五周年纪念活动:info/1035/23505.htm我校学生在第十届“挑战杯”全区大学生课外学术科技...:info/1035/23431.htm自治区“平安校园”创建检查验收组来校进行检查评估:info/1035/23423.htm学校举办第三届“心悦杯”校园心理微电影大赛:info/1035/23412.htm内蒙古自治区第一所文化寻力研发中心和基地学校落地...:info/1035/23409.htm网络电视：校园新闻2017年12月第二十六期（试运行）:http://www.imau.edu.cn/info/1402/23404.htm王万义校长深入教职工党支部宣讲党的十九大精神:info/1035/23398.htm教育部：中共教育部党组关于印发《高校思想政治工作...:info/1037/23394.htm动科院师生共同完成的科研论文“大规模全基因组重测...:info/1035/23396.htm学校与波兰波兹南生命科学大学签署合作意向书:info/1035/23388.htm学校召开学习贯彻党的十九大精神形势政策报告会:info/1035/23379.htm更多>>:index/tzgg.htm关于表彰2017年度优秀通讯员、优秀学生记者...:http://xcb.imau.edu.cn/info/1003/2662.htm关于发放2017年生源地信用助学贷款的通知:http://zizhu.imau.edu.cn/info/1003/2803.htm关于尽快完成2016年度档案归档工作的通知:http://dangban.imau.edu.cn/info/1043/2585.htm关于举办软件正版化培训的通知:http://dangban.imau.edu.cn/info/1043/2584.htm2017年下半年普通话考试时间通知:http://jwc.imau.edu.cn/info/1114/4236.htm关于做好2018年春季学期网上选课工作的通知:http://jwc.imau.edu.cn/info/1113/4235.htm内蒙古农业大学2016—2017年度信息公开报告:http://dangban.imau.edu.cn/info/1043/2582.htm关于做好2017年度分党委(党总支)书记抓党建...:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2583内蒙古农业大学文明校园创建工作实施方案:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2566更多>>:index/mtnd.htm【内蒙古日报】文化寻力研发中心和基地学校在内农大授牌:info/1025/23407.htm【华夏蒙商网】王召明：执着20载 只为种好一颗草——记蒙草创...:info/1025/23139.htm【内蒙古足球频道】这个内蒙古小伙厉害了！花式足球玩到国外:info/1025/23113.htm【内蒙古卫视】探索“三位一体”教学模式，我校云畜牧平台受...:info/1025/23111.htm【内蒙古日报】透彻深入宣讲 鲜活生动解读:info/1025/23083.htm