⑴ 写个python 爬虫怎么爬取一个网页上面发现的url链接
1.使用beautifulsoup框架。
frombs4importBeautifulSoup
bs=BeautifulSoup('网页源码',"html.parser")
bs.findAll('a')#查找所有的超链接
#具体方法可以参见官方文档
2.使用正则表达式
⑵ 如何用用网络爬虫代码爬取任意网站的任意一段文字
网络爬虫是一种自动化的程序，可以自动地访问网站并抓取网页内容。要用网络爬虫代码爬取任意网站的任肢哪意一段文字，可以按照如下步骤进行：
准备工作：需要了解目标网站的结构，以及想要爬取的文字所在的网页的URL。此外，还需要选择一种编程语言，如Python、Java、C++等，一般建议用PYTHON，因为有完善的工具库，并准备好相应的编程环境。
确定目标：通过研究目标网站的结构，确定想要爬取的文字所在的网页的URL。
获取网页源代码：使用编程语言的相应库历孙码（如Python的urllib库），访问目标网页的URL，获取网页的源代码。
解析网页源代码：使用编程语言的相应库（如Python的BeautifulSoup库），解析网页源代凯运码，找到想要爬取的文字所在的HTML标签。
提取文字：获取HTML标签的文本内容，即为所要爬取的文字。
保存结果：将爬取的文字保存到文件中或数据库中，以便后续使用。