A. 用java编写网络爬虫，用来爬网络音乐资源，再返回java页面显示该怎么实现
下面是源代码,希望可以帮到你~~
package com.ly.mainprocess;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import org.apache.http.Consts;
import org.apache.http.Header;
import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.StatusLine;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.cookie.Cookie;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
public class Test1 {
public static void main(String[] args){
Test1 test1 = new Test1();
System.out.println(test1.process("******","******"));
}
@SuppressWarnings("deprecation")
public boolean process(String username,String password) {
boolean ret=false;
DefaultHttpClient httpclient = new DefaultHttpClient();
try {
HttpGet httpget;
HttpResponse response;
HttpEntity entity;
List<Cookie> cookies;
//组建登录的post包
HttpPost httppost = new HttpPost("http://login.hi.mop.com/Login.do"); // 用户登录
List<NameValuePair> nvps = new ArrayList<NameValuePair>();
nvps.add(new BasicNameValuePair("nickname", username));
nvps.add(new BasicNameValuePair("password", password));
nvps.add(new BasicNameValuePair("origURL", "http://hi.mop.com/SysHome.do"));
nvps.add(new BasicNameValuePair("loginregFrom", "index"));
nvps.add(new BasicNameValuePair("ss", "10101"));
httppost.setEntity(new UrlEncodedFormEntity(nvps, Consts.UTF_8));
httppost.addHeader("Referer", "http://hi.mop.com/SysHome.do");
httppost.addHeader("Connection", "keep-alive");
httppost.addHeader("Content-Type", "application/x-www-form-urlencoded");
httppost.addHeader("Accept-Language", "zh-CN,zh;q=0.8");
httppost.addHeader("Origin", "http://hi.mop.com");
httppost.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36");
response = httpclient.execute(httppost);
entity = response.getEntity();
// System.out.println("Login form get: " + response.getStatusLine());
EntityUtils.consume(entity);
// System.out.println("Post logon cookies:");
cookies = httpclient.getCookieStore().getCookies();
if (cookies.isEmpty()) {
// System.out.println("None");
} else {
for (int i = 0; i < cookies.size(); i++) {
// System.out.println("- " + cookies.get(i).toString());
}
}
//进行页面跳转
String url = ""; // 页面跳转
Header locationHeader = response.getFirstHeader("Location");
// System.out.println(locationHeader.getValue());
if (locationHeader != null) {
url = locationHeader.getValue(); // 得到跳转href
HttpGet httpget1 = new HttpGet(url);
response = httpclient.execute(httpget1);
// 登陆成功。。。hoho
}
entity = response.getEntity();
// System.out.println(response.getStatusLine());
if (entity != null) {
// System.out.println("Response content length: " + entity.getContentLength());
}
// 显示结果
BufferedReader reader = new BufferedReader(new InputStreamReader(entity.getContent(), "UTF-8"));
String line = null;
while ((line = reader.readLine()) != null) {
// System.out.println(line);
}
//自动打卡
// 访问网站的子网页。
HttpPost httppost1 = new HttpPost("http://home.hi.mop.com/ajaxGetContinusLoginAward.do"); // 设置个人信息页面
httppost1.addHeader("Content-Type", "text/plain;charset=UTF-8");
httppost1.addHeader("Accept", "text/plain, */*");
httppost1.addHeader("X-Requested-With", "XMLHttpRequest");
httppost1.addHeader("Referer", "http://home.hi.mop.com/Home.do");
response = httpclient.execute(httppost1);
entity = response.getEntity();
// System.out.println(response.getStatusLine());
if(response.getStatusLine().toString().indexOf("HTTP/1.1 200 OK")>=0){
ret = true;
}
if (entity != null) {
// System.out.println("Response content length: " + entity.getContentLength());
}
// 显示结果
reader = new BufferedReader(new InputStreamReader(entity.getContent(), "UTF-8"));
line = null;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
} catch (Exception e) {
} finally {
httpclient.getConnectionManager().shutdown();
}
return ret;
}
}
B. 能用java写出一个爬取音频和视频的爬虫吗
这个肯定是可以的，不过我只做过爬取文本和图片的。没做过爬视频和音频的，不过就我所知是可以的
C. python爬虫爬取的数据可以做什么
爬虫的概念是，爬取网上能看到的数据，也就是只要网上存在的，通过浏览器可以看到的数据。爬虫都可以爬取。爬虫爬取的原理就是伪装成浏览器，然后进行爬取操作
哪些数据你需要你就可以爬取。比如爬取公司竞争对手的商业数据，爬取电影，音乐，图片等等的。只要你希望得到的，前提浏览器可以访问的都可以爬取
D. 如何使用Python爬取网易云音乐歌单内的歌曲
1首先在浏览器在打开网易云音乐的网页版，并点进一个歌单。
2.在浏览器的开发者工具审查该页面的元素（一般按f12可以弹出该工具），选择Network,之后选择doc可以简便地找到我们需要的元素。
注：以下两步第3，第4步主要是为了防止网站的反爬，经过这两步后，基本可以避开网站的反爬，所以如果你爬取的网站没有反爬的话，可以跳过这两步。
3.查看网页的请求方式--get请求
4.查看header
5.在Response中找到我们所需要的元素所在的标签位置（如：我们要爬取的是歌曲，既需要寻找歌曲的名字与其id信息，观察可以发现其中一首歌单中的歌名-moon在类名为“f-hide”的ul标签的li标签的a标签中） ~
E. Python爬虫爬取QQ音乐的巅峰音乐榜，为什么有的网页成了这样，我多试了几次网页爬取就加载不出来
图片太模糊
注意大厂商做的网站往往有反爬机制 不能太频繁去爬
F. 如何用爬虫获取网易云音乐歌单中的歌曲
你好！看样子你也是个萌萌哒的网易云音乐爱好者啊！很高兴为你解答，你可以按住键盘上的Ctrl不放，然后鼠标左键点击凡是你想要添加的歌曲，这样就可以批量选定了，接着鼠标右击就会出现收藏到歌单了！全部选定请按Ctrl+A再鼠标右击！连续选定，请按住Shift，鼠标分别左键单击第一首和最后一首，然后鼠标右键单击就可以收藏啦！！
G. 如何用爬虫爬取网页上的数据
用爬虫框架Scrapy， 三步
定义item类
开发spider类
开发pipeline
如果你想要更透的信息，你可以参考《疯狂python讲义》
H. python爬虫下载音乐
用request不就行了吗？
import requests
from playsound import playsound
class Music:
def save(self,url):
res=requests.get(url)
with open('music.mp3','wb') as f:
f.write(res.content)
if __name__ == '__main__':
url="https://music.163.com/song/media/outer/url?id=1456443773.mp3"
music=Music().save(url)
playsound("music.mp3")
I. 爬虫爬取酷狗音乐为什么爬取的音乐只有一段
摘要 想要爬取这些歌曲链接，然而这个是一个假的网站，虽然单机右键进行检查能看到这些歌曲的链接，可进行爬取时，却爬取不到这些信息。
J. 如何通过爬虫实现对网易云音乐用户信息的抓取
可以从每首歌的评论作为切入点，采集用户信息，具体实现过程说不清楚，如果你会编程，肯定明白怎么写爬虫，如果不会，推荐你用软件抓取数据。市面上很多采集软件都比较好用（收费），价格一般也不算高，相比你要的数据的价值，软件几乎可以忽略不计。推荐几个吧，Forespider（价格低速度快），熊猫采集器（好几年的软件了），火车头