获取网页源代码后,网页运行Javascript - Java
fetch webpage source after the webpage run Javascript - Java
我试图获取网页源,我发现了一些问题。我想获取源上的Url,但是当我取下来时,Url变成了Javascript
方法。
浏览器源代码查看器:
<a class="title" href="/hkstp_web/en/Directory/Acquest%20Stem%20Cell%20Research%20Company%20Limited/">aaa Company Limited</a>
但是当我把它拿下来的时候,它变成了这样:
<a href="javascript:void(0)"><span>...</span></a>
下面是我的代码:
public class DownloadPage {
public static void main(String[] args) {
URL url;
try {
// get URL content
url = new URL("https://www.hkstp.org/hkstp_web/en/directory/");
URLConnection conn = url.openConnection();
// open the stream and put it into BufferedReader
BufferedReader br = new BufferedReader(
new InputStreamReader(conn.getInputStream()));
String inputLine;
//save to this filename
String fileName = "C:''Users''USER''Documents''server''test.txt";
File file = new File(fileName);
if (!file.exists()) {
file.createNewFile();
}
//use FileWriter to write file
FileWriter fw = new FileWriter(file.getAbsoluteFile());
BufferedWriter bw = new BufferedWriter(fw);
while ((inputLine = br.readLine()) != null) {
bw.write(inputLine + "'n");
}
bw.close();
br.close();
System.out.println("Done");
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
我如何得到正确的链接?由于
嗯,正如你(希望)知道的那样,自从Timothy爵士发明了网页以来,网页已经发展了很多。这意味着您所看到的(可以与之交互的)不仅仅是来自服务器的HTML(和CSS)代码的结果,而且通常是由浏览器使用JavaScript进行大量"post"处理的。
所以如果你想获得那个链接,你必须做同样的后处理,即使用HtmlUnit框架,或者-如果你不坚持Java - PhantomJS。
相关文章:
- 打开网页后立即获取网页的活动javascript函数
- Android键盘不适用于包含Javascript的网页
- 网页上失败的javascript会导致所有其他脚本失败
- 使用javascript替换网页上的文本
- 同一网页中有多个javascript标记
- 使用Javascript从整个网页中删除具有特定类的所有span标记
- 如何通过javascript或jquerycookie获取网页的刷新次数
- 如何使用httpwebrequest在c#中获得网页(使用ajax/javascript的php)的最终响应
- 网页javascript根本没有执行
- 如何复制谷歌Chrome网页javascript徽标效果
- Python Selenium,抓取网页JavaScript表
- java程序可以作为网页javascript和数据库之间的中介吗
- 是否有一种方法来检查如果谷歌浏览器安装(和默认浏览器)通过网页/ JavaScript不安装任何客户端
- 我如何用Javascript或jQuery重定向我的网页??Javascript重定向
- IPad 5x操作系统错误地提供网页JavaScript是否常见?
- 传递HTML表单post数据到不同的文件/网页javascript变量(php)
- 当我添加另一个函数时,网页Javascript停止工作
- 如何从网页Javascript调用c#方法
- Cocoa插件调用网页javascript
- 提取网页javascript中的字段值