Python3 -我不想用BeautifulSoup打印Javascript代码

Python3 - I do not want to print the Javascript code with BeautifulSoup

本文关键字：打印 Javascript 代码 BeautifulSoup 我不想 Python3      更新时间：2023-09-26

我有这样的代码:

import requests
from bs4 import BeautifulSoup
url  = 'http://www.link.com'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')
for x in (soup.find_all(True,text=re.compile(r'text on the page', re.I))):
print (x, ''n')

现在当我运行它时，它打印出一些javascript，我不知道为什么(我想看到一些文本而不是一些脚本)。我的问题是:我怎么能摆脱javascript每次我想刮数据从网络?

输出:

<script type="text/javascript">
<!--
function MM_swapImgRestore() { //v3.0
var i,x,a=document.MM_sr; for(i=0;a&&i<a.length&&(x=a[i])&&x.oSrc;i++) x.src=x.oSrc;
}
function MM_preloadImages() { //v3.0
  var d=document; if(d.images){ if(!d.MM_p) d.MM_p=new Array();
var i,j=d.MM_p.length,a=MM_preloadImages.arguments; for(i=0; i<a.length; i++)
if (a[i].indexOf("#")!=0){ d.MM_p[j]=new Image; d.MM_p[j++].src=a[i];}}
}
function MM_findObj(n, d) { //v4.01
var p,i,x;  if(!d) d=document; if((p=n.indexOf("?"))>0&&parent.frames.length) {
d=parent.frames[n.substring(p+1)].document; n=n.substring(0,p);}
if(!(x=d[n])&&d.all) x=d.all[n]; for (i=0;!x&&i<d.forms.length;i++)   x=d.forms[i][n];
for(i=0;!x&&d.layers&&i<d.layers.length;i++) x=MM_findObj(n,d.layers[i].document);
if(!x && d.getElementById) x=d.getElementById(n); return x;
}
function MM_swapImage() { //v3.0
var i,j=0,x,a=MM_swapImage.arguments; document.MM_sr=new Array; for(i=0;   i<(a.length-2);i+=3)
if ((x=MM_findObj(a[i]))!=null){document.MM_sr[j++]=x; if(!x.oSrc) x.oSrc=x.src; x.src=a[i+2];}
}
//-->
</script> 
<td align="left" class="template_title" height="50" valign="bottom" width="535"><div style="padding-bottom:9px;">4</div></td>

script元素是DOM中的合法元素。但是，您可以告诉find_all()不要返回script标签:

soup.find_all(lambda elm: elm and elm.name != 'script', text=re.compile(r'text on the page', re.I))
相关文章：