C#使用Selenium+PhantomJS抓取数据

手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下，大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器，能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Selenium来操作PhantomJS绝配。但是网上的例子多是Python的。无奈，下载了python按照教程搞了一下，卡在了Selenium的导入问题上。遂放弃，还是用自己惯用的c#吧，就不信c#上没有。经过半个小时的折腾，搞定（python折腾了一个小时）。记录下这篇博文，让我等搞c#的新手能用上PhantomJS。

第一步：打开visual studio 2017 新建一个控制台项目，打开nuget包管理器。

第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装3.0.0版本。

第三步：写下如下图所示的代码。但是执行的时候会报错。原因是找不到PhantomJS.exe。这时候可以去下载一个，也可以继续看第四步。

using OpenQA.Selenium;
using OpenQA.Selenium.PhantomJS;
using System;
namespace ConsoleApp1
{
 class Program
 {
 static void Main(string[] args)
 {
  var url = "http://www.baidu.com";
  IWebDriver driver = new PhantomJSDriver(GetPhantomJSDriverService());
  driver.Navigate().GoToUrl(url);
  Console.WriteLine(driver.PageSource);
  Console.Read();
 }
 private static PhantomJSDriverService GetPhantomJSDriverService()
 {
  PhantomJSDriverService pds = PhantomJSDriverService.CreateDefaultService();
  //设置代理服务器地址
  //pds.Proxy = $"{ip}:{port}"; 
  //设置代理服务器认证信息
  //pds.ProxyAuthentication = GetProxyAuthorization();
  return pds;
 }
 }
}

第四步：打开nuget安装Selenium.PhantomJS.WebDriver包。

第五步：运行。可以看到phantomjs.exe被自动下载了。

好了，这样就可以开始你的数据抓取大业了。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持！

# C#  # 抓取  # 数据  # phantomjs抓取数据  # selenium  # phantomjs  # 用C#+Selenium+ChromeDriver爬取网页(模拟真实的用户浏览行为)  # c# Selenium爬取数据时防止webdriver封爬虫的方法  # c# 从内存中释放Selenium chromedriver.exe  # C# 利用Selenium实现浏览器自动化操作的示例代码  # C#使用Selenium的实现代码  # C#使用selenium实现爬虫  # 是一个  # 代理服务器  # 第四步  # 好了  # 找不到  # 不信  # 半个  # 可以看到  # 所示  # 管理器  # 这篇  # 第二部  # 报错  # 我等  # 要使  # 第三步  # 搞了  # 如下图  # 就可以  # 卡在 

相关文章： 制作宣传网站的软件,小红书可以宣传网站吗？  ppt在线制作免费网站推荐,有什么下载免费的ppt模板网站？  如何快速查询域名建站关键信息？  最好的网站制作公司,网购哪个网站口碑最好，推荐几个？谢谢？  如何确认建站备案号应放置的具体位置？  如何在万网开始建站？分步指南解析  如何在万网ECS上快速搭建专属网站？  如何制作新型网站程序文件,新型止水鱼鳞网要拆除吗？  如何高效生成建站之星成品网站源码？  如何有效防御Web建站篡改攻击？  哪家制作企业网站好,开办像阿里巴巴那样的网络公司和网站要怎么做？  如何将凡科建站内容保存为本地文件？  网站制作模板下载什么软件,ppt模板免费下载网站？  大连企业网站制作公司,大连2025企业社保缴费网上缴费流程？  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  Swift开发中switch语句值绑定模式  如何在云服务器上快速搭建个人网站？  Android滚轮选择时间控件使用详解  上海网站制作网站建设公司,建筑电工证网上查询系统入口？  javascript基本数据类型及类型检测常用方法小结  制作企业网站建设方案,怎样建设一个公司网站？  购物网站制作费用多少,开办网上购物网站，需要办理哪些手续？  微信小程序 input输入框控件详解及实例（多种示例）  车管所网站制作流程,交警当场开简易程序处罚决定书，在交警网站查询不到怎么办？  如何在建站宝盒中设置产品搜索功能？  建站主机是什么？如何选择适合的建站主机？  广州建站公司哪家好？十大优质服务商推荐  如何获取上海专业网站定制建站电话？  网站制作多少钱一个,建一个论坛网站大约需要多少钱？  如何获取开源自助建站系统免费下载链接？  一键制作网站软件下载安装,一键自动采集网页文档制作步骤？  如何选择高效稳定的ISP建站解决方案？  制作网站的网址是什么,请问后缀为.com和.com.cn还有.cn的这三种网站是分别是什么类型的网站？  清单制作人网站有哪些,近日“兴风作浪的姑奶奶”引起很多人的关注这是什么事情？  Android使用GridView实现日历的简单功能  手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办？  国美网站制作流程,国美电器蒸汽鍋怎么用官方网站？  中山网站推广排名,中山信息港登录入口？  建站主机解析：虚拟主机配置与服务器选择指南  内部网站制作流程,如何建立公司内部网站？  网站制作公司排行榜,四大门户网站排名？  公司网站设计制作厂家,怎么创建自己的一个网站？  宝塔Windows建站如何避免显示默认IIS页面？  微课制作网站有哪些,微课网怎么进？  如何注册花生壳免费域名并搭建个人网站？  唐山网站制作公司有哪些,唐山找工作哪个网站最靠谱？  制作网站公司那家好,网络公司是做什么的？  如何基于云服务器快速搭建个人网站？  制作假网页,招聘网的薪资待遇，会有靠谱的吗？一面试又各种折扣？  齐河建站公司：营销型网站建设与SEO优化双核驱动策略