kinopyo blog - Learning through Writing

2011年6月27日 #ruby #nokogiri #https

Nokogiriでhttpsプロトコールのコンテンツを取得

Nokogiriでurlをparseするときは普通こんなコードになります。

doc = Nokogiri::HTML(open('http://example.com/'))

しかし接続先のプロトコールがhttpsの場合はNo such file or directoryのエラーとなります。
一旦net/httpsで取ってからそれをnokogiriでparseするような工夫が必要です。

	require 'net/https'
	require 'nokogiri'

	url = "https://example.com"
	url = URI.parse( url )
	http = Net::HTTP.new( url.host, url.port )
	http.use_ssl = true if url.port == 443
	http.verify_mode = OpenSSL::SSL::VERIFY_NONE if url.port == 443
	path = url.path
	path += "?" + url.query unless url.query.nil?
	res, data = http.get( path )

	case res
	when Net::HTTPSuccess, Net::HTTPRedirection
	# parse link
	doc = Nokogiri::HTML(data)
	# do what you want ...
	else
	return "failed" + res.to_s
	end

view raw nokogiri_https.rb hosted with ❤ by GitHub

bumblebeeというgithubのプロジェクトにinstall.shというファイルがありますが、
実行するとrm -rf /usrのコマンドで/usrが全部削除されることで大騒ぎになったようです。
githubのスレット

bumblebee rm -rf :usr

一個スペースが多かったですね。。

でコメントに上がっている画像がとても面白かったので、それをNokogiriを使って拾うrubyコードを書きました。プログラマのヒューモア満載の画像ですね。

Sinatra + Nokogiri + Herokuで作りました、キャッシュはdalliというgemを使いました。

下記iframeで表示しています。urlはhttp://kinopyo-omgmyusr.heroku.com