洞窟のおもちゃ箱

IT、食事、スポーツ、芸能、音楽、旅行、他、日常のいろんなことを書いていきます。

コンテンツタダ乗り?SmartNewsの問題点と、はてなブログの自分の記事がSmartNewsに転載されるクローリングを止める方法

 はてなブログに書いている自分の記事が、SmartNewsに掲載されることがあります。ここではそれを止める方法について書きたいと思います。

 また、そもそもなぜ、止めたいと思ったのか、SmartNewsに掲載されることの問題点は何か、ということについても説明したいと思います。

f:id:ColdSnap:20180805182234j:plain

 

SmartNewsがはてなブログの記事を拾う仕組みについて

 はてなブログに記事を書き続けていると、SmartNewsに記事を拾われて掲載されることがあります。いわゆる「ホットエントリー」とか「スマート砲」と呼ばれる状態です。

 これは、当該記事が「B!ブックマーク」に立て続けにエントリーされることで、SmartNewsによって注目記事として扱われるロジックになっているようです。SmartNewsには「はてな」というタブも存在しています。

 

SmartNewsに記事が掲載されることの問題点

 SmartNewsに記事が載るようになると、記事のPV数が一時的に増えます。ブロガーにとって、記事が多くの人の目に触れることはそれだけでうれしいことです。なので、当初は喜んでいました。

 しかし、何度か繰り返すうちに、SmartNews経由でPV数が増えても、自分の広告収入は全く増えないことに気がつきました。最初は、「あれ?」っと、思っていたのですが、何度か繰り返すうちに、これは思い違いではない、ということを確信するようになりました。

 

事業者については収益分配の仕組みはあるがブロガーには配分されない

 実際、SmartNewsで一般的なスマートモードでブログの記事が表示されても、ブロガーの広告収入は増えないようです。

 これについては、過去に「SmartNewsのコンテンツタダ乗り問題」という表現をされて話題にされている人もいます。実際は、今は事業者についてはSmartNewsから収益が分配される仕組みはあるようです。その仕組みも含めて、SmartNewsのブログ記事の転載に関しては、以下の記事に詳しく書かれてあります。これはきちんと解説されていて、とても参考になりました。

 

 もちろん、SmartNewsに掲載されることによって見てもらえる機会が増えるという効果はあります。よって、ブロガーにとって全く意味が無いとは限りません。私の場合、いずれにしても雀の涙ほどのものでしかないので。ただ、PV数は伸びているのにこちらの収益は増えない状態を何度か経験すると、複雑な気落ちになることも事実です。この辺は、個人の価値観や考え方や気持ちもあるかと思います。

 一番いい解決方法は、SmartNewsが、記事を提供しているブロガーに対しても収益分配の仕組みを作ることだと思います。しかし、残念ながら、現在はまだそのような仕組みにはなっていないようです。

 

納得できなければSmartNewsからのクローリングを止める設定ができる

 SmartNewsからのクローリングを止める方法はあります。これを「アプトアウト」と呼びます。SmartNewsの説明文によると、以下の方式が説明されています。ちなみに、これは特にSmartNewsに限ったものではなく、元々のHTMLのプロトコルの仕様ですから、他のサイトからのクローリングを止めたいときにも応用できます。

  • robots.txtファイルによるブロック
  • metaタグによるブロック

SmartNewsの仕組み - SmartNews媒体運営者向けサポート

 

はてなブログでこのオプトアウトの設定をするにはどうすればよいのか

 上記の2つのクローリング停止方法のうち、前者、つまり「robots.txtファイルによるブロック」については、はてなブログの場合、

  • [設定]メニューから、[詳細設定]タブを選ぶ
  • [検索を避ける]をチェック

で選んで簡単に設定することができるのですが、このはてなブログの機能は特定のクロールエンジンからのクロールだけを指定することができません。つまり、このチェックボックスをいれてしまうと大切なGoogleなどからのクロールも止まってしまいます。本来のrobots.txtは個別のクロール先を指定して止められるのですが、はてなブログのこの設定ではそのような個別の拒否設定ができないようです。

  となると、残りは「metaタグによるブロック」しかありません。その方法については、(英語になってしまいますが)以下に説明があります。

http:// http://www.robotstxt.org/meta.html

当該箇所を抜き出すと、以下のようにすればいいようです。

<html><head><title> ... </ title>

<META NAME = "ROBOTS" CONTENT = "NOINDEX、NOFOLLOW"></ head>

 

SmartNewsは「Crowsnest」という名前のクロールエンジンなので、<head></head>のところに次のような1行のタグを埋め込めばいい、ということになります。

<meta name="Crowsnest" content="noindex, nofollow">

 

はてなブログの設定画面からこれを行う場合は、次のようにします。

  • [設定]メニューから、[詳細設定]タブを選ぶ
  • [headに要素を追加]に先ほどの行を追加する
  • 一番下の[変更する]をクリックして、保存する。

 その部分の画面を一部切り貼りすると、以下のようになります。ここまでくどくど説明した文章を読むと一見面倒に見えるかもしれませんが、実際に追加するのはこの1行だけです。

f:id:ColdSnap:20180805184852p:plain

 

 

最後に

 効果についてですが、数日様子を見た結果、SmartNewsへの記事の転載は確かにピタッと止まりました。

 前述したように、この設定はSmartNews向けだけでなく、「meta name」で指定するクローリングサイト名をそれぞれの対象に合わせることによってそれ以外のサイトからのクローリングを拒否する技術として応用することができます。実際に拒否するかどうかはあくまでも個人の判断ですが、こういうやり方があるんだということを、覚えておいても損はないテクニックのひとつではあると思います。