>  > ●3D デザイン●BMW 4シリーズ F36 グランクーペ M-SPORT用 トランクスポイラー カーボン製
[WeatherTech 正規品] Audi アウディ A3 5ドアハッチバック 2006年 ウィンドウディフレクター サイドバイザー/ドアバイザー
DAYTONA GIVI PLX3101 チューブラーパニアホルダー [90534]

こんにちは、はてなアプリケーションエンジニアの id:skozawa です。現在は 【メーカー在庫あり】 デューロ DURO タイヤ 80/90-10 46J TL フロント、リア兼用 (5本セット) HF296A JP店、ブックマークチーム、及び JMS ジェイエムエスヤマハ ギア 2st/4stホンダ ベンリー用ラゲージSS 白+マット 24L外寸 310×390×260内寸 280×370×220B14-W-GA-M、プラットフォームチームで開発をしています。

先日リリースされたはてなブックマークの新機能「トピック」の裏側について、Hatena Enginner Seminar #4で紹介しました。
自然言語処理技術を用いたはてなブックマークの新機能「トピック」をベータリリースしました - はてなブックマーク開発ブログ

Hatena Enginner Seminar #4で紹介した資料に少し加筆・修正を加えたものを公開します。


内容

「トピック」機能は、はてなブックマーク開発ブログにもある通り、これまで何人かのエンジニアが挑戦してきましたが、実現できていませんでした。その主な要因として、

  • トピック生成の精度が低い
  • トピックタイトル生成が難しい

という問題があり、これらを検索技術と自然言語処理技術によって解決することによりベータリリースへとこぎつけました。

トピック生成

これまでキーワードなどを用いて記事をクラスタリングするというアプローチでトピック生成をしてきましたが、どうしてもノイズを除去できずリリースする水準まで持っていくことができていませんでした。そこで今回はトピック生成と記事クラスタリングを別々に行うアプローチをとりました。また、トピック生成ではElasticsearchのSignificant Terms Aggregation機能を活用しており、

●3D デザイン●BMW 4シリーズ F36 グランクーペ M-SPORT用 トランクスポイラー カーボン製2016登場


オダックス Odax LED テール ライト クリア カワサキ ZRX1100/1200 08年 JST-352002-L HD店


●3D デザイン●BMW 4シリーズ F36 グランクーペ M-SPORT用 トランクスポイラー カーボン製 【USA在庫あり】 マグナム MAGNUM スロットル ケーブル 43.5インチ 黒 スムース フィッティング ハンドルカスタム用 0650-0735 JP店

↓↓↓流れるLEDドアミラーウィンカーレンズ アベスト Vertical Arrow AV-019-BK-W-R 艶消しブラック トヨタ ZN6 86/スバル ZC6 BRZ用 最先端のシーケンシャルモード搭載 メッキカラー:レッド/オプションランプ:ホワイト;【送料無料】 165/55R14 14インチ WEDS ウェッズ テッドトリック 4.5J 4.50-14 DUNLOP ダンロップ EC202L サマータイヤ ホイール4本セット;16インチムーブLA150、160系BLEST バーンシュポルト タイプ902 セミグロスブラックブルーリボン 5.0Jx16ブリヂストン ネクストリー 165/50R16, 【送料無料】 245/45R20 20インチ WEDS ウェッズ クレンツェ エルアボラ 331EVO 8.5J 8.50-20 ROADCLAW ロードクロウ RH660(限定) サマータイヤ ホイール4本セット フジコーポレーション, DUNLOP ダンロップ VEURO VE303 ビューロ サマータイヤ 245/35R20 RAYS GRAM LIGHTS 57FXX-PRO 20 X 8.5 +38 5穴 114.3, 【受注生産】【アドミレイション/Admiration】 タントエグゼカスタム 等にお勧め アルタモーダ シートカバー LUXURY ラグジュアリー・ストライプ (SSPU×SSPU) 型式等:L455S / L465S 系 品番:CS-D022-A, セリカ、カリーナ、コロナ TA40,RA40 底留めタイプのシートを装着するための汎用シートレール【運送便 100サイズ 対応】;【カロ KARO】メルセデスベンツ Cクラス 等にお勧め FLAXY フラクシー フロアマット ※左ハンドル車用 型式等:W202 品番:618 [KYB] カヤバ ショック NEW SR SPECIAL フロント 2本セット セルボモード CN22S 95/10~ CARB 4V/2V 2WD 3 [SC / Z / SD] 送料1000円(税別) ※北海道・沖縄・離島は送料別途↓↓↓【送料無料】 215/45R17 17インチ LEHRMEISTER レアマイスター L-Fスポーツ(シルバー)(平座ナット) 7J 7.00-17 YOKOHAMA ヨコハマ ブルーアース GT AE51 サマータイヤ ホイール4本セット, 【エスペリア Espelir】ランサーワゴン 等にお勧め スーパーダウンサス / リア用左右セット 型式等:CS5W 品番:ESB-369R, SIGMA シグマ F15A F17A フロント ブレーキパッド X 大口径ホイール 重量車に X-341078 ディクセル/DEXCEL, LA CHOPPERS エルエーチョッパーズ その他ハンドルパーツ ハンドルバークランプ 1.25” FLTR用 【CLAMP HANDLEBAR 1.25”FLTR [0602-0742]】, 【S625】デリカD:2 [H24/6-H25/11][MB15S] カジュアル ライトベージュ Bellezza ベレッツァ シートカバー

●取付サービス付き(塗装等含む)●●シックスセンス / SIXTH SENSE●ヴェルファイア 30 フロントグリルカバー ABS2色塗り分け塗装済み 6Pセット バーニングブラッククリスタルシャインガラスフレーク 222 / 艶消しブラック 純正フロントカメラ:有 プリクラ:無 シ

↓↓↓↓↓↓


↓↓↓↓↓↓
↓↓↓↓↓↓

【★送料無料】 【ファイナルコネクション】ファイナルコネクション サスペンション STEALTH ETR Type-AS TOYOTA ハイエース/レジアスエース 200系 【 型式:TRH223B 2WD(2.7L ガソリン/2.5Lディーゼル) タイプ:Type-A リア 1本 】, メーター メーター その他【ブリッツ】レーシングメーター SD φ60 PRESS METER, マークX GRX125 車高調整キット(フルタップ式) 「減衰力 カー用品 サスペンションキット」「ラルグス Largus Spec S」「下取り」, エブリィ用 アジャスタアッシリヤインサイドライトキャリィ/エブリィ 86801-68H50 スズキ純正部品, 『ミラ』 純正 L250 ラバーマット(フロント・リヤセット) パーツ ダイハツ純正部品 ゴムマット フロアマット mira オプション アクセサリー 用品

235/40R18 95W XL ATR SPORT エーティーアールスポーツ ATR Sports エーティーアールスポーツ Stich LEGZAS FUHLER シュティッヒ レグザス フューラー サマータイヤホイール4本セット;TRUST(トラスト) トヨタ アバロン プラグ [メール便送料無料]Greddy レーシングプラグ イリジウムチューン 熱価7番 1995/5~1995/8 アバロン MCX10 ■エンジン:1MZ-FE ■排気量:3000 6本セット 【送料無料】 バッテリー エコ.アール レボリューション ステラカスタム DBA-LA150F 用 ER-55B20L/M-42 ECO.R エコアール REVOLUTION GSユアサ GS YUASA 車 カーバッテリー バッテリー交換 スバル SUBARU GSYUASA キタコ 110-0038000 ビッグキャブキット ミクニ VM18 JOG-Z キタコ 110-0038000;CARL BROUHARD DESIGNS カールブラウハードデザイン フットペグ・ステップ・フロアボード ブレーキペダルカバー クローム INDIAN 2014用【COVER BRAKE PDL 14IND CH [1610-0454]】

2輪 RK EXCEL シールチェーン GP シルバー GP428R-XW 132L DT200R 37F/3ET DT230 ランツァ SDR200 2TV SRX400 SRX600;カードでポイント最大34倍 3/21(木)20:00~3/26(火)1:59迄 DUNLOP ダンロップ VEURO VE303 ビューロ サマータイヤ 215/45R18 HotStuff クロススピードハイパーエディション CR7 4本 ホイールセット 18インチ 18 X 7.5 +38 5穴 114.3

Elasticsearchを導入したことも鍵となっています。

トピックタイトル生成

タイトル生成は自然言語処理分野では要約技術の一種として知られています。これまでの自然言語処理分野での実験から記事のタイトルと本文1文目が要約において重要であることがわかっているため、今回は各記事のタイトルを利用してトピックタイトルの生成を行いました。アプローチとしては重要文抽出+文圧縮という比較的シンプルなアプローチをとっています。
また、タイトル生成では以下の論文を参考にしました。

質疑応答

Hatena Enginner Seminar #4の懇親会で受けた質問の一部を取り上げて紹介します。

トピックの単位

「イスラム国のような1ヶ月程度にわたって続くトピックは作られるのか」といった質問を頂きました。
現在は大きなトピックではなく比較的小さなトピックを捉えるアプローチをとっています。そのため、「イスラム国」という大きなトピックが作られることはあまりなく、「イスラム国+何か(身代金要求、後藤さん殺害)」というサブトピック相当のものをトピックとして捉えています。大きなトピックについては今後取り組みたいと考えています。

トピックの課題

「トピックにできていないものにはどういったものがあるか」といった質問でした。
現在のアプローチは多くのニュースサイトなどに取り上げられて発火するようなトピックを捉えることが得意なモデルになっています。これは多くのトピックを捉えることよりも、精度よくトピックを捉えることを優先したためです。そのため、ブログなどで少しづつ盛り上がるようなトピックを捉えることは苦手となります。こちらについても今後改善していきたいと考えています。

テストについて

「トピックタイトルの生成のテストをどうしているか」という質問でした。
テストについてはまだちゃんとしたフローを確立できていないのが現状です。何か良い方法等あれば是非教えていただきたいです。

ディスカッションについて

「トピック機能の実装でロジックに関するディスカッションはどの程度したか」という質問でした。
はてなには現在、博士出身者が4名いるため、ロジック周りのディスカッションも可能な環境にはあると思います。ただし 、専門分野は全員異なるので、トピックタイトル生成のような自然言語処理の少し深い話となると深くディスカッションするのはどうしても難しくなります。そのため 【送料無料 ベンツCクラス(W205)】 225/50R17 17インチ BIGWAY EURO AFG(グロスブラック/リムポリッシュ) 7J 7.00-17 PIRELLI P-ZERO ネロGT サマータイヤ ホイール4本セット 輸入車、大学や研究所など、一緒にブックマークのデータを使って研究、ディスカッションしていただける方も募集していますので、興味があれば是非ご連絡ください。

終わりに

「トピック」機能は、はてなブックマーク10周年の第1弾として開発してきました。今回の開発は一般的なWebサービスの機能開発とは少し毛色が異なり、未知の部分が多い研究的な側面のある開発でした。そのため RSR ダウンサス スプリング RS★RDOWN フロントのみ ウィッシュ ZNE14G 15/1~17/8 T861WF、最新の技術や研究論文を参考にしつつ開発を進めることで機能の実現に至ることができました。
研究成果を活かしつつ、サービスとして形にし、実際に多くのユーザに利用してもらう体験はなかなか経験することができないものだと思います。はてなブックマークには10年にわたる大規模なデータが蓄積されています。はてなでは RSR ダウンサス ホンダ CR-V RD6 K24A 16/9~ FF 2400 NA _H201D、こうしたデータをサービスへ活かしてくれる、アルゴリズムや検索技術、機械学習、自然言語処理などに関心のあるエンジニア(中途、新卒、アルバイト)を募集しています。

採用情報 - 株式会社はてな

{yahoojp}jpprem01-zenjp40-wl-zd-67889