RStudioでR Markdownのchunk実行時に呼び出すPythonの指定方法

RStudioでR MarkdownからPythonを使う際に、pandasとかscikit-learnとかが入っているPython環境を指定したかったので、やり方をまとめました。reticulateというRからPythonを呼ぶためのpackageを使います。R Interface to Python | reticulatehttp...

武器になる知的教養 西洋美術鑑賞

近頃、美術館に行くことは出来ていないけれど。絵画を見るのは好きで、気に入った絵があるとずっと見ていたりする。その絵画が描かれた歴史や文化的な背景を知っていると絵画の見方の幅は広がるので、(美術館に限った事では無いけれど)予習をしてから行くと非常に充実した鑑賞が出来る。とは言うものの、しっかりした美術史の本などを読むのも少し億劫なので、お手軽そうなこの本を手に取ってみた。この本ではルネサンス期から20世紀の有名な絵画23点を、歴史・文化背景等を交えながら紹介している。テンポの良い...

JavaでのCUI対話型ツールの実装、JLineによる複数行コマンド受付の対応

JavaでCUIによる対話型のツール(REPL)を作りたいときは、以下のJLineを使うと簡単に実装する事が出来ます。# ちなみにREPLというのは、Read-Eval-Print Loopの略で、# コマンド受付→評価→表示を繰り返す、対話型処理のことです。JLine | GitHubhttps://github.com/jline/jline3...

Spark MLlibのHyperParameterチューニングのやり方

Spark MLlibでHyperParameterチューニングを行う方法のメモです。以下の公式ガイドに書いてあるとおりなのですが、spark-shellで、順に動かしながら見ていこうと思います。ML Tuning: model selection and hyperparameter tuning | spark.apache.org<a href="https://spark.apache.org/docs/latest/ml-tuni...

2つのクラスタリング結果がどのくらい似ているかの指標

例えば、階層的手法でクラスタリングを行って、好ましい結果が得られている。しかし、処理時間の点で課題があるので、K-Meansによるクラスタリングに置き換えたい。といった時に、K-Meansの結果が、階層的手法の結果とどれだけ近しいかを測りたい時があります。クラスタリングの場合は、正解ラベルが一致するとは限らない(ラベルが異なっていても、クラスタの別れ方が同じであれば結果は等しい)ので。分類の精度を測る時のように、<br...

「何つながりなのかな?」を探る自然言語処理 ~765PRO LIVE THEATERに通りがかる小日向美穂~

このエントリは第2回IM@Study合同本企画に寄稿予定の内容です。IM@Study合同本は、技術書典6「か48」にて頒布する予定となっています。IM@Studyhttps://imas.connpass.com/技術書典https://techbookfest.or...

Slackで夢のように幸せなコミュニケーションを手に入れたはずなのに…なのに、どうして、こうなっちゃうんだろう…

Slack等のチャットツールは便利な面もあるけれど、チャットの中だけで物事が進んでしまい、課題管理ツールが放置されて状況が分からなくなってしまったり。そんな状況だから、チャットのログをみんなが全て追わなければならなくなってしまったり。もう2,3年ほど前になるだろうか?とある開発チームのマネジメントをしている友人と、このような問題点を、半分愚痴りながら話したことがあった。あれから、Slackはますます普及した。<...

Databricks WorkspaceとローカルPC上のソースコードの同期方法

DatabricksというApache Sparkベースのビッグデータ分析プラットフォームがあります。Databrickshttps://databricks.com/Azure Databrickshttps://azure.micro...

フリーランスの税金対策について思うところ

確定申告の薄い本を書いたので、その宣伝ついでに。フリーランスの税金対策について、思うところを書こうと思います。税金対策という言葉を聞くと、「得するための工夫」という印象を持つ人が多いかも知れません。私自身、税金対策は、生きていくための必要悪のような印象を持っていました。ところが、税金対策について調べてみると、その多くは、世の中のために積極的に行うべき事であることが、分かってきます。このエントリでは、世の中のた...

MacOS上のIntelliJ IDEAプラグイン開発でメニューのイベントが発生しない問題の対処

IntelliJ IDEAのメニューから、開発中によく行う操作を実行出来ると捗るなと思い、プラグインを作ろうとしたら、思わぬところではまったのでメモを残しておきます。問題点は、エントリのタイトルの通りで。Mac OSでIntelliJ IDEAプラグイン開発を行う時にメニューのイベントが発生しないという問題です。以下でも議論がなされています。Action is not triggered from main menu |...

Gradleでのコード解析(Checkstyle, SpotBugs, PMD)で新しいversionを利用する

Gradleで管理しているJavaのプロジェクトでは、Pluginを適用すると、Checkstyle, SpotBugs, PMD等でコード解析を行う事が出来ます。Code analysis | Gradle Dochttps://docs.gradle.org/curren...

breeze(ScalaNLP)でのコサイン類似度・コサイン類似度行列の計算方法

このエントリでは、breeze(ScalaNLP)でのコサイン類似度・類似度行列の求め方についてまとめておきます。コサイン類似度の定義式コサイン類似度の定義式は、次の通りです。<a data-flickr-embed="true" href="https://www.flickr.com/photos/62769571@N03/46075235054/in/dateposted-public/" title="cosinesi...

ScalaNLPのbreezeで線形代数の演算をしてみる

Scalaで数値演算処理を行う場合、ScalaNLPのbreezeを利用することが出来ます。このエントリでは、線形代数で扱う行列演算の中から、基本的なものを実際に試してみたので、以下にまとめておきます。以下のチートシートに従っています。Linear Algebra Cheat Sheet<a href="https://github.com/scalanlp/breeze/wiki/Linear-Algebra-Chea...

技術者の事を嫌いな技術者

「技術者が嫌い」と言っていた、優秀な技術者の知り合いが居るのですが。彼の言っている気持ちが、なんとなくわかるなぁと思ったので、このエントリで、少し整理してみたいと思います。私は、自分自身の事をあまり技術者らしい技術者だとは思っていないのですが、技術はそれなりに好きです、技術者が嫌いという気持ちもわかります。技術の何が好き、興味深いかというと、例えば、次の2つの点が上げられると思います。①技術で何かを...

「センサーによるデータ計測と異常検知の基本」IoTLT発表で参考にした書籍の紹介

この記事は、IoTLT Advent Calendar 2018 の15日目の記事です。IoTLT Advent Calendar 2018https://qiita.com/advent-calendar/2018/iotlt_neo今年(2018年)の10/15に開催されたIoTLTでLTした、「センサーによるデ...

Author
takemikami
データエンジニア
・データ分析基盤の開発運用
・マーケティングデータ分析
研究発表履歴
facebook
twitter
LinkedIn
github
slideshare
Hatena::Bookmark
takemikami's shop
Twitter
[PR]
Recent Posts
タグ
PlayStation
[PR]
RSS

subscribe via RSS