遅くなりましたが、6/12(水)に「Spark Meetup Tokyo #1」と言う「Spark+AI Summit 2019」に参加した方々からの情報共有を目的とした勉強会に参加し、お話を聞いてきたので、メモをまとめておきます。Spark Meetup Tokyo #1 (Spark+AI Summit 2019)<a href="https://spark-meetup-tokyo.connpass.com/event/131791...

[ 全文を読む ]
2019/06/25 19:43:58   spark

gitbookやRe:VIEWのように、成果物がPDFになるリポジトリをGitHubで管理している場合。成果物のPDFをGoogleDriveに共有しておくと、プレビューなどが利用でき確認が便利だと思います。# また、GitHubにアカウントが無い人に確認して貰う運用もやりやすくなります。ここでは、CircleCIを例に、CIで生成した成果物をGoogleDriveに共有する手順を説明します。GoogleDri...

[ 全文を読む ]
2019/06/02 15:07:14   circleci gdrive

きのこるエフエムというPodCastに呼んで頂いた時に、「ソフトウェア開発において、　暫定対処で書いた（汚い）コードはコントロール下に置いておくことが大事」というニュアンスの話をしたのですが。言いっぱなしというのも、良くないと思ったので、このエントリでは、コントロール下に置く手法を、具体的に提案したいと思います。ep2. フルリモートで働くフリーランスエンジニア | kinokoru.fm / きのこるエフエム...

[ 全文を読む ]
2019/06/02 06:24:45   github

今さらですが、Googleの「20%ルール」を話題に上げようと思います。この「20%ルール」というのは、業務時間の２割までを、個人の裁量で通常業務以外の仕事に使って良いと言うルールで。このルールでGoogleが様々な新規サービスを生み出すことが出来たと言われています。このルールを採用すれば、どんな企業でも、様々な新規サービスを生み出すことが出来るかというと。そう簡単な話では無いでしょう。しかし、どんな企業でも、...

[ 全文を読む ]
2019/05/17 00:45:21  

昨日(5/14)、「白金鉱業 Meetup Vol.7」と言うデータ分析・エンジニアリングの勉強会で、お話を聞いて来たので感想などをまとめておきます。白金鉱業 Meetup Vol.7https://brainpad-meetup.connpass.com/event/126945/このイベントは、Br...

[ 全文を読む ]
2019/05/15 04:25:37  

UTF-8のCSVファイルをExcelで開くときに、「インポート」メニューからエンコード・区切りを指定して読み込むのが面倒だったので。Finderのコンテキストメニューに「ShiftJISに変換してCSVを開く」を追加して、これを選ぶとUTF-8のCSVファイルをExcelで開けるように設定してみたので、その手順のメモを残しておきます。利用イメージFinderでUTF-8のCSVファイルを選択して、コンテキ...

[ 全文を読む ]
2019/05/09 13:41:04   automator excel csv

4/14(日)に開催された「技術書典６」で技術同人誌を頒布させて頂きましたが、その際のMicrosoft Wordの設定についてメモを残しておきます。技術書典６で頒布した書籍はこちらからお求め頂けます（宣伝https://takemikami.booth.pm/使用しているWordのVersionは、次の通りです。Microsoft Word f...

[ 全文を読む ]
2019/04/25 20:20:05   msword

4/14(日)に池袋サンシャインシティで開かれた「技術書典６」にサークル参加して、次の２冊の本を頒布させて頂きました。Apache Hadoop & Spark ビッグデータプログラミング入門 ビッグデータの加工や機械学習のためのプログラミングガイドフリーランスの確定申告自動化ガイド 「マネーフォワード クラウド確定申告」の自動化ノウハウALIS IT PUBLISHING | 技術書典６...

[ 全文を読む ]
2019/04/16 23:16:46  

2019/04/01 xlsxの差分表示も追記しましたgit diffで、Word, PowerPoint, Excelのテキスト差分を確認できるようにするための設定手順をまとめました。macos用の手順です。方法は以下のブログ記事で書かれている内容と同じですが、dotfilesで管理することを想定し、ユーザ単位に設定しています。MS Wordで書かれた原稿を...

[ 全文を読む ]
2019/03/27 17:35:16   git

このエントリでは、Databricksで動かすコードを、PyCharmなどのIDEで書きたい場合のノウハウについて示す。Databricksへのソースコードimport/exportは、以下のエントリで記載したが、ローカル環境とDatabricks環境で同じコードが動く訳では無いので、以下の２つの観点で、対応する方法を考える。なるべくローカルでも動くように設定する環境に依存するコードを切り替える</...

[ 全文を読む ]
2019/03/25 13:36:44   databricks

RStudioでR MarkdownからPythonを使う際に、pandasとかscikit-learnとかが入っているPython環境を指定したかったので、やり方をまとめました。reticulateというRからPythonを呼ぶためのpackageを使います。R Interface to Python | reticulatehttp...

[ 全文を読む ]
2019/03/08 17:57:08   r rstudio python

秋元雄史（大和書房）

近頃、美術館に行くことは出来ていないけれど。絵画を見るのは好きで、気に入った絵があるとずっと見ていたりする。その絵画が描かれた歴史や文化的な背景を知っていると絵画の見方の幅は広がるので、（美術館に限った事では無いけれど）予習をしてから行くと非常に充実した鑑賞が出来る。とは言うものの、しっかりした美術史の本などを読むのも少し億劫なので、お手軽そうなこの本を手に取ってみた。この本ではルネサンス期から２０世紀の有名な絵画２３点を、歴史・文化背景等を交えながら紹介している。テンポの良い...

[ 全文を読む ]
2019/03/03 15:06:32  

JavaでCUIによる対話型のツール(REPL)を作りたいときは、以下のJLineを使うと簡単に実装する事が出来ます。# ちなみにREPLというのは、Read-Eval-Print Loopの略で、# コマンド受付→評価→表示を繰り返す、対話型処理のことです。JLine | GitHubhttps://github.com/jline/jline3...

[ 全文を読む ]
2019/03/02 19:49:37   jline repl cui java

Spark MLlibでHyperParameterチューニングを行う方法のメモです。以下の公式ガイドに書いてあるとおりなのですが、spark-shellで、順に動かしながら見ていこうと思います。ML Tuning: model selection and hyperparameter tuning | spark.apache.org<a href="https://spark.apache.org/docs/latest/ml-tuni...

[ 全文を読む ]
2019/02/28 16:02:52   spark mllib

例えば、階層的手法でクラスタリングを行って、好ましい結果が得られている。しかし、処理時間の点で課題があるので、K-Meansによるクラスタリングに置き換えたい。といった時に、K-Meansの結果が、階層的手法の結果とどれだけ近しいかを測りたい時があります。クラスタリングの場合は、正解ラベルが一致するとは限らない（ラベルが異なっていても、クラスタの別れ方が同じであれば結果は等しい）ので。分類の精度を測る時のように、<br...

[ 全文を読む ]
2019/02/25 21:24:11