SMARTCAMP Engineer Blog

スマートキャンプ株式会社(SMARTCAMP Co., Ltd.)のエンジニアブログです。業務で取り入れた新しい技術や試行錯誤を知見として共有していきます。

データ分析

Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる

今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろある…

BigQueryだけでRedashから個人情報見えなくする方法解説

データエンジニアの瀧川です。 Redash使ってますか!? Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Reda…

BigQueryでSQLをDRY(Don't repeat yourself)に書いてみよう!

スマートキャンプ株式会社でデータエンジニアをしている瀧川です。 皆さん!分析SQLを書いていますか!? 弊社ではアプリケーションのログや、各種データをBigQueryに集約しており、諸々の分析をRedashでSQLを書くことで行っています。 Redashは良くも悪くも…