Fumiya Aの日常や趣味について書いていきます。

スクレイピング系ツール売ってる人やめたほうがいいよ

Shou Arisaka

2024/10/17 16:18

スクレイピング系ツール売ってる人やめたほうがいいよ、ね。50回くらいは言ってる気がするけど

それでなぜかpythonでスクレイピングって、これも20回くらいは突っ込んでる気がするけど、なんでもpython？まあ僕の方はなんでもjs/nodejsなんだけど（どうしてもpythonの時は普通に書く）

操作の一覧を開く前後の投稿を見る

関連投稿（AI）

10 件表示中

Shou Arisaka

2024/10/17 16:13

アフィBのスクレイピングツールをぱぱっと書いた。
一時間も掛かってしまったけど
なお無論自分用なので公開とか配布とかそういうんじゃないので。プログラマーとして一般的なプログラムの書き方をレクチャーすることはできるけどさ。

もしもアフィリエイトのツールも前に書いてて昨日久々に2回目をスクレイピングして差分比較して全2200件→新規130件→うち即時提携30件→うち僕独自の指標でコンバージョン見込める良質案件をフィルタして2件ほどこれいいなってのが見つかって気分が良かったのでafbのもやっておこうと。

#アフィリエイト #開発

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/12/10 02:35・2024/12/10 02:37（更新）

本屋の声がけはやめたほうがいい。ゲームの邪魔されたら嫌やろ。おんなじよ。ゲームやらんけど
前に本屋で女性に声がけしてる明らか迷惑な人のyoutube見た時、"こんなんで上手くいくんだなｗ"と思いつつ現実的に考えたら普通に迷惑だし彼のそれが上手くいった（？）のは馬鹿キャラ（知的な空間に相反するユーモア・ギャップ受け、かつ大阪的な友好・気さく（馬鹿だけど）なノリ）が受けただけに見えた。
そりゃ"彼女の手に取っているその本は…僕のバイブル技術書ooじゃないか！"なんて邂逅があれば声も掛けたくなる、掛けざるを得ないかも分からないが、それでもなければわざわざ（迷惑を）掛ける道理もない。（バイブル技術書に限らず信仰してる本や著者もないんだけど）

#セールス

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/10/22 18:01

grafana。prometheusにupとかってスクレイピング先がサービスダウンしてるかどうかが0か1かで時系列データベースに記録されるメトリクスが標準搭載されてて、prometheusをメタ的に監視するのにやはり便利。

これは24hで見てるけど、まずup。一瞥で分かりやすい。
あと僕的にこれ付いたほうがいいよなって思って平均とデルタを付けている。（デルタは時間内での数量の全変動の合計）
つまり、meanで稼働率、deltaでサーバーダウン回数が実質的に分かる。

左下のscrape_series_addedは文字通りデータの追加量の推移。logにしてるから見えやすい。形態素解析のNLPのデータがnginxのログデータより平常2,3倍多く推移してることが分かった。
でもmaxとチャートを見て分かる通りnginxの方はたまにスパイクがある。これはどっかの一つのbotが分をわきまえない非常識クローリングを15分（データ取得のinterval）以内でしてきてたっぽいというのを表している。

#データ分析

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/10/19 20:10

yahooニュース技術カテゴリからスクレイピング→形態素解析→prometheusまでやってる図。
ここまで1時間弱。ほんと思いついたのすぐ作れていい時代
いまはgrafanaでこれをどうビジュアライズするか考えている

#開発

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/08/19 22:33・2024/08/26 19:12（更新）

mbtiより本能型まで含めたエニアの方がいいよって伝えてるけど…

まあ僕はmbtiより本能型まで含めたエニアの方がいいよってmbti言ってくる人には言ってるけど

mbti範囲狭すぎなんよ。
mbtiがooの人と付き合いたいだ（言う人がいるんだよ人のこと言えないけどさ）とかさう◯こだよ

#性格論

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2025/05/29 13:48

GPTいわく東大に居続けたほうがいいっぽ
だがまだ精査しきれてない
いやでも海外大はやっぱヘッジになるのでは…とりあえず要リサーチだ

#大学

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/12/31 11:57

同級生の場に顔を出したわけだが、
んん…これは言わないほうがいいよな…
まあ、なんか安心した。みんな普通だったな、って。良くも悪くも。
でも頭いい会話できる人は数人いた。でも僕が満足できたかっていうとまた別だけど、それはmensanの集まりでも同じだし、でそれは頭が絶対的にいいとかどうとかってより得意とか知識専門性の偏りとかそういうんに起因するものなんだろうとも思うし

やっぱさ、例えばmensanの集まりだとまだ実際的・実用的・現実的・未来的・生産的な話が比較的できるんだけど、
20半ばまだガキの集まりだと、高校の思い出話か大学・大学院の自慢話・苦労話か職場や上司の愚痴話くらいになるんよな。
若干、死生学っぽい哲学的な話？とか国の将来がどうとかって話もあったけど、そういう話や主体は面白くないって具合になるっぽい。まあ主体の話術の上手さにもよるのかもしれないけど

例えば僕みたいに原初から先見の明で動いて結果、移住だとか運用だとか肩書だとかスキルアップだとか健康だとか海外だとか自立・起業だとかまで考えてるやつは話した限りだけど皆無だった。20余りいて。話した限りだけどな。だってそれこそ、僕が起業してることとか具体的にどういう開発してるとかってのはほぼ話してないし、だから彼ら彼女らも僕の昨今については同じく相応に浅くしか分かれてない

んー…ここ教えた人はいないから見られないだろうけど、今後見られることもあるかもしれないし書く内容は普段通り気をつけるわけだが…
まあ、至った結論としては、僕とはだいぶ乖離してるなと。似たような感じが若干したのが一人いたくらい。
経験も価値観も今後も現状もだいぶ乖離してる。
現状だと、現状でこんな具合だと、来年再来年直近の年でまたすぐ絡む意義がないかなと思ったから、
また機会があれば、10年後くらいにまたぜひって感じかなぁと。

でもさ、すでに医者って人が一人とあと医師試験ってのが一人。あと予備試験受けるとかどうとか、色々人はいたけど、
まあ上述の通り、僕が全員の大体を把握してるわけじゃ到底ないし、彼らに僕を推し量ることは、むしろ僕と一番親しい友人でさえ、母でさえ、全く辞めてほしいことであるわけだが、僕が彼らを推し量ることもまた同じくできないわけでな
そういう目立つ人々に関しても、それ以外の不明な人々についても、人それぞれ"すごい"んだろうと思う。
ただ話せば話すほど"この人（女子）はちょっと堕ちすぎだな…"ってのもいたけどな…僕はたばことかパチンコとかする人とは生理的に付き合えないから。まあこれも同じく、これだけで判断を下すのも性急なんだろうし。でも皆とずっと話すわけにもいかないからね。
だから、僕としては、もっと中身のある話ができる空間だったらより（僕にとっては）有意義で楽しい時間と邂逅になったのかなと思っている。だからの、また10年後。
それまでに僕はせいぜい大物になるかならないかくらい決めておくよ…。

#人間関係

操作の一覧を開く前後の投稿を見る

Shou Arisaka

2024/11/13 17:57

grafana。アクセス分析パネルの改善。
もともと24hのdiffで見てたけどスクレイピングインターバルと等しい15mにしてみるとクリアな見た目になった。

ちなみにprometheus/promqlの式 ↓


sum(views_tracking{url=~".*jmty.*", title=~".+"})  by (title) - sum(views_tracking{url=~".*jmty.*", title=~".+"} offset $offset_interval)  by (title)

（before）