Shou Arisakaの個人マイクロブログ（＝一人ツイッターのようなもの）。 ※某自作SNSから引越。
社会・技術の投稿が多め。つまらない諸事物への考察・持論を展開。

Geminiてやっぱスクレイピング/userjsタスクに強いよな

Shou ArisakaN100開発者

2025/11/19 19:07

Geminiてやっぱスクレイピング/userjsタスクに強いよな。input context windowがめちゃくちゃでかいからhtmlソースコードそのままコピペで渡して指示してもjs書いてくれる

#AI駆動開発

操作の一覧を開く前後の投稿を見る

関連投稿（AI）

9 件表示中

Shou ArisakaN100開発者

2024/10/17 16:18

スクレイピング系ツール売ってる人やめたほうがいいよ、ね。50回くらいは言ってる気がするけど

それでなぜかpythonでスクレイピングって、これも20回くらいは突っ込んでる気がするけど、なんでもpython？まあ僕の方はなんでもjs/nodejsなんだけど（どうしてもpythonの時は普通に書く）

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2024/10/17 16:13

アフィBのスクレイピングツールをぱぱっと書いた。
一時間も掛かってしまったけど
なお無論自分用なので公開とか配布とかそういうんじゃないので。プログラマーとして一般的なプログラムの書き方をレクチャーすることはできるけどさ。

もしもアフィリエイトのツールも前に書いてて昨日久々に2回目をスクレイピングして差分比較して全2200件→新規130件→うち即時提携30件→うち僕独自の指標でコンバージョン見込める良質案件をフィルタして2件ほどこれいいなってのが見つかって気分が良かったのでafbのもやっておこうと。

#アフィリエイト #開発

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2024/10/19 20:10

yahooニュース技術カテゴリからスクレイピング→形態素解析→prometheusまでやってる図。
ここまで1時間弱。ほんと思いついたのすぐ作れていい時代
いまはgrafanaでこれをどうビジュアライズするか考えている

#開発

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2025/05/31 18:30

gemini pro入れた。大学生まじ卍

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2024/10/22 18:01

grafana。prometheusにupとかってスクレイピング先がサービスダウンしてるかどうかが0か1かで時系列データベースに記録されるメトリクスが標準搭載されてて、prometheusをメタ的に監視するのにやはり便利。

これは24hで見てるけど、まずup。一瞥で分かりやすい。
あと僕的にこれ付いたほうがいいよなって思って平均とデルタを付けている。（デルタは時間内での数量の全変動の合計）
つまり、meanで稼働率、deltaでサーバーダウン回数が実質的に分かる。

左下のscrape_series_addedは文字通りデータの追加量の推移。logにしてるから見えやすい。形態素解析のNLPのデータがnginxのログデータより平常2,3倍多く推移してることが分かった。
でもmaxとチャートを見て分かる通りnginxの方はたまにスパイクがある。これはどっかの一つのbotが分をわきまえない非常識クローリングを15分（データ取得のinterval）以内でしてきてたっぽいというのを表している。

#データ分析

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2025/10/22 14:13

ちょっとgptほんとうに使い物にならないからｗ geminiでやってみようかな。ある程度サンプル溜まったらclaude codeとかでもいいんだけど
これ何。awsの影響だとか言わないよな。
いや少なくとも左上にはgpt-5とある。いまはplusだ。時間潰してくるやつ嫌いだから、ちょっとこれ以上はお遊びできないね。かなり頭が来てる。

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2025/08/02 23:27

gemini cliはまだ使い物にならないレベルだから度外視できるけど、gemini cliも台頭しだしたら時間ほんときついなる

まあ、でもね。いまは緩和期だよ。
物には波がある。いまだから、開発はやり放題でサービスは出し放題。熱が冷め整備が進んだら急速にやりづらくなる。それまでに先行者利益取る重要性をわかってる人が勝つ。なんでもそう。それこそ一種で社会工学的な話だが

#AI論

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2024/11/13 17:57

grafana。アクセス分析パネルの改善。
もともと24hのdiffで見てたけどスクレイピングインターバルと等しい15mにしてみるとクリアな見た目になった。

ちなみにprometheus/promqlの式 ↓


sum(views_tracking{url=~".*jmty.*", title=~".+"})  by (title) - sum(views_tracking{url=~".*jmty.*", title=~".+"} offset $offset_interval)  by (title)

（before）

（after）

#データ分析

操作の一覧を開く前後の投稿を見る

Shou ArisakaN100開発者

2025/06/04 17:50・2025/06/04 17:54（更新）

400件ｗｗｗ
（chatgptは50件程度、geminiは100件前後）

そして正直かつ簡潔なレスポンス。geminiのは長くて読む気になれないからな…jsonで返してみたいに言っても形式でしか返さないし
リサーチ覇権だなこれ
やっぱインプットトークンのアドバンテージはでかい

#かわいい生成AI #Claude無双

操作の一覧を開く前後の投稿を見る