Skypeto: Skype chat to n-yoshi n-yoshi
Twitter: Follow laresjp on Twitter laresjp
feed: RSS 2.0 RSS or Atom Atom

「超多数ファイル」一括処理の勘所

| go BLOG Top |

2010-09-09(木) 23:46(UTC +0900) p

元ネタはクラウド関連となっていますが、実際にはローカルシステム側でのお作法の問題ですのでチョイと解説。
先ずは元ネタとそれに反応しての呟きを。


clip IT!
from 日経トレンディネット
人気のDropbox、100GB買って分かった“落とし穴”

75GB分の転送に時間が掛かりまくる、と云うオハナシ。先ず空のフォルダを共有設定して、そこに少しずつコピーし共有させた方が早い。 『 人気のDropbox、100GB買って分かった“落とし穴” – デジタル – 日経トレンディネット http://j.mp/aikyfRThu Sep 09 07:48:13 via bitly


対策としては上記の通り。
元ネタの様に「マイドキュメント」をまるまる同期させたいなら、一旦マイドキュメントの中身を別フォルダに移動し、空になったマイドキュメントを共有対象として設定してからおもむろに移動してた分をマイドキュメントにコピーし戻す、と。
あ、ココで間違っても「ファイルをコピー/移動先のフォルダに貼り付け」はしないように! 右ドラッグでのコピーや Fire File Copy などのツールでいきましょう。
このとき、トレイアイコンなどを見ながら、同期中のくるくるマークが消えたのを確認しながら、次のコピーを開始するのがミソです。

このとき、コピーする数をある程度少なくするのがポイント。
例えば、フォルダ内のファイル数が子/孫フォルダまで含めて100とか200とかその程度なら、親フォルダごと一発でコピーしても平気でしょう。
逆に、フォルダ内に1,000だの5,000だのという大量のファイルがあるなら、小分けに拾ってコピーを繰り返すなどした方が良いでしょう。
もしも「ファイル数は大量だけど総容量は少ない」のであれば、思い切って zip 圧縮し、 zip フォルダとして運用する手もアリでしょう。
また、ドデカイファイル(数GB単位)がゴロゴロしているなどの場合も、ファイルを一つずつ拾ってコピーするのが無難でしょう。
ちなみに、「後からコピー」するこのやり方は、作業ついでのバックアップも兼ねるやり方になりますね。もし、マイドキュメント自体を変更する手筈を心得ているなら、そのやり方と併用しても良いでしょう。

なぜそんなに遅くなるのか?
コレはウィルススキャンなどと同様、「大量のファイルが一度に登録されるので、更新確認しながらの最初の完全同期は大変なコストになる」というハナシです。
DropboxSugarSync での「ファイルを共有する」動作とは、「対象フォルダ内をリアルタイム更新チェックし、更新されたファイルを差分変更する」てコトです。
つまり、一度に大量のファイルが増えたなら、先ずそのファイル全てを覚えようと更新確認し、当然新ファイルは全て更新対象なのでファイルをクラウドに投げ、その感も更新確認を止めず、引き続きファイルのアップロードを継続する、と。
更に、ネットに出て行くファイルですので当然ウィルスチェッカーもイチイチ監査を入れてきます()
コレでは、そりゃー時間が掛かるッてモノですね。

では、なぜ空にしてから始めた方が良いのか?
実は、フォルダ空にすると云うよりは、少ないファイル数から初めるコトが大事なんです。
つまり、初回の更新確認はサクッと終わらせ、以降、同期完了のペースに併せてファイルを手動で追加するコトで、更新確認処理とファイル同期(アップロード)処理の負荷を軽減/分散する、と。
もし「手動でやるのでは意味がない」と云うコトなら、 wait を効かせたバッチファイルでゆっくりコピーさせるとか、どうでしょ?

関連するかも知れない?


, Permalink, 関連つぶやき
cat: Tips(ティップス), 電脳系
tag: , ,
0 Trackback

トラックバック

この記事のトラックバック URL


Twitter

Powered by Topsy

オススメ(殿堂)

ThinkPad Bluetooth ワイヤレス・トラックポイント・キーボード
ThinkPad Bluetooth ワイヤレス・トラックポイント・キーボード
ThinkPad
トラックポイント付きの無線キーボード

オススメ(amazon)

Twitter

オススメ(ニコ動)

オススメ(link)


検索

このblogをググる



タグクラウド


最近のエントリ

カレンダー

2017年9月
« 8月    
 12
3456789
10111213141516
17181920212223
24252627282930

分類別

保管庫


購読

marker

Firefox meter

CC LICENSE


since 2001-09-25

Powered by WordPress