Crawling Data in Amazon.com

最近因為research會用到music data，所以就利用Amazon提供的一個Web services(AWS) 。
第一步當然就先註冊一個userid，然後再看Amazon提供的programmer guide就可以抓data了。
不過有幾點事情比較有趣...主要的原因是因為需要music的content data，而Amazon所能提供的只有大概30秒左右的sample。當然，我還是把sample的曲目爬下來了...Orz(不知道有沒有違反著作權..不過我也只是做研究沒有商業用途)。
不過有趣的地方在於要找到某個mp3的原始url是一個耗時的地方(1. 從amazon抓html本身就耗時了； 2.要parse html找到正確的mp3 location也是個耗時的地方)，所以就模擬了HTTP 1.1的作法...XD
先把系統預設(daemon thread)有10個可以跑的thread，然後每當要抓mp3 data的時候就叫醒一個thread(稱為mp3 thread)。 mp3thread只有一個動作就是抓mp3的url， 再利用stream的方式把mp3 download，然後繼續回去睡覺。daemon thread如果發現目前10個mp3thread都有再執行的話，就等待直到有其他mp3thread可以被使用為止。概念很簡單，不過卻是一個很基本的利用java做synchronize的問題。
不過mp3thread太多就會被Amazon reject掉，因為太短時間內有太多的request了..Orz

simple byte-oriented file copy

1. /**
2. * simple copy image,
3. * @param src
4. * @param dest
5. */
6. public void copyImage(File src, File dest){
8. byte[] buffer = new byte[1024];
9. FileInputStream r = null;
10. FileOutputStream w = null;
11. int r_num=0;
12. try{
14. r = new FileInputStream( src);
15. w = new FileOutputStream( dest);
16. r_num = r.read(buffer, 0, 1024);
17. while(r_num != -1){
19. w.write(buffer, 0, r_num);
20. r_num = r.read(buffer, 0, 1024);
21. }
22. }
23. catch(IOException e){
24. e.printStackTrace();
25. }
26. finally{
27. try{
28. if(r != null)
29. r.close();
30. if(w != null)
31. w.close();
32. }
33. catch(IOException ex){
34. ex.printStackTrace();
35. }
36. }
37. }

可用於任何byte-oriented file, ex: image

簡易的java compression and decompression

目前在做之前學長的Video Annotation tool多個model的整合...常常training出來的model感覺檔案都很大...(因為我只有把它tar起來XD)...有鑑於此,,所以寫了一個簡易的compression/decompression的程式..主要改自Simple String Compression Functions 不過為了符合我的需要,input/output都是一個file,,不過這個blog好像沒辦法上傳檔案..XD所以底下大概看一下吧XD

compression 的infile就是原先的tar起來的file, outfile就是compression放置的地方
decompression的動作就是相反.

1. /**
2. * the input is the file that we want to compression
3. * the output is the compressed file
4. * @param infile
5. * @param outfile
6. * @return
7. * @throws IOException
8. */
9. static public void compression(String infile, String outfile)throws IOException{
11. BufferedInputStream fin = null;
12. BufferedOutputStream fout = null;
14. try{
15. byte[] buffer = new byte[1024];
16. int offset = -1;
17. fin = new BufferedInputStream( new FileInputStream(infile));
18. fout = new BufferedOutputStream ( new FileOutputStream(outfile));
20. ByteArrayOutputStream out = new ByteArrayOutputStream();
21. ZipOutputStream zout = new ZipOutputStream(out);
22. zout.putNextEntry(new ZipEntry("0"));
23. while( (offset = fin.read(buffer)) != -1){
25. zout.write(buffer, 0, offset);
27. }
28. zout.closeEntry();
29. byte[] compressed = out.toByteArray();
30. zout.close();
31. fout.write(compressed);
33. fout.close();
36. }
37. catch(IOException e){
38. new IOException("simpleCompression.compression exception");
39. }
40. finally{
41. if(fin != null){
42. fin.close();
43. }
44. if(fout != null){
45. fout.flush();
46. fout.close();
47. }
49. }
50. }
51. /**
52. * the input is the compressed file
53. * the output is the original file
54. * @param compressed
55. * @return
56. * @throws IOException
57. */
58. static public void decompression(String infile, String outfile)throws IOException{
60. int read=0;
61. byte[] buffer = new byte[1024];
62. BufferedInputStream fin = null;
63. BufferedWriter fout = null;
64. ZipInputStream zin = null;
65. ByteArrayOutputStream out = null;
66. try{
67. fin = new BufferedInputStream( new FileInputStream(infile));
68. zin = new ZipInputStream(fin);
69. ZipEntry entry = zin.getNextEntry();
70. out = new ByteArrayOutputStream();
71. int offset = -1;
72. while((offset = zin.read(buffer)) != -1) {
73. out.write(buffer, 0, offset);
74. }
75. fout = new BufferedWriter(new FileWriter(outfile));
76. fout.write(out.toString());
78. }
79. catch(IOException e){
80. new IOException("simpleCompression.decompression exception");
81. }
82. finally{
83. if(fin != null)
84. fin.close();
85. if(fout != null){
86. fout.flush();
87. fout.close();
88. }
89. if(out != null)
90. out.close();
91. if(zin != null)
92. zin.close();
94. }
96. }