会ps的如何做网站,做维修家具广告在哪个网站好,出售手表的网站有哪些,一个公司完整的组织架构前言在之前的文章《做一个twitter的插件玩玩》中#xff0c;我做了一个批量删除推文(转发推文)的工具#xff0c;该工具能够删除前3200条推文#xff0c;但因为总数太多(4.3万条)#xff0c;api接口不支持获取所有的推文#xff0c;所以我采用了下载的方式#xff0c;直接…前言在之前的文章《做一个twitter的插件玩玩》中我做了一个批量删除推文(转发推文)的工具该工具能够删除前3200条推文但因为总数太多(4.3万条)api接口不支持获取所有的推文所以我采用了下载的方式直接下载了所有的推文。下载后需要导入到插件中这样可以通过插件的功能进行对应的推文操作。可以看到tweet.js还是挺大的json这么大其实是很难处理的。数据虽然只有4万条但解析起来是无力的。寻找解决方案最初的想法是自己写一个解析器用一次就丢的那种但是想想这样性价比太低了以后要是又要用呢所以就开始在gayhub上找。终于找到了一个大json解析方案jsonstreamingparser这是大json文件的解析是异步的方式进行调用解析到的数据。但只是单条通过重写listen能支持多条当然这里已经有人写了JsonCollectionParser使用数组解析的那个库需要支持的json格式在readme.md中有介绍。我这里主要是要用数组的方式来解析。请看下面的例子public function myFunction(){//从请求中获取文件信息。if (!empty($_FILES)) {$file array_pop($_FILES);if (0 $file[error] is_uploaded_file($file[tmp_name])) {$path $file[tmp_name];self::processFileAndUpdateTwitter($path);} else {$this-widget(Widget_Notice)-set(_t(json文件上传失败), error);}}}private function processFileAndUpdateTwitter($path){$util$this;$parser new \JsonCollectionParser\Parser();$parser-parse($path, function (array $json) use ($util) {//封装实体对象落地到数据库中if(!empty($json)){$twitterInsnew class{};$obj (object)$json[tweet];$twitterIns-id_str$obj-id_str;$util-twitterHelp-addUserTimeLineTweetToDB($twitterIns);}});}
